2018即将推出的Apache Spark 2.4都有哪些新功能
2018-09-19 00:00
751 查看
本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。
- 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。
- 添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。
- 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
- PySpark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。
- Spark on K8S 支持 PySpark 和 R ,支持客户端模式(client-mode)。
- Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
- 内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)。
- 支持 Scala 2.12。
点击 示说网 ,即可下载此PPT。
总结
以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
相关文章推荐
- Apache Spark 1.5发布:有哪些变化
- JavaScript 2018 中即将迎来的新功能
- nginx pk apache 2.4全过程系列即将公布
- Linux Apache2.4 AH00141: Could not initialize random number generator
- 腾讯QQ内测群新功能:QQ万人群即将袭来!
- Linux下安装Apache 2.4
- Apache Spark2.0正式发布
- spark master开发中org.apache.spark.serializer.JavaDeserializationStream错误解决
- 【Spark学习】Apache Spark配置
- 《Apache Spark Graph Processing》中文版前4章下载
- IDEA中如果报org.apache.spark.sparkException: A master URL must be set in your configuration
- Apache2.4+php7.1环境搭建 图片+文字
- Linux系统下安装 apache2.4的过程
- [置顶] Apache Spark 2.2.0 中文文档 - Spark 编程指南 | ApacheCN
- Apache Spark 2.2.0 中文文档 - Spark RDD(Resilient Distributed Datasets)论文 | ApacheCN
- TinyTemplate(Velocity Plus版)即将火热推出
- Apache Spark RDD(Resilient Distributed Datasets)论文
- 微软推出一波AI新功能:自动生成图表、更贴心的Cortana和搜索
- php7+apache2.4(x64)搭建的一些碎碎念
- PHP7.1.5 安装与 apache2.4链接