Spark RDD概念学习系列之RDD的缺点(二)
2017-10-26 00:00
435 查看
RDD的缺点?
为了有效地实现容错。
RDD提供了一种高度受限的共享内存,即RDD是只读的,并且,只能通过其他RDD上的批量操作来创建。
RDD只支持粗粒度转换,限制了编程模型。
但RDD仍然可以很好地适用于很多应用,特别是支持数据并行的批量分析应用,包括数据挖掘、机器学习、图算法等,因为这些程序通常都会在很多记录上执行相同的操作。
RDD不太适合那些异步更新共享状态的应用,例如并行Web网络爬虫。
因此,Spark的目标是为大多数分析型应用提供有效的编程模型,而其他类型的应用则交给专们的系统。
RDD是Spark最基本也是最根本的数据抽象,它具备像MapReduce等数据流模型的容错性,并且允许开发人员在大型集群上执行基于内存的计算。
为了有效地实现容错。
RDD提供了一种高度受限的共享内存,即RDD是只读的,并且,只能通过其他RDD上的批量操作来创建。
RDD只支持粗粒度转换,限制了编程模型。
但RDD仍然可以很好地适用于很多应用,特别是支持数据并行的批量分析应用,包括数据挖掘、机器学习、图算法等,因为这些程序通常都会在很多记录上执行相同的操作。
RDD不太适合那些异步更新共享状态的应用,例如并行Web网络爬虫。
因此,Spark的目标是为大多数分析型应用提供有效的编程模型,而其他类型的应用则交给专们的系统。
相关文章推荐
- Spark RDD概念学习系列之Spark Hash Shuffle内幕彻底解密(二十)
- Spark RDD概念学习系列之为什么会引入RDD?(一)
- Spark RDD概念学习系列之RDD的5大特点
- Spark RDD概念学习系列之RDD接口
- Spark RDD概念学习系列之RDD的本质特征
- Spark RDD概念学习系列之Spark的算子的作用(十四)
- Spark RDD概念学习系列之典型RDD的特征
- Spark RDD概念学习系列之Spark的算子的分类(十一)
- Spark RDD概念学习系列之细谈RDD的弹性(十六)
- Spark RDD概念学习系列之RDD的容错机制(十七)
- Spark RDD概念学习系列之RDD的缺点(二)
- Spark RDD概念学习系列之RDD的创建(六)
- Spark RDD概念学习系列之不同角度看RDD
- Spark RDD概念学习系列之RDD的操作(七)
- Spark RDD概念学习系列之rdd的依赖关系彻底解密(十九)
- Spark RDD概念学习系列之如何创建RDD
- Spark RDD概念学习系列之Spark的算子的分类
- Spark RDD概念学习系列之transformation操作
- Spark RDD/Core概念学习系列
- Spark RDD概念学习系列之rdd的依赖关系彻底解密(十九)