您的位置:首页 > 运维架构 > 网站架构

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节:Spark架构设计(2)

2014-12-29 21:22 716 查看
三, Spark的RDD

在Spark中一切都是以RDD为基础和核心的:



每个RDD的API如下所示:



Spark官方文档中给出了的众多的RDD:



RDD中的操作分为transformations和actions两种:



下面举一个例子来说明RDD的使用:



另外有两个特殊的RDD:



他们都是controlling operations:



RDD在执行的时候都是并行的:



四, Spark的高容错机制lineage

基于DAG图,lineage是轻量级而高效的:



操作之间相互具备lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个Split的特定部分即可:

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐