您的位置：首页 > 其它

Spark术语解释

2015-07-31 22:55 169 查看

术语解释

名词含义
Application用户在spark上的程序，由一个driver程序和数个executor组成
Application jar包含用户Spark应用程序的jar包
Driver program运行main函数并且创建SparkContext的程序
Cluster manager集群的资源管理器，可以获取集群中资源的外部服务
Deploy modedriver的部署运行模式，分”cluster”和”client”两种模式。在”cluster”模式下，框架会在集群中的任意一台机器上启动driver；在”client”模式下，dirver会在集群外被提交者启动。
Worker node集群中任何一个可以运行spark应用代码的节点。Worker Node就是物理节点，可以在上面启动Executor进程。
Executor应用在worker节点上启动的进程，运行任务，并将数据保存在内存或者磁盘上。每个应用都有各自独立的executor。
Task被发送到executor上的工作单元。
Job包含很多个task的并行计算，可以认为是Spark RDD中的action，每个action的计算会生成一个job。
Stage每个job会被拆分成多组task，每组task被称为stages（类似MR中的map stage 和 reduce stage）。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航