4000 spark学习心得
2016-02-15 10:38
204 查看
spark学习,官网阅读完之后,练习官方给出的例子之后,就是阅读源码了,
学习spark,了解spark应用后,就是阅读源码了,阅读源码并不难,编译器打开就能知道,而要知道源码设计思路,为什么这么设计,就是一个比较困难的地方了
阅读spark源码,其核心要素就是围绕着RDD进行深入探究和spark的作业调度的生命周期。
1.理解RDD,需要把握RDD的两个核心操作,transformation 和 action
2.理解RDD的jobschedule,一个job又分为多个stage,每个阶段都包含多个RDD,其关系根据生成DAGSchedule进行调度,DAGSchedule包含多个RDD的translate,然后stage又是如何被分配到cluster中的。
以上两点是我在阅读源码中有所感触的地方
相关文章推荐
- Unity学习心得 4000
- spark学习心得
- 官方Spark Programming Guide学习心得(V2.1.0)
- 最近学习hadoop和spark的一些心得
- 开始学习linux运维,这 4000 里记录一些自己的学习心得
- LeetCode编程练习 - Missing Number学习心得 4000
- 4000 spark学习-54-Spark RDD的clean()方法
- Spark 学习日志- SparkContext初始化
- 构造IOCTL命令的学习心得-----_IO,…
- Linux内核分析课程8周学习的心得体会
- xml关联xsl的四种方法及Transformer的transform方法学习心得
- cocos2dx实战篇——《忍着飞镖射幽灵》学习心得
- 并发学习心得
- 我学习Javascript的心得体会与Javascript的小总结
- 惠普学习心得
- 网易云课堂--软件工程学习心得
- tomcat classpath classloader粗略学习心得
- 【前端】学习心得1
- 分享工作与学习PHP过程中的心得,不断提升自己
- programming jakarta struts 学习心得一