2016 第2讲 Scala面向对象彻底精通及Spark源码阅读
2016-01-03 14:56
246 查看
2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程,
学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。
相比前一讲第二讲的内容更深入了,难度更高了,如果初学者的话课后真需要好好消化,
包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看,加以巩固。
关于第二讲的作业,读懂Spark
Context和RDD至少70%代码的源码。
SparkContext
源码阅读
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkContext.scala
RDD 源码阅读
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala
由于时间的关系,自己没有很仔细地阅读,只是看了看快速扫了下这两个类的内容,的确如老师讲的,基本能看懂70%以上的语法。
如果不是作业,或许自己真不会提前看源码。
阅读之后不难发现,源码中的英文解释,其实就是许多书中提到的知识点注意点,今后自己也会好好地细读这些Spark源码的。
这边简单地摘录了些自己的笔记,如下
//它是Spark功能的主要入口点。
//一个SparkContext代表连接到一个Spark集群,
//能在集群上创建 RDDs,累加器,广播变量。
//每个JVM只有是一个可以Active的。建新的之前要stop()活动的SparkContext.
class
SparkContext(config:
SparkConf)
// [spark]是一种保护的作用域,stopped
变量在当前spark包内是可见的,在包spark外不可见
private[spark]
val
stopped:
AtomicBoolean
=
new
AtomicBoolean(false)
……
学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。
相比前一讲第二讲的内容更深入了,难度更高了,如果初学者的话课后真需要好好消化,
包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看,加以巩固。
关于第二讲的作业,读懂Spark
Context和RDD至少70%代码的源码。
SparkContext
源码阅读
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkContext.scala
RDD 源码阅读
https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/RDD.scala
由于时间的关系,自己没有很仔细地阅读,只是看了看快速扫了下这两个类的内容,的确如老师讲的,基本能看懂70%以上的语法。
如果不是作业,或许自己真不会提前看源码。
阅读之后不难发现,源码中的英文解释,其实就是许多书中提到的知识点注意点,今后自己也会好好地细读这些Spark源码的。
这边简单地摘录了些自己的笔记,如下
//它是Spark功能的主要入口点。
//一个SparkContext代表连接到一个Spark集群,
//能在集群上创建 RDDs,累加器,广播变量。
//每个JVM只有是一个可以Active的。建新的之前要stop()活动的SparkContext.
class
SparkContext(config:
SparkConf)
// [spark]是一种保护的作用域,stopped
变量在当前spark包内是可见的,在包spark外不可见
private[spark]
val
stopped:
AtomicBoolean
=
new
AtomicBoolean(false)
……
相关文章推荐
- NodeJS会是昙花一现吗?
- c++ 读文件,fscanf结尾问题
- 06.创建型————原型模式
- HDU 1114 Piggy-Bank(完全背包)
- 上传几张智能开关产品图片
- bzoj 1602 [Usaco2008 Oct]牧场行走(LCA模板)
- letcode之Recover Binary Search Tree
- 顺序表一系列操作
- mokoid android open source HAL hacking in a picture
- [codeforces]Goodbye_2015
- .NET中类型转换的一些等价用法
- 精神粮食--有梦想的人可以看看
- MVC导出Excle
- 一个可以用于在百科搜索大量关键词的python爬虫
- HDU 2602 Bone Collector(01背包)
- mysql 导入&导出sql文件
- 一致性Hash算法
- 云计算架构
- POJ2570 Fiber Network(Floyd)
- Swift开发IOS-UITextField