spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
2015-01-20 17:57
295 查看
接着上一篇文章继续分析代码:
3.1.3.3.3.1、进入TaskSet 方法:
3.1.3.3.3.2、进入taskScheduler.submitTasks(new
TaskSet(tasks.toArray, stage.id, stage.newAttemptId(), stage.jobId, properties)) 方法:
从源代码中可以看出DAGScheduler中向TaskScheduler以Stage为单位提交任务,Stage是以TaskSet为单位的,构建一个TaskSetManager,当isLocal=false(集群模式)&
hasReceivedTask=false(没启动的),将会创建一个定时任务来监控worker集群是否启动,并且是15000毫秒后启动,并间隔15000毫秒继续循环运行
3.1.3.3.3.3、进入 backend.reviveOffers()
方法:
该方法是 CoarseGrainedSchedulerBackend的方法,此时会向driverActor发送ReviveOffers消息,driverActor的实现代码如下:
此时跟踪进DriverActor的实现中:
可以看到ReviveOffers消息的具体实现是makeOffers方法:
WorkerOffer对象代表是某个Executor上可用的资源,freeCores(id)是该executor上空余的CPU数目:
进入launchTasks:
executorActor发送启动Task的请求,其实是向CoarseGrainedExecutorBackend发送LaunchTask消息:
在LaunchTask消息中会导致executor.lauchTask(this, taskDesc.taskId, taskDesc.name, taskDesc.serializedTask)的调用:
其中的TaskRunner封装了任务本身:
任务执行的是交给了线程池去执行的。 其实这些代码已经分析过了,在之前的博客中
我们在回到SparkContext:
4、进入progressBar.foreach(_.finishAll())方法:
5、进入rdd.doCheckpoint()方法
进入checkpointData.get.doCheckpoint()方法:
3.1.3.3.3.1、进入TaskSet 方法:
3.1.3.3.3.2、进入taskScheduler.submitTasks(new
TaskSet(tasks.toArray, stage.id, stage.newAttemptId(), stage.jobId, properties)) 方法:
从源代码中可以看出DAGScheduler中向TaskScheduler以Stage为单位提交任务,Stage是以TaskSet为单位的,构建一个TaskSetManager,当isLocal=false(集群模式)&
hasReceivedTask=false(没启动的),将会创建一个定时任务来监控worker集群是否启动,并且是15000毫秒后启动,并间隔15000毫秒继续循环运行
3.1.3.3.3.3、进入 backend.reviveOffers()
方法:
该方法是 CoarseGrainedSchedulerBackend的方法,此时会向driverActor发送ReviveOffers消息,driverActor的实现代码如下:
此时跟踪进DriverActor的实现中:
可以看到ReviveOffers消息的具体实现是makeOffers方法:
WorkerOffer对象代表是某个Executor上可用的资源,freeCores(id)是该executor上空余的CPU数目:
进入launchTasks:
executorActor发送启动Task的请求,其实是向CoarseGrainedExecutorBackend发送LaunchTask消息:
在LaunchTask消息中会导致executor.lauchTask(this, taskDesc.taskId, taskDesc.name, taskDesc.serializedTask)的调用:
其中的TaskRunner封装了任务本身:
任务执行的是交给了线程池去执行的。 其实这些代码已经分析过了,在之前的博客中
我们在回到SparkContext:
4、进入progressBar.foreach(_.finishAll())方法:
5、进入rdd.doCheckpoint()方法
进入checkpointData.get.doCheckpoint()方法:
相关文章推荐
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
- Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
- spark实战之RDD的cache或persist操作不会触发transformation计算
- Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
- spark pairRDD基本操作(三)——附带wordcount程序
- spark内核揭秘-10-RDD源码分析
- 3.4 Spark RDD Action操作1-first、count、lookup、collect
- spark内核揭秘-02-spark集群概览
- spark内核揭秘-02-spark集群概览
- Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
- Spark Streaming揭秘 Day8 RDD生命周期研究
- spark内核揭秘-10-RDD源码分析
- spark内核揭秘-01-spark内核核心术语解析
- spark内核揭秘-07-DAGScheduler源码解读初体验
- spark内核揭秘-05-SparkContext核心源码解析初体验
- spark内核揭秘-08-spark的Web监控页面
- spark内核揭秘-07-DAGScheduler源码解读初体验
- spark内核揭秘-03-spark核心组件