Spark学习笔记（30）集群运行模式下的Spark Streaming调试

本期内容：
1. 集群模式下的Spark Streaming调试
2. 集群模式下的Spark Streaming难点解决案例分享

怎么找出前课想象的原因？
每个batch duration内的处理中，saveAsTextFiles只有一个job。reduceByKey的并行度改为8，shuffle时也确实有8个task。
虽然设置job并行度是1，但日志中显示每个batch duration内有3个job。

ForEachDStream的print会调用take，RDD.take操作导致了3个job的产生。take调用的runjob中的partitions的数量，具体看take中的算法。

需要注意的是，Spark Streaming中说的job是自己的定义，而take中涉及的job是core的定义。