spark接收kafka的数据运行spark程序节点的task数据倾斜
2017-10-20 16:36
357 查看
这是因为你的spark的slave节点和kafka的broker节点重合时，kafka的topic分区不均衡，没有分布在不同节点上，spark拉取数据就近原则，在那里拉取就在该节点计算，你可以建立多个分区均衡在各个节点上。导致这个原因是你的createDirectStream方法导致的，因为这个方法会自己映射你的kafka分区对应spark的分区，如果分区过少就会不均衡。
原文：http://blog.csdn.net/u013013024/article/details/72957265
原文：http://blog.csdn.net/u013013024/article/details/72957265
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark接收kafka的数据运行spark程序节点的task数据倾斜
- Flume Push数据到spark streaming或者接收Spark streaming的poll数据时实际运行程序总结
- 对接 kafka的 spark程序 程序可以正常运行 就是接受kafka的数据时很慢 ,怎么调优?
- 程序运行时提示输入一个整数并利用Scanner类接收数据，输出该数值是几位数。（要求：利用String 类中的方法）
- Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十二）Spark Streaming接收流数据及使用窗口函数
- Spark Streaming的接收KAFKA的数据
- Spark Streaming结合 Kafka 两种不同的数据接收方式比较
- spark streaming集成kafka接收数据的方式
- Spark性能优化第二季-Task、数据倾斜及网络性能优化
- Spark性能优化第二季-Task、数据倾斜及网络性能优化
- Spark运行程序异常信息： org.apache.spark.SparkException: Task not serializable 解决办法
- Spark集成Kafka源码分析——SparkStreaming从kafak中接收数据
- spark streaming 接收 kafka 数据java代码WordCount示例
- java spark-streaming接收TCP/Kafka数据
- Spark-streaming-2.0-Kafka数据接收并行度源码解析
- Spark Streaming结合 Kafka 两种不同的数据接收方式比较
- SparkStreaming程序运行报错SparkStreaming-Kafka- Couldn't find leaders for Set
- Spark Streaming结合 Kafka 两种不同的数据接收方式比较
- vs2008运行WEB程序时提示无法启动程序"http://localhost:12345/index.aspx".有更多数据可用
- Android按返回键程序仍在后台运行，并未完全退出和销毁，类似微信QQ等退出方式的实现-- moveTaskToBack