spark streaming 读取kafka数据问题
2017-04-01 10:40
489 查看
17/02/13 15:18:05 WARN consumer.ConsumerFetcherThread: [ConsumerFetcherThread-GROUP_ID_1_], Error in fetch kafka.consumer.ConsumerFetcherThread$FetchRequest@145c6c74. Possible cause: java.nio.BufferUnderflowException
使用的CDH5.7.1的spark streaming 版本 1.6.0
kafka 0.8
最终发现CDH5.7.1 的spark streaming spark-streaming-kafka_2.10- 包是基于Kafka 0.9 打包的
kakfa 0.8和0.9内部协议有一个比较大的变化，导致这个问题。
将kafka版本升级到0.9即可。
使用的CDH5.7.1的spark streaming 版本 1.6.0
kafka 0.8
最终发现CDH5.7.1 的spark streaming spark-streaming-kafka_2.10- 包是基于Kafka 0.9 打包的
kakfa 0.8和0.9内部协议有一个比较大的变化，导致这个问题。
将kafka版本升级到0.9即可。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark streaming读取kafka数据令丢失（二）
- SparkStreaming读取Kafka数据
- Structured Streaming从Kafka 0.8中读取数据的问题
- spark streaming读取kafka数据，记录offset
- spark streaming统计kafka数据计数不准的问题
- Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十五）Structured Streaming：同一个topic中包含一组数据的多个部分，按照key它们拼接为一条记录（以及遇到的问题）。
- SparkStreaming python 读取kafka数据将结果输出到单个指定本地文件
- sparkStreaming Kafka数据丢失问题
- kafka SparkStreaming读取数据笔记
- spark-streaming读kafka数据到hive遇到的问题
- Spark Streaming 读取Kafka数据写入Elasticsearch
- spark-streaming 读取kafka数据不丢失（一）
- Spark Streaming场景应用-Kafka数据读取方式
- Spark Streaming场景应用-Kafka数据读取方式
- SparkStreaming读取kafka数据进行反序列化以及mapPartition优化实例
- 常见问题----Spark Streaming 读取User Group ID设置
- Spark Streaming使用Kafka保证数据零丢失
- 第89课程 Spark STREAMING kafka 测试完成!生产者发数据,消费者收数据
- Spark Streaming使用Kafka保证数据零丢失
- Spark-Streaming处理Kafka数据——封装成对象处理