解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
2018-02-11 13:49
239 查看
集群环境是CDH5.12,上周由于kafka原始的/var/local下的数据目录被灌满数据,于是在CDH的manager上重新配置kafka的数据文件存储位置,重启kafka集群后flume无法正常读取kafka中的数据,且无报错信息。
解决思路:
1 对比生产环境与测试环境,定位问题到:Kafka集群从broker中选择一个broker作为其coordinator,无法读取到coordinator导致阻塞。
2 研究后排除flume产生问题的嫌疑,定位到kafka和zookeeper。
3 重新安装kafka,删除topic与zookeeper中topic相关的信息,观察brockerid正确,但是问题依旧存在。
4 删除zookeeper中的/borcker ,重启kafka集群,问题解决。
解决思路:
1 对比生产环境与测试环境,定位问题到:Kafka集群从broker中选择一个broker作为其coordinator,无法读取到coordinator导致阻塞。
2 研究后排除flume产生问题的嫌疑,定位到kafka和zookeeper。
3 重新安装kafka,删除topic与zookeeper中topic相关的信息,观察brockerid正确,但是问题依旧存在。
4 删除zookeeper中的/borcker ,重启kafka集群,问题解决。
相关文章推荐
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题
- 解决kafka数据目录迁移后,flume无法正常调用Consumer的问题