kafka运维之broker缩容
2019-07-26 20:51
3015 查看
接上一篇 https://blog.51cto.com/lee90/2423980 继续, 我们做完交换机的维护后,因为资源紧缺,还需要把原先的的2个broker节点加回到集群,将临时的node4 node5 摘出集群。
node1 192.168.2.187
node2 192.168.2.188
node3 192.168.2.189
node4 192.168.2.190 ==== 需要摘出集群
node5 192.168.2.191 ==== 需要摘出集群
摘除节点的操作和添加节点类似。这里就大致描述下步骤:
1、将 node4 node5 kafka上面的topic数据全部迁移到node2 node3上(使用kafka-manager来做这一步)
2、依次关闭 node4 node5 上面的zk进程,每次关闭一台后都需要等1-2分钟 观察下zk集群状态是否有异常
3、依次关闭 node4 node5 上面的kafka进程,每次关闭一台后都需要等1-2分钟 观察下kafka集群状态是否有异常
4、删除node1 node2 node3 zk配置文件中关于node4 node5的相关信息
5、删除node1 node2 node3 kafka配置文件中关于node4 node5的相关信息
6、观察集群是否有异常
## 可能遇到的问题:
在迁移过程中,遇到consumergroup在我们迁移topic的时候发生异常,让业务方重启了consumer后 报错消失。。
相关文章推荐
- kafka源码解析之五Broker处理的request的来源
- Kafka broker配置介绍
- Spark 和 kafka 集成 Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)
- kafka broker监听多个IP地址
- kafka broker启动流程和server结构
- Kafka中操作topic时 Error:Failed to parse the broker info from zookeeper
- Kafka-broker配置说明
- [Apache Kafka]Kafka运维
- kafka运维日志一
- 深入学习Kafka:集群中Controller和Broker之间通讯机制分析 - ControllerChannelManager
- Kafka集群中 topic数据的分区 迁移到其他broker
- 跟我学Kafka源码之Broker Server
- Kafka创建Topic时如何将分区放置到不同的Broker中
- 【Kafka问题解决】Connection to xxx could not be established. Broker may not be available.
- Kafka的broker替补替换测试
- cdh5 添加kafka,失败,broker 启动失败
- kafka broker监听多个IP地址
- kafka broker启动流程和server结构
- kafka配置-----broker配置
- Kafka集群在使用时,某一台broker网络中断,会导致kafka应用宕机?求解决方案