kafka跨集群同步方案
2016-03-02 17:27
274 查看
Kafka跨集群同步、创建Kafka集群镜像等相关问题,主要使用Kafka内置的MirrorMaker工具实现。
Kafka镜像即已有Kafka集群的副本。使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像。该工具通过Kafka consumer从源Kafka集群消费数据,然后通过一个内置的Kafka producer将数据重新推送到目标Kafka集群。
首先搭建数据源集群S集群和目标集群T集群,也就是把S集群的kafka数据复制到目标集群T上
一、创建consumer配置文件:consumer-wsm.properties
二、创建producer配置文件:producer-wsm.properties
三、执行命令
MirrorMaker参数说明:
可以用命令kafka-mirror-maker.sh help 查看
Kafka镜像即已有Kafka集群的副本。使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像。该工具通过Kafka consumer从源Kafka集群消费数据,然后通过一个内置的Kafka producer将数据重新推送到目标Kafka集群。
首先搭建数据源集群S集群和目标集群T集群,也就是把S集群的kafka数据复制到目标集群T上
一、创建consumer配置文件:consumer-wsm.properties
zookeeper.connect=f14cp-sc-hdp002:2181,f14cp-sc-hdp005:2181,f14cp-sc-hdp018:2181 group.id=groupwsm-01 zookeeper.connection.timeout.ms=6000 rebalance.max.retries=5 rebalance.backoff.ms=1200 auto.offset.reset=smallest 注意:配置的参数根据不同版本略微不同
二、创建producer配置文件:producer-wsm.properties
metadata.broker.list = f14cp-kf1-hdp01:6667,f14cp-kf1-hdp02:6667,f14cp-kf1-hdp03:6667 value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
注意:配置的参数根据不同版本而不同
三、执行命令
bin/kafka-mirror-maker.sh --consumer.config consumer-wsm.properties --num.streams 5 --producer.config producer-wsm.properties --num.producers 3 --queue.size 20000 --whitelist 'topic1,topic2,topic3'
MirrorMaker参数说明:
可以用命令kafka-mirror-maker.sh help 查看
whitelist 白名单 要同步的那些主题(topic)列表 blacklist 黑名单 不要同步的那些主题(topic)列表 queue.size consumer到producer中间的缓存大小,默认10000 --new.producer 使用新的生产者,此时同步速度会大大提高,配置文件producer中的metadata.list应改为bootstrap.servers
相关文章推荐
- jquery function Optional Arguments
- 构建自己的PHP框架--实现Model类(3)
- 关于libsvm工具箱在64位matlab下的安装说明
- Python多线程学习
- 笔记
- ubuntu android studio 安装
- ios 网络编程之多线程
- 底层开发平台使用
- 欢迎使用CSDN-markdown编辑器
- mysql 主从同步原理
- xshell或者putty远程连接阿里云服务器出现connection failed错误
- LeetCode -- Construct Binary Tree from Preorder and Inorder
- 暴力拆解CPU
- Python学习记录(二)
- http://www.cnblogs.com/stephen-liu74/archive/2012/08/01/2561557.html
- HTML5Canvas 酷炫效果
- ProtoBuf 的java使用
- 任务调度开源框架Quartz动态添加、修改和删除定时任务
- iOS开发教程:Storyboard全解析-第一部分
- java8 函数式编程