您的位置：首页 > 运维架构 > Docker

【拆分版】Docker-compose构建Zookeeper集群管理Kafka集群

2019-06-26 01:44 1591 查看

写在前边

在搭建Logstash多节点之前，想到就算先搭好Logstash启动会因为日志无法连接到Kafka Brokers而无限重试，所以这里先构建下Zookeeper集群管理的Kafka集群。

众所周知，Zookeeper是一个高效的分布式协调中间件，可以提供配置信息管理、命名、分布式同步（分布式锁）、集群管理、数据库切换等服务。这里主要用它的集群管理功能，它可以确保在网络状态不一致，选出一致的Master节点。它是Apache下的一个Java项目，隶属于Hadroop系统，正如其名"动物管理员"，作为管理员的角色存在。

有兴趣了解zookeeper的原理，可以学习Paxos协议与Zab协议。

ps: Hadroop系统下基本上所有的软件都是动物命名的

在这里，我们将使用Zookeeper来管理Kafka集群，Kafka是一种消息队列（Message Queue）中间件，具有高并发、高吞吐量、容错性强、可扩展等优点。在ELK日志系统中使用Kafka作为数据的缓冲层，提高了系统的性能与稳定性。

正好今天通过翻看两者官方的文档与其Docker镜像的文档，终于搭建成功，遂记之分享诸君。鉴于水平有限，如有写得不对的地方，欢迎大家指正。

本文搭建架构图

说明：

Zookeeper搭建成集群后，提供命名服务与集群协调服务，Kafka的节点Broker通过domain与ip进行注册到Zookeeper集群中，通过Zookeeper的协调能力，选出唯一的Leader节点，集群服务启动并对外提供服务。

环境准备

GNU/Debian Stretch 9.9 linux-4.19
Docker 18.09.6
Docker-Compose 1.17.1

目录结构

├── docker-kafka-cluster
│   ├── docker-kafka-cluster-down.sh
│   ├── docker-kafka-cluster-up.sh
│   ├── kafka-01
│   │   ├── docker-compose.yml
│   │   └── .env
│   ├── kafka-02
│   │   ├── docker-compose.yml
│   │   └── .env
│   ├── kafka-03
│   │   ├── docker-compose.yml
│   │   └── .env
│   └── kafka-manager
│       ├── docker-compose.yml
│       └── .env
└── docker-zookeeper-cluster
   ├── docker-zk-cluster-down.sh
   ├── docker-zk-cluster-up.sh
   ├── zk-01
   │   ├── docker-compose.yml
   │   └── .env
   ├── zk-02
   │   ├── docker-compose.yml
   │   └── .env
   └── zk-03
       ├── docker-compose.yml
       └── .env

docker-zookeeper-cluster源码参见我的Git仓库 https://github.com/hellxz/docker-zookeeper-cluster.git

docker-kafka-cluster源码参见我的Git仓库 https://github.com/hellxz/docker-kafka-cluster.git

各节点容器说明列表

Zookeeper集群

节点目录名	容器名	client port	follower port	election port
zk-01	zk-01	2181	2888	3888
zk-02	zk-02	2182	2889	3889
zk-03	zk-03	2183	2890	3890

Kafka集群

节点目录名	容器名	占用端口
kafka-01	kafka-1	9092
kafka-02	kafka-2	9093
kafka-03	kafka-3	9094
kafka-manager	kafka-manager	19000

各文件内容说明

Zookeeper部分

docker-zookeeper-cluster/zk-01

目录下的

.env

.env

配置文件为

docker-compose.yml

提供了多个zookeeper的发现服务节点列表

配置格式为

server.x=x节点主机ip:随从端口:选举端口;客户端口

其中

为

ZOO.MY.ID

的数值，客户端口前是

# set args to docker-compose.yml by default
# set zookeeper servers, pattern is `server.x=ip:follower-port:election-port;client:port`,
# such as "server.1=192.168.1.1:2888:3888;2181 server.2=192.168.1.2:2888:3888;2181",
# `x` is the `ZOO.MY.ID` in docker-compose.yml, multiple server separator by white space.
# now you can overide the ip for server.1 server.2 server.3, here demonstrate in one machine so ip same.
ZOO_SERVERS=server.1=10.2.114.110:2888:3888;2181 server.2=10.2.114.111:2889:3889;2182 server.3=10.2.114.112:2890:3890;2183

docker-zookeeper-cluster/zk-01

目录下的

docker-compose.yml

version: '3'
services:
zk-01:
image: zookeeper:3.5.5
restart: always
container_name: zk-01
ports:
- 2181:2181 # client port
- 2888:2888 # follower port
- 3888:3888 # election port
environment:
ZOO_MY_ID: 1 # this zookeeper's id, and others zookeeper node distinguishing
ZOO_SERVERS: ${ZOO_SERVERS} # zookeeper services list
network_mode: "host"

Kafka部分

以

kafka-01

目录下的

.env

为例

.env

配置文件为

docker-compose.yml

提供了多个zookeeper的

ip:client-port

列表

# default env for kafka docker-compose.yml
# set zookeeper cluster, pattern is "zk1-host:port,zk2-host:port,zk3-host:port", use a comma as multiple servers separator.
ZOO_SERVERS=10.2.114.110:2181,10.2.114.111:2182,10.2.114.112:2183

以

kafka-01

目录下的

docker-compose.yml

，为docker-compse的配置文件

version: "3"
services:
kafka-1:
image: wurstmeister/kafka:2.12-2.1.1
restart: always
container_name: kafka-1
environment:
- KAFKA_BROKER_ID=1 #kafka的broker.id，区分不同broker
- KAFKA_LISTENERS=PLAINTEXT://kafka1:9092 #绑定监听9092端口
- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:9092 #绑定发布订阅的端口
- KAFKA_ZOOKEEPER_CONNECT=${ZOO_SERVERS} #连接zookeeper的服务地址
- KAFKA_MESSAGE_MAX_BYTES=2000000 #单条消息最大字节数
#- KAFKA_CREATE_TOPICS=Topic1:1:3,Topic2:1:1:compact #创建broker时创建的topic:partition-num:replica-num[:clean.policy]
network_mode: "host"

KAFKA_CREATE_TOPICS

使用官方说明：

Topic 1

will have 1 partition and 3 replicas,

Topic 2

will have 1 partition, 1 replica and a

cleanup.policy

set to

compact

. 文档地址：https://hub.docker.com/r/wurstmeister/kafka

Zookeeper集群使用

请确保所布署的 1~3 台服务器网络可以ping通
确保第一台主机的2181\2888\3888端口未占用，第二台主机的2182\2889\3889端口未占用，第三台主机的2183\2890\3890端口未占用
复制zk-01到第一台主机、复制zk-02到第二台主机、复制zk-03到第三台主机
修改zk-01\zk-02\zk-03目录下的.env中的
```
ZOO_SERVERS
```
的值，按上述配置要求修改。修改完后的配置应该是集群内通用的，可以scp复制过去。
单台主机请为
```
docker-zk-cluster-up.sh
```
与
```
docker-zk-cluster-down.sh
```
授执行权，使用它们进行up和down操作；多台主机请手动分别进入zk-0x目录，执行
```
docker-compose up -d
```
以启动，执行
```
docker-compose down
```
以关闭。

Kafka集群使用

使用前确保各主机可以互相ping通
确保zookeeper的服务列表与各对应的zookeeper的ip与客户端口相同，如不同注意修改
```
.env
```
，集群中
```
.env
```
文件相同，可scp复制
确保zookeeper集群启动
复制kafka-01到第一台主机、复制kafka-02到第二台主机、复制kafka-03到第三台主机

确保这几台主机对应的占用端口号不被占用

kafka-01对应9092

、

kafka-02对应9093

、

kafka-03对应9094

、

kafka-manager对应19000

分别对每一台kafka-0x所在的主机修改
```
/etc/hosts
```
，例
```
10.2.114.110 kafka1
10.2.114.111 kafka2
10.2.114.112 kafka3
```
其中每个主机只需要设置自己的主机上的host，比如我复制了
```
kafka-01
```
我就写
```
本机ip    kafka1
```
,依次类推.
单台主机部署kafka集群请为
```
docker-kafka-cluster-up.sh
```
与
```
docker-kafka-cluster-down.sh
```
授执行权，不要移动目录，通过这两个shell脚本来启动项目；多台主机请手动进入
```
kafka-0x
```
目录下，执行
```
docker-compose up -d
```
以后台启动，执行
```
docker-compose down
```
以移除容器
启动脚本中没有启动
```
kafka-manager
```
，有需要请自行启动。为了匹配kafka的版本，使用时设置2.1.1即可。

文中配置部分的ip因使用同一台主机做的测试，所以ip相同，为了防止误解，在文中已经修改了ip，具体详见：

docker-zookeeper-cluster源码 https://github.com/hellxz/docker-zookeeper-cluster.git
docker-kafka-cluster源码 https://github.com/hellxz/docker-kafka-cluster.git

本文系原创文章，谢绝转载

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航