centos7下kafka集群安装部署
2018-01-14 12:10
639 查看
应用摘要: Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的
分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!
Kafka官网:http://kafka.apache.org/
学习推荐 :http://orchome.com/kafka/index
官网下载 :http://kafka.apache.org/downloads
安装环境:Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<
说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。
安装步骤:
1.下载kafka并解压
[root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/
2. 编辑配置文件
进入到config目录,编辑配置文件:server.properties
[root@server-1 config]# vim server.properties
其他配置可以保持默认,保持,退出;
参数说明可以参考:http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:以后台方式启动
查看9092端口状态,确保服务已经启动;
同样的,启动server-2和server-3:
[root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此,kafka安装启动完成。
关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh //不带任何参数即可
4. 检查测试
在上一篇部署zookeeper集群的时候提到连接kafka使用的时候,里面除了zookeeper之外还有其他内容,来查看一下。
登录zookeeper(切换到zk的bin目录下),先连接zk:
[root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181
说明:zookeeper集群建好之后,通过“ls /”出来的只有zookeeper,连接kafka使用后,/ 下面多了不少东西,其中通过查看/brokers/ids可以
发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。
具体Kafka常见操作见下一篇:kafka命令行常见使用
结束.
分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!
Kafka官网:http://kafka.apache.org/
学习推荐 :http://orchome.com/kafka/index
官网下载 :http://kafka.apache.org/downloads
安装环境:Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<
说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。
安装步骤:
1.下载kafka并解压
[root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/
2. 编辑配置文件
进入到config目录,编辑配置文件:server.properties
[root@server-1 config]# vim server.properties
其他配置可以保持默认,保持,退出;
参数说明可以参考:http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:以后台方式启动
查看9092端口状态,确保服务已经启动;
同样的,启动server-2和server-3:
[root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此,kafka安装启动完成。
关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh //不带任何参数即可
4. 检查测试
在上一篇部署zookeeper集群的时候提到连接kafka使用的时候,里面除了zookeeper之外还有其他内容,来查看一下。
登录zookeeper(切换到zk的bin目录下),先连接zk:
[root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181
[zk: 192.168.1.21:2181(CONNECTED) 2] ls / cluster controller controller_epoch brokers zookeeper admin isr_change_notification consumers latest_producer_id_block config [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers [ids, topics, seqid] [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids [1, 2, 3] [zk: 192.168.1.21:2181(CONNECTED) 4]
说明:zookeeper集群建好之后,通过“ls /”出来的只有zookeeper,连接kafka使用后,/ 下面多了不少东西,其中通过查看/brokers/ids可以
发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。
具体Kafka常见操作见下一篇:kafka命令行常见使用
结束.
相关文章推荐
- centos7下zookeeper集群安装部署
- kafka 集群的部署安装
- 在Centos7下安装部署Zabbix3.2
- 基于centos7.3安装部署jewel版ceph集群实战演练
- Kafka之——在CentOS上安装Kafka集群
- centos7下安装docker(21docker swarm集群创建)
- Centos安装Kafka集群
- CentOS7上部署搭建Kafka集群
- 基于centos7.3安装部署jewel版本ceph集群实战演练
- Kafka集群安装部署、Kafka生产者、Kafka消费者
- 在centos7下安装和部署java8和mysql
- redis教程之Centos7下redis的部署与安装
- Kafka详细教程:下载、安装、配置与集群部署
- Kafka学习之:Centos 下Kafka集群的安装
- CentOS6.5下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)
- Centos7下Hive-1.2.1安装部署
- (自总结详细资料)如何在CentOS7下安装hadoop2.8分布式集群
- kafka集群安装部署
- centos7下elasticsearch 集群安装、配置及示例
- CentOS 7下安装集群Zookeeper-3.4.9