linux部署kafka

,1、关闭SELINUX

vi /etc/selinux/config
SELINUX=enforcing #注释掉
SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加

:wq! #保存退出

setenforce 0 #使配置立即生效

2、配置防火墙，开启9092端口

vi /etc/sysconfig/iptables #编辑防火墙配置文件

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9092 -j ACCEPT

:wq! #保存退出

service iptables restart #最后重启防火墙使配置生效

3、下载kafka

wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz

4、解压

tar -xzvf kafka_2.8.0-0.8.1.tgz
rm kafka_2.8.0-0.8.1.tgz
cd kafka_2.8.0-0.8.1

5、修改配置

Kafka默认开启JVM压缩指针，但只是在64位的HotSpot VM受支持，如果安装了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件：

找到如下行：

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

去除-XX:+UseCompressedOops参数。

修改server.properties、zookeeper.properties 修改端口9092

6、启动和停止

启动zk:

bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka server:

bin/kafka-server-start.sh config/server.properties &

7、连通性测试

运行procuder:

bin/kafka-console-producer.sh --broker-list localhost:9092,localhost1:9092,localhost2:9092 --topic test

运行consumer:

bin/kafka-console-consumer.sh --zookeeper localhost:2181,localhost1:2181,localhost2:2181 --topic test --from-beginning

在producer端输入字符串并回车，查看consumer端是否显示。

注:

server.properties的host.name和advertised.host.name需要配置成本机ip

advertised.port=9092

三台机器的broker.id分别=0,1,2

可以指定一个默认的num.partitions