kafka安装配置

一、 [b]安装[/b][b]scala[/b][b]环境[/b]

1、 获取安装包scala-xxx.tgz

2、 到安装目录解压tar zxvf scala-xxx.tgz，安装在/user/local/scala-xxx

3、 设置环境变量vi /etc/profile, SCALA_HOME=/usr/local/scala-xxx; PATH=$SCALA_HOME/bin;$PATH

4、 验证：输入scala显示版本信息

二、[b]安装[/b][b]zookeeper[/b][b]集群[/b]

1. 解压

2. 配置zoo.cfg，并启动：



dataDir目录下面有个myid文件，里面分别对应着1、2、3

[b]三[/b][b]、安装[/b][b]kaf[/b][b]ka[/b]

1、 获取安装包kafka_xxx.tar.gz

2、 到安装目录解压tar zxvf kafka_xxx.tar.gz

3、 修改config/server.properties

broker.id=0(其他机器是1,2,3，保证唯一)

host.name=slave1(其他机器是slave2,slave3)

log.dirs=xxxx(存储日志目录)

num.partation= 默认分区

zookeeper.connect=host1:port1,host2:port2,host3:port3/kafka 指定kafka的跟路径，需在zookeeper中手动创建该目录, 后面访问也必须该根目录

4、 先启动zookeeper: bin/zkServer.sh start，

然后启动kafka：bin/kafka-server-start.sh config/server.properties

[b]四、验证[/b]

1、新建一个topic

kafka-topics.sh --create --topic mykafka --replication-factor 3 --partitions 2 --zookeeper host1:port1

2、kafka-topics.sh --list --zookeeper host1:port1 查看topic

3、发送消息：kafka-console-producer.sh --broker-list slave1:9092 --topic mykafka

4、接收消息：kafka-console-consumer.sh --zookeeper host1:2181 --topic mykafka --from-beginning