实时数据处理环境搭建flume+kafka+storm：3.kafka安装

1. 解压 tar -zxvf
2.配置/app/kafka_2.9.2-0.8.1.1/config/server.properties

#标识--
broker.id=0

#地址--
host.name=192.168.3.1

#持久化--（多个用逗号分开）多个路径代表多个分区
log.dirs=/app/kafka_2.9.2-0.8.1.1/kafkaLogs
#线程--
num.io.threads=8（要大于日志目录数）
#每个topic数据持久化分区数--
num.partitions=2

#zk地址--zookeeper.connect=192.168.3.91:12181,192.168.3.92:12181,192.168.3.92:12181

#zookeeper连接超时时间
zookeeper.connection.timeout.ms=1000000

#下面是缓存的设置，多大发送

socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600

#kafka消息失效期。小时

log.retention.hours=168
#消息最大byte

message.max.byte=1048576
#默认的消息副本
default.replication.factor=2
#取消息的最大字节数
replica.fetch.max.bytes=1048576

#持久化文件的最大byte，超过新起一个文件
log.segment.bytes=536870912
#消息失效时间

log.retention.check.interval.ms=60000
#日志压缩，，，听说很傻，不用开启

log.cleaner.enable=false

3.启动 在/app/kafka_2.9.2-0.8.1.1/bin

./kafka-server-start.sh -daemon ../config/server.properties

jps 有kafka进程

4验证bin目录
#创建topic。。。
--replication-factor 2（备份）

  --partitions 1（分区）

> ./kafka-topics.sh --create --zookeeper localhost:12181 --replication-factor 1 --partitions 1 --topic test

#查看topic

./kafka-topics.sh --list --zookeeper localhost:12181 

./kafka-topics.sh --describe --zookeeper localhost:12181 --topic test

#模拟生产者

./kafka-console-producer.sh --broker-list 192.168.3.91:19092 --topic test

#模拟消费者

> ./kafka-console-consumer.sh --zookeeper localhost:12181 --topic test --from-beginning

--如下错误

Failed to send messages after 3 tries

vim /etc/hosts

192.168.3.91 wchb01
192.168.3.92 wchb02
192.168.3.93 wchb03

立刻生效，运行source /etc/hosts