Kafka安装配置以及一些常用命令详解

Kafka部署及其使用
单个节点单Broker部署及使用
按照官网，我们在安装Kafka之前需要安装zookeeper。
tar -zxvf zookeeper-…tar.gz -C ~/你指定的文件夹
以下，我就直接展示我所安装的zookeeper类型和指定的文件夹。
tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/app/
cd zookeeper-3.4.5-cdh5.7.0/
pwd显示文件的位置
然后在~/.bash_profile里编辑
export ZK_HOME=/root/app/zookeeper-3.4.5-cdh5.7.0
export PATH=$ ZK_HOME/bin:$PATH
然后source一下
再配置一下zookeeper文件中conf中zoo_sample.cfg
cp zoo_sample.cfg zoo.cfg
在zookeeper中，dataDir中默认存在tmp中，这样服务器一重启，所有的缓存就消失了
所以我们得修改存放文件的位置，我就直接设置在~/app/tmp/zk中，，配置好以后就可以直接启动了
直接在bin目录中，./zkServer.sh start,这样就启动了，输入jps，显示出QuorumPeerMain就可以显示成功了。接下来我们开始配置Kafkla，我这里使用的是Kafka_2.11-0.9.0.0版本。
首先我们需要解压Kafka_2.11-0.9.0.0，tar -zxvf Kafka_… -C ~/app/就是你指定的文件夹
然后，需要把你的Kafka配置到系统文件变量里面去，然后配置文件server.properties，这个配置文件在 $KAFKA_HOME/config/里面
broker id = 0
listeners=PLAINTEXT://:9092监听端口默认在9092上面
hostname = localhost(如果是远程连接，需要修改为ip地址）
log.dirs也要设置文件位置，原理和前面的zookeeper原理一样，需要你自己设置文件所指定的位置
zookeeper.connect = localhost：2181，这样就配置的基本完成
启动Kafka,Kafka-server-start.sh/ $KAFKA_HOME/config/server.properties,然后换一个端口输入jps，看看出现Kafka就显示你配置成功了，接下来就可以使用Kafka的功能了。
创建topic，kafka-topic.sh --create --zookeeper locahost:2181 --replication-factor 1 --replications 1 --topic hello_topic

/**
1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录

2、Kafka 删除topic的命令是：

./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】

如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把topic标记为：marked for deletion

你可以通过命令：./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic

此时你若想真正删除它，可以登录zookeeper客户端：

命令：./bin/zookeeper-client

找到topic所在的目录：ls /brokers/topics

找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。

另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin/delete_topics/【topic name】，如果你删除了此处的topic，那么marked for deletion 标记消失
**/这里彻底删除topic的命令
查看所有topic，kafka-topics.sh --list --zookeeper lcoalhost:2181
发送消息：kafka-console-producer.sh --broker-list localhost:9092 --topic hello_topic
消费消息：kafka-consum-producer.sh --zookeeper localhost:2181 --topic hello_topic from beginning