您的位置:首页 > 其它

Kafka安装及使用

2018-05-31 12:38 134 查看

KAFKA采集工具的安装和使用Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop和Spark等的并行加载机制来统一线上和离线的消息处理。一kafka的相关概念1. Broker:Kafka集群包含一个或多个服务器,这里的服务器称为Broker。2. Topic:每条发布到Kafka集群的消息都有一个类别,这个类别称为Topic。物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个Broker上,但用户只需指定消息的Topic,即可产生或消费数据,而不必关心数据存于何处。3. Partition:是物理上的概念,每个Topic包含一个或多个Partition。4. Producer:负责发布消息到Kafka Broker。5. Consumer:消息消费者,向Kafka Broker读取消息的客户端6. Consumer Group:每个Consumer属于一个特定的Consumer Group,可为每个Consumer 指定group name,若不指定group name则属于默认的group。二安装Kafka(http://kafka.apache.org/downloads)下载完成后对文件进行解压。命令如下:cd ~/Downloadssudo tar -zvxf kafka_2.10-0.10.1.0.tgz -C /usr/localcd /usr/localsudo mv kafka_2.10-0.10.1.0/ ./kafkaSudo chown -R hadoop:hadoop ./kafka三:一个实例1.新建一个Linux终端,执行如下命令启动Zookeepercd /usr/local/kafka./bin/zookeeper-server-start.sh config/zookeeper.properties

  注意:执行上面命令后,会弹出一堆信息,然后按住不动,没有回到shell命令提示符的状态,这时,千万不要错误的认为死机了,而是Zookeeper服务器启动了,正在处于服务状态,所以不要关闭这个终端。2. 新建一个终端,输入如下命令启动Kafka。cd /usr/local/kafka./bin/kafka-server-start.sh config/server.properties可能会报错

  产生原因:Kafka启动,显示内存不足,修改内存项打开bin/目录下的kafka-server.start.sh脚本修改最小启动内存,设为最小值。

然后启动

新建第三个终端,输入以下命令:

cd /usr/local/kafka

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

 Topic是消息发布的category,以单节点的配置方式创建一个名为dblab的

topic。

输入以下命令查看刚才创建的topic是否存在,命令如下:

cd /usr/local/kafka

./bin/kafka-topic.sh --list --zookeeper localhost:2181

  可以在结果中查看到,dblab这个topic已经存在。接下来用producer生产一些数据命令如下:cd /usr/local/kafka./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab该命令执行后,可以在终端中输入以下信息作为测试:Hello hadoopHello xmuHadoop world

 然后开启第四个终端,输入如下命令使用consumer来接收数据cd /usr/local/kafka./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning

执行完命令后就可以看到三条信息说明Kafka安装成功。

阅读更多
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: