Kafka安装及使用
KAFKA采集工具的安装和使用Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop和Spark等的并行加载机制来统一线上和离线的消息处理。一kafka的相关概念1. Broker:Kafka集群包含一个或多个服务器,这里的服务器称为Broker。2. Topic:每条发布到Kafka集群的消息都有一个类别,这个类别称为Topic。物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个Broker上,但用户只需指定消息的Topic,即可产生或消费数据,而不必关心数据存于何处。3. Partition:是物理上的概念,每个Topic包含一个或多个Partition。4. Producer:负责发布消息到Kafka Broker。5. Consumer:消息消费者,向Kafka Broker读取消息的客户端6. Consumer Group:每个Consumer属于一个特定的Consumer Group,可为每个Consumer 指定group name,若不指定group name则属于默认的group。二安装Kafka(http://kafka.apache.org/downloads)下载完成后对文件进行解压。命令如下:cd ~/Downloadssudo tar -zvxf kafka_2.10-0.10.1.0.tgz -C /usr/localcd /usr/localsudo mv kafka_2.10-0.10.1.0/ ./kafkaSudo chown -R hadoop:hadoop ./kafka三:一个实例1.新建一个Linux终端,执行如下命令启动Zookeepercd /usr/local/kafka./bin/zookeeper-server-start.sh config/zookeeper.properties
注意:执行上面命令后,会弹出一堆信息,然后按住不动,没有回到shell命令提示符的状态,这时,千万不要错误的认为死机了,而是Zookeeper服务器启动了,正在处于服务状态,所以不要关闭这个终端。2. 新建一个终端,输入如下命令启动Kafka。cd /usr/local/kafka./bin/kafka-server-start.sh config/server.properties可能会报错
产生原因:Kafka启动,显示内存不足,修改内存项打开bin/目录下的kafka-server.start.sh脚本修改最小启动内存,设为最小值。
然后启动
新建第三个终端,输入以下命令:
cd /usr/local/kafka
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab
Topic是消息发布的category,以单节点的配置方式创建一个名为dblab的
topic。
输入以下命令查看刚才创建的topic是否存在,命令如下:
cd /usr/local/kafka
./bin/kafka-topic.sh --list --zookeeper localhost:2181
可以在结果中查看到,dblab这个topic已经存在。接下来用producer生产一些数据命令如下:cd /usr/local/kafka./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab该命令执行后,可以在终端中输入以下信息作为测试:Hello hadoopHello xmuHadoop world
然后开启第四个终端,输入如下命令使用consumer来接收数据cd /usr/local/kafka./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning
执行完命令后就可以看到三条信息说明Kafka安装成功。
阅读更多- KafkaOffsetMonitor的安装和使用
- kafka安装与使用
- kaka-manager和kafka-offset-monitor的安装和使用
- 大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用
- Kafka安装使用入门
- Kafka集群安装使用
- kafka第三篇--安装使用
- Linux(CentOS)中常用软件安装,使用及异常——Zookeeper, Kafka
- Kafka安装使用
- Flume简介与使用(三)——Kafka Sink消费数据之Kafka安装
- .net windows Kafka 安装与使用入门(入门笔记)
- CentOS7下使用kafka0.10.1(1安装)
- kafka的安装和使用
- KafkaOffsetMonitor 监控工具的安装与使用
- kafka-0.9.0.0安装和使用
- Kafka使用ambari安装遇到的问题
- kafka安装与使用
- KafkaOffsetMonitor监控工具的安装与使用
- kafka安装及使用
- Kafka学习之二 Kafka基本安装使用方法