Kafka系列二之部署与使用
Kafka部署与使用
写在前面
从上一篇Kafka的架构介绍和安装中,可能,你还一直很蒙,kafka到底该怎么使用呢?接下来,我们就来介绍Kafka的部署与使用。上篇文章中我们说到,Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka.
如何开始呢?
我们查看官网上面是如何说的,http://kafka.apache.org/quickstart。
接着,第二步,我们启动了一个kafka的server,下面就是应该开始Create a topic
Step 1: Create a topic
bin/kafka-topics.sh --create --zookeeper localhost:2181
--replication-factor 1 --partitions 1 --topic test
解释:
--zookeeper:创建的时候必须指定zk的地址
--replication-factor 副本系数
--partitions 分区数
查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
[hadoop@hadoop000 ~]$ kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1 Created topic "test1". [hadoop@hadoop000 ~]$
Step 2:Send some messages
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
--broker-list 生产的消息放在什么地方(这个地址是之前的broker设置的)
--topic 打上之前的标签
Step 3: Start a consumer
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
--bootstrap-server :文档的误差
这里应该修改为—zookeeper,所以后面的端口也是应该修改的
命令:
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning
--from-beginning 加上这个参数可以接收到之前的数据
不加这个参数的话 只能够收到执行这条命令之后的,生产者生产的数据
到这里我们就部署完成了。开始测试:
ok,我们生产者生产的消息,消费者全部都是接收到了的
这里说明一下,在大数据的场景中,我们的生产者一般都是Flume的sink端,即Flume把数据输出到Kafka中去。然后,我们的消费者,就是SparkStreaming等数据处理的东西,后面,我们就来实现flume=>Kafka==>>SparkStreaming的对接.....
- kafka系列之安装及初步使用,单节点部署使用(一)
- Kafka系列二之部署与使用
- kafka系列之集群部署使用(二)
- Server系列8:关于HP服务器如何使用IIP部署系统详解
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- 打造立体化监控体系与APM最佳实践系列 --Zipkin部署与使用
- Windows Phone 系列- 编译好的xap文件想部署到手机使用Application Deployment工具提示 “Error -0x89731811
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- RabbitMQ系列(五)使用Docker部署RabbitMQ集群
- Kafka部署和使用
- Lync Server 2013功能部署系列之八 配置、使用Lync VDI 2013 Plug-In实现在VDI环境
- [05] 使用 MVC 5 的 EF6 Code First 入门 系列:MVC程序中实体框架的Code First迁移和部署
- 使用autotools系列工具自动部署源代码编译安装
- Exchange 2013 SP1部署系列13:配置OWA访问只使用用户名登陆
- Hadoop系列之(三):使用Cloudera部署,管理Hadoop集群
- Lync Server 2013企业版部署系列之七:使用拓扑生成器规划拓扑
- java系列之zokeeper与kafka安装使用
- Lync Server 2013功能部署系列之八 配置、使用Lync VDI 2013 Plug-In实现在VDI环境
- zabbix系列之使用ansible批量部署zabbix客户端(二)
- 打造立体化监控体系与APM最佳实践系列 --Zipkin部署与使用