Kafka系列二之部署与使用
2017-11-21 15:48
274 查看
Kafka部署与使用
写在前面从上一篇Kafka的架构介绍和安装中,可能,你还一直很蒙,kafka到底该怎么使用呢?接下来,我们就来介绍Kafka的部署与使用。上篇文章中我们说到,Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka.
如何开始呢?
我们查看官网上面是如何说的,http://kafka.apache.org/quickstart。
接着,第二步,我们启动了一个kafka的server,下面就是应该开始Create a topic
Step 1: Create a topic
bin/kafka-topics.sh –create –zookeeper localhost:2181
–replication-factor 1 –partitions 1 –topic test
解释:
–zookeeper:创建的时候必须指定zk的地址
–replication-factor 副本系数
–partitions 分区数
查看topic
bin/kafka-topics.sh –list –zookeeper localhost:2181
[hadoop@hadoop000 ~]$ kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1 Created topic "test1". [hadoop@hadoop000 ~]$
Step 2:Send some messages
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test
–broker-list 生产的消息放在什么地方(这个地址是之前的broker设置的)
–topic 打上之前的标签
Step 3: Start a consumer
bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning
–bootstrap-server :文档的误差
这里应该修改为—zookeeper,所以后面的端口也是应该修改的
命令:
kafka-console-consumer.sh –zookeeper hadoop000:2181 –topic hello_topic –from-beginning
–from-beginning 加上这个参数可以接收到之前的数据
不加这个参数的话 只能够收到执行这条命令之后的,生产者生产的数据
到这里我们就部署完成了。开始测试:
ok,我们生产者生产的消息,消费者全部都是接收到了的
这里说明一下,在大数据的场景中,我们的生产者一般都是Flume的sink端,即Flume把数据输出到Kafka中去。然后,我们的消费者,就是SparkStreaming等数据处理的东西,后面,我们就来实现flume=>Kafka==>>SparkStreaming的对接…..
相关文章推荐
- kafka系列之安装及初步使用,单节点部署使用(一)
- kafka系列之集群部署使用(二)
- Kafka系列二之部署与使用
- 【Silverlight】Bing Maps学习系列(八):使用Bing Maps Silverlight Control加载自己部署的Google Maps
- Kafka实战系列--Kafka API使用体验
- 以太坊系列之十七: 使用web3进行合约部署调用以及监听
- Hadoop系列之(三):使用Cloudera部署,管理Hadoop集群
- ADRMS部署系列之(五)—配置并使用ADRMS权限模板进行加密
- hexo教程系列——使用Travis自动部署hexo
- kafka系列(七)使用Kafka-Connect导入导出数据
- 【Silverlight】Bing Maps学习系列(八):使用Bing Maps Silverlight Control加载自己部署的Google Maps 推荐
- JBoss 系列三:使用4种方式部署应用到JBoss7/WildFly
- Spring Boot系列教程三:使用devtools实现热部署
- [05] 使用 MVC 5 的 EF6 Code First 入门 系列:MVC程序中实体框架的Code First迁移和部署
- Kafka单节点单broker的部署及使用
- 教你一步一步部署.net免费空间OpenShift系列之四------绑定域名、使用CDN加速
- Exchange 2013 SP1部署系列13:配置OWA访问只使用用户名登陆
- ADRMS部署系列之(五)—配置并使用ADRMS权限模板进行加密
- Server系列8:关于HP服务器如何使用IIP部署系统详解
- Kafka 安装部署及使用(单节点/集群)