c++(11)使用librdkafka库实现kafka的消费实例
2017-08-04 18:47
3639 查看
关于librdkafka库的介绍,可以参考kafka的c/c++高性能客户端librdkafka简介,本文使用librdkafka库来进行kafka的简单的消费
librdkafka在c语言的基础上封装了一层c++的API,可以实现kafka的消费操作,基本操作步骤如下
编译:
在运行my_producer或my_consumer时可能会报错"error while loading shared libraries xxx.so",
此时需要在/etc/ld.so.conf中加入xxx.so所在的目录
在本地启动一个简单的kafka服务,设置broker集群为localhost:9092并创建一个叫“test”的topic
启动方式可参考 kafka0.8.2集群的环境搭建并实现基本的生产消费
启动consumer:
开启kafka 自带的producer,并发送消息“hello world”
consumer处收到的消息:
librdkafka在c语言的基础上封装了一层c++的API,可以实现kafka的消费操作,基本操作步骤如下
1、创建kafka 配置
RdKafka::Conf *conf = nullptr; conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);
2、设置kafka各项参数
/*设置broker list*/ conf->set("bootstrap.servers", brokers_, errstr); /*设置consumer group*/ conf->set("group.id", groupid_, errstr); /*每次从单个分区中拉取消息的最大尺寸*/ conf->set("max.partition.fetch.bytes", strfetch_num, errstr);
3、创建kafka topic配置
RdKafka::Conf *tconf = nullptr; tconf = RdKafka::Conf::create(RdKafka::Conf::CONF_TOPIC);
4、设置kafka topic参数
if(tconf->set("auto.offset.reset", "smallest", errstr)
5、创建kafka consumer实例
kafka_consumer_ = RdKafka::Consumer::create(conf, errstr);
6、创建kafka topic
RdKafka::Topic::create(kafka_consumer_, topics_, tconf, errstr);
7、启动kafka consumer实例
RdKafka::ErrorCode resp = kafka_consumer_->start(topic_, partition_, offset_);
8、消费kafka
kafka_consumer_->consume(topic_, partition_, timeout_ms);
9、阻塞等待消息
kafka_consumer_->poll(0);
10、停止消费
kafka_consumer_->stop(topic_, partition_);
11、销毁consumer实例
RdKafka::wait_destroyed(5000);
编译:
g++ my_consumer.cpp -o my_consumer_cpp -std=c++11 -lrdkafka++ -lz -lpthread -lrt
在运行my_producer或my_consumer时可能会报错"error while loading shared libraries xxx.so",
此时需要在/etc/ld.so.conf中加入xxx.so所在的目录
在本地启动一个简单的kafka服务,设置broker集群为localhost:9092并创建一个叫“test”的topic
启动方式可参考 kafka0.8.2集群的环境搭建并实现基本的生产消费
启动consumer:
开启kafka 自带的producer,并发送消息“hello world”
consumer处收到的消息:
相关文章推荐
- c语言使用librdkafka库实现kafka的生产和消费实例
- c语言使用librdkafka库实现kafka的生产和消费实例(转)
- C++正则表达式使用实例--实现一个markdown代码标记转换工具
- <实例>C++ 将一句话里的单词进行倒置,标点符号不倒换——使用string库实现
- 使用C++中string实现任意长度的正小数、整数之间加减法方法实例
- 使用C++实现一套简单的状态机模型——实例
- 使用C++的string实现高精度加法运算的实例代码
- C++使用CriticalSection实现线程同步实例
- Kafka 使用Java实现数据的生产和消费demo
- ASP.NET jQuery 实例11 通过使用jQuery validation插件简单实现用户登录页面验证功能
- C++使用ICE实现两台主机通信实例
- SIP协议解析与实现(c和c++ 使用osip) 11
- Kafka 使用Java实现数据的生产和消费demo
- 使用C++ 11 实现阻塞队列
- 使用C++实现一套简单的状态机模型——实例
- Linux qtcreator下kafka之librdkafka库的C语言封装,实现生产和消费
- 使用C++ 11 实现阻塞队列
- Kafka利用Java实现数据的生产和消费实例教程
- Android-使用C++实现调用本地方法返回字符串显示在界面上/NDK-JNI开发实例(八)
- C++ 使用模板实现一个List的实例