Kafka学习之二 Kafka基本安装使用方法
2016-03-19 18:56
501 查看
1、 安装
a. 首先安装JRE/JDK
Linux安装JDK
b. 下载kafka
进入下载页面:http://kafka.apache.org/downloads.html
选择Binary downloads下载 (Source download需要编译才能使用)
/bin 启动和停止命令等。
/config 配置文件
/libs 类库
c. 解压 kafka_2.11-0.9.0.1.tgz
d. 修改配置
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件
Shell代码
vi bin/kafka-run-class.sh
找到如下行:
Sh代码
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去除-XX:+UseCompressedOops参数
2. 启动和停止
启动Zookeeper server:
Shell代码
bin/zookeeper-server-start.sh config/zookeeper.properties &
&是为了能退出命令行
启动Kafka server:
Shell代码
bin/kafka-server-start.sh config/server.properties &
停止Kafka server
Shell代码
bin/kafka-server-stop.sh
停止Zookeeper server:
Shell代码
bin/zookeeper-server-stop.sh
3. 单机连通性测试
运行producer:
Shell代码
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
早版本的Kafka,--broker-list localhost:9092需改为--zookeeper localhost:2181
运行consumer:
Shell代码
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer端输入字符串并回车,查看consumer端是否显示。
4. 分布式连通性测试
Zookeeper Server, Kafka Server, Producer都放在服务器server1上,ip地址为10.10.73.58
Consumer放在服务器server2上,ip地址为10.10.73.53。
分别运行server1的producer和server2的consumer,
Shell代码
bin/kafka-console-producer.sh --broker-list 10.10.73.58:9092 --topic test
Shell代码
bin/kafka-console-consumer.sh --zookeeper 10.10.73.58:2181 --topic test --from-beginning
学习参考:
http://www.infoq.com/cn/articles/kafka-analysis-part-1
http://flychao88.iteye.com/category/350737
http://shift-alt-ctrl.iteye.com/blog/1930791
http://www.tuicool.com/articles/mErEZn
a. 首先安装JRE/JDK
Linux安装JDK
b. 下载kafka
进入下载页面:http://kafka.apache.org/downloads.html
选择Binary downloads下载 (Source download需要编译才能使用)
/bin 启动和停止命令等。
/config 配置文件
/libs 类库
c. 解压 kafka_2.11-0.9.0.1.tgz
d. 修改配置
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh文件
Shell代码
vi bin/kafka-run-class.sh
找到如下行:
Sh代码
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去除-XX:+UseCompressedOops参数
2. 启动和停止
启动Zookeeper server:
Shell代码
bin/zookeeper-server-start.sh config/zookeeper.properties &
&是为了能退出命令行
启动Kafka server:
Shell代码
bin/kafka-server-start.sh config/server.properties &
停止Kafka server
Shell代码
bin/kafka-server-stop.sh
停止Zookeeper server:
Shell代码
bin/zookeeper-server-stop.sh
3. 单机连通性测试
运行producer:
Shell代码
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
早版本的Kafka,--broker-list localhost:9092需改为--zookeeper localhost:2181
运行consumer:
Shell代码
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer端输入字符串并回车,查看consumer端是否显示。
4. 分布式连通性测试
Zookeeper Server, Kafka Server, Producer都放在服务器server1上,ip地址为10.10.73.58
Consumer放在服务器server2上,ip地址为10.10.73.53。
分别运行server1的producer和server2的consumer,
Shell代码
bin/kafka-console-producer.sh --broker-list 10.10.73.58:9092 --topic test
Shell代码
bin/kafka-console-consumer.sh --zookeeper 10.10.73.58:2181 --topic test --from-beginning
学习参考:
http://www.infoq.com/cn/articles/kafka-analysis-part-1
http://flychao88.iteye.com/category/350737
http://shift-alt-ctrl.iteye.com/blog/1930791
http://www.tuicool.com/articles/mErEZn
相关文章推荐
- Kafka 之 中级
- Linux下Kafka单机安装配置方法(图文)
- Kafka使用入门教程第1/2页
- Logstash 与Elasticsearch整合使用示例
- Kafka+Log4j实现日志集中管理
- Kafka深度解析
- Kafka设计解析(三)- Kafka High Availability (下)
- kafka+storm初探
- storm集群 + kafka单机性能测试
- flume、kafka、storm常用命令
- kafka 一些基本知识
- Kafka入门经典教程
- Kafka初步学习总结
- note of kafka learning (first part, before replication)
- flume部署
- Kafka集群安装
- Kafka的副本策略——《Learning Apache Kafka》学习笔记(原书第三章第4节)
- kafka性能测试
- kafka集群搭建