Kafka单机、集群模式安装详解(一)
2017-09-01 11:11
519 查看
本文环境如下:
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
Java 安装参考CentOS 6使用rpm方式安装JDK8
Zookeeper 安装参考:CentOS下ZooKeeper单机模式、集群模式安装
例如:
2
3
在末尾添加:
2
2
修改配置文件中的以下内容:
2
3
如果无报错则说明启动成功。
启动producer
启动consumer
在producer的命令行输入任意字符,观察consumer是否能正确接收。
2
3
4
5
6
错误原因:
Kafka默认使用
打开/config/kafka-server-start.sh,修改
为适合当前服务器的配置,例如
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
1. 所需要的环境
Kafka需要以下运行环境:Java 安装参考CentOS 6使用rpm方式安装JDK8
Zookeeper 安装参考:CentOS下ZooKeeper单机模式、集群模式安装
2. 下载、解压Kafka安装包
Kafka官网地址: http://kafka.apache.org/例如:
wget "http://mirrors.hust.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz" tar -xzvf kafka_2.11-0.9.0.1.tgz mv kafka_2.11-0.9.0.1 /opt/1
2
3
3. 配置环境变量(可选)
将kafka_2.11-0.9.0.1/bin添加到path,以方便访问vi /etc/profile1
在末尾添加:
KAFKA_HOME=/opt/kafka_2.11-0.9.0.1 PATH=$PATH:$KAFKA_HOME/bin1
2
4. 启动单机模式
4.1 修改配置文件
cd /opt/kafka_2.11-0.9.0.1/config vi server.properties1
2
修改配置文件中的以下内容:
broker.id=0 //为依次增长的:0、1、2、3、4,集群中唯一id log.dirs=/opt/kafka_2.11-0.9.0.1/logs //日志地址 zookeeper.connect=master:2181,slave1:2181,slave2:2181 //zookeeperServers列表,各节点以逗号分开1
2
3
4.2 启动程序
先要确保zookeeper已启动,然后在Kafka目录执行
nohup bin/kafka-server-start.sh config/server.properties&1
如果无报错则说明启动成功。
nohup &是实现在后台启动。
4.3 简单测试
打开2个终端,分别在Kafka目录执行以下命令启动producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
启动consumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning1
在producer的命令行输入任意字符,观察consumer是否能正确接收。
5. 常见错误
5.1 启动Kafka时出现
Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0x67e00000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory. # An error report file with more information is saved as: # /opt/kafka_2.11-0.9.0.1/hs_err_pid2249.log1
2
3
4
5
6
错误原因:
Kafka默认使用
-Xmx1G -Xms1G的JVM内存配置,如果机器内存较小,需要调整启动配置。
打开/config/kafka-server-start.sh,修改
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
为适合当前服务器的配置,例如
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
相关文章推荐
- Kafka单机、集群模式安装详解(一)
- Kafka单机、集群模式安装详解(二)
- Greenplum源码编译安装(单机及集群模式)完全攻略
- Kafka安装配置(集群模式)
- Kafka的基本概念与安装指南(单机+集群同步)
- Centos_7.2 下 Kafka_2.13 分布式消息系统的集群模式配置图文详解
- Zk笔记(一):Zookeeper的两种安装和配置(Windows):单机模式与集群模式
- zk 安装多种模式(单机, 伪集群,集群) 之二
- CentOS下Hive2.0.0集群模式安装详解
- CentOS下Hive2.0.0单机模式安装详解
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- Presto单机/集群模式安装笔记
- spark安装和集群单机模式
- Linux环境Hbase单机模式安装详解
- 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)
- Spark Tachyon编译部署(含单机和集群模式安装)
- kafka安装(单机模式)
- [集群配置]macOS Flume+kafka单机安装连接
- CentOS下ZooKeeper单机模式、集群模式安装
- CentOS下ZooKeeper单机模式、集群模式安装