Kafka 安装和配置
2022-05-15 17:16
441 查看
一、Java 环境安装
上传jdk-8u261-linux-x64.rpm到服务器并安装:
rpm -ivh jdk-8u261-linux-x64.rpm
配置环境变量:
vim /etc/profile
export JAVA_HOME=/usr/src/jdk1.8.0_271 export PATH=$PATH:$JAVA_HOME/bin
生效: . /etc/profile验证: java -version
二、Zookeeper的安装配置
上传zookeeper-3.4.14.tar.gz到服务器,我这里上传并解压到
/usr/src目录下
tar -zxf zookeeper-3.4.14.tar.gz cd /usr/src/zookeeper-3.4.14/conf # 复制zoo_sample.cfg命名为zoo.cfg cp zoo_sample.cfg zoo.cfg # 编辑zoo.cfg⽂件 vim zoo.cfg
修改Zookeeper保存数据的⽬录,dataDir:
dataDir=/usr/src/zookeeper-3.4.14/data
编辑
/etc/profile:
- 设置环境变量ZOO_LOG_DIR,指定Zookeeper保存⽇志的位置;
- ZOOKEEPER_PREFIX指向Zookeeper的解压⽬录;
- 将Zookeeper的bin⽬录添加到PATH中:
export ZOOKEEPER_PREFIX=/usr/src/zookeeper-3.4.14 export PATH=$PATH:$ZOOKEEPER_PREFIX/bin export ZOO_LOG_DIR=/usr/src/zookeeper-3.4.14/log
使配置⽣效:
生效: . /etc/profile 验证: zkServer.sh
三、Kafka的安装与配置
上传kafka_2.12-1.0.2.tgz到服务器并解压:
tar -zxf kafka_2.12-1.0.2.tgz
配置环境变量并⽣效:
vim /etc/profile
export KAFKA_HOME=/usr/src/kafka_2.12-1.0.2 export PATH=$PATH:$KAFKA_HOME/bin
生效: . /etc/profile
配置
/usr/src/kafka_2.12-1.0.2/config中的
server.properties⽂件:
Kafka连接Zookeeper的地址,此处使⽤本地启动的Zookeeper实例,连接地址是localhost:2181,后⾯的myKafka是Kafka在Zookeeper中的根节点路径:
# 这里配置成0.0.0.0,则全网段的客户端都可以连接该Kafka;配置成固定的IP,就只有指定的客户端才能连接该Kafka listeners=PLAINTEXT://0.0.0.0:9092 # 放开Kafka的监听 advertised.listeners=PLAINTEXT://134.175.135.19:9092 # Kafka数据存放路径 log.dirs=/usr/src/kafka_2.12-1.0.2/logs # 连接的 Zookeeper 地址,多个用逗号隔开 zookeeper.connect=localhost:2181/myKafka
启动Zookeeper:
zkServer.sh start
确认Zookeeper的状态:
启动Kafka(进⼊Kafka安装的根⽬录,执⾏如下命令):
[root@VM-0-10-centos kafka_2.12-1.0.2]# pwd /usr/src/kafka_2.12-1.0.2 [root@VM-0-10-centos kafka_2.12-1.0.2]# kafka-server-start.sh config/server.properties
启动成功,可以看到控制台输出的最后⼀⾏的started状态:
查看Zookeeper的节点:
# 连接Zookeeper客户端 [root@VM-0-10-centos ~]# zkCli.sh -server localhost:2181
此时Kafka是前台模式启动,要停⽌,使⽤Ctrl+C。如果要后台启动,使⽤命令:
kafka-server-start.sh -daemon config/server.properties
查看Kafka的后台进程:
ps aux | grep kafka
停⽌后台运⾏的Kafka:
三、生产与消费
kafka-topics.sh ⽤于管理主题:
# 列出现有的主题 [root@VM-0-10-centos ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka # 创建主题,该主题包含⼀个分区,该分区为Leader分区,它没有Follower分区副本。 [root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1 # 查看分区信息 [root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list # 查看指定主题的详细信息 [root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_1 # 删除指定主题 [root@VM-0-10-centos ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1
kafka-console-producer.sh⽤于⽣产消息:
# 开启⽣产者 [root@VM-0-10-centos ~]# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092
kafka-console-consumer.sh⽤于消费消息:
# 开启消费者 [root@VM-0-10-centos ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 # 开启消费者⽅式⼆,从头消费,不按照偏移量消费 [root@VM-0-10-centos ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning
相关文章推荐
- centos7下最新版(7.3.2)ELK+FileBeat+Kafka集群安装部署配置
- kafka+zookeeper集群安装与配置(CENTOS7环境)及开发中遇到的问题解决
- Centons7下安装配置Flume、Linux下安装配置Flume、Flume的简单使用示例、Flume整合Kafka使用
- kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载、安装和配置(图文详细教程)绝对干货
- Kafka_2.10-0.10.0.0集群安装与配置
- Linux下Kafka单机安装配置方法
- Kafka安装配置
- Kafka之——安装并(单节点)配置启动Kafka
- Linux系统消息队列框架Kafka单机安装配置
- kafka_2.11-0.10.1.1集群搭建安装配置
- Kafka安装配置以及使用
- kafka安装配置
- kafka+zookeeper+elk自动安装配置
- Kafka安装配置
- kafka安装与配置
- CentOS 7.0 安装配置 kafka 消息队列
- kafka安装配置
- kafka安装配置
- kafka安装配置及与logstash集成
- kafka集群安装与配置