大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用
2016-05-06 08:49
746 查看
为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/
Kafka介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1
— infoq.com
Kafka基本信息
vi ./frameworks/kafka/config/log4j.properties
11. Kafka
此主题介绍Kafka的安装、配置及基础使用。Kafka介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1
— infoq.com
Kafka基本信息
官网:http://kafka.apache.org/
11.1. 环境准备
# 切换到工作空间 cd /opt/workspaces # 创建Kafka数据目录 mkdir data/kafka # 创建Kafka日志目录 mkdir logs/kafka
11.2. 安装
wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz tar -zxf kafka_2.10-0.8.2.2.tgz rm -rf kafka_2.10-0.8.2.2.tgz mv kafka_2.10-0.8.2.2 ./frameworks/kafka
11.3. 配置(伪分布式)
vi ./frameworks/kafka/config/server.properties# 设置如下参数: broker.id=0 port=9092 # 对外主机名 advertised.host.name=<Docker对外IP> # 数据目录 log.dirs=/opt/workspaces/data/kafka # 连接ZK zookeeper.connect=localhost:2181
当您有多块网卡或使用特殊的网络设置导致Kafka启动时使用的IP与对外暴露的IP不同时需要指定advertised.host.name为您期望使用的外网IP |
log.dirs的解释为 A comma seperated list of directories under which to store log files,这里所谓的日志文件指的是Kafka的消息持久化文件,并不是一般意义的运行日志 |
# 设置日志目录 kafka.logs.dir=/opt/workspaces/logs/kafka
11.4. 启动与停止
nohup ./frameworks/kafka/bin/kafka-server-start.sh ./frameworks/kafka/config/server.properties >/dev/null 2>&1 &
11.5. 测试
./frameworks/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ./frameworks/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test > This is a message > This is another message # 在另个窗口输入 ./frameworks/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning > This is a message > This is another message
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- Kafka 之 中级
- Spark随谈——开发指南(译)
- 单机版搭建Hadoop环境图文教程详解
- Spark,一种快速数据分析替代方案
- 康诺云推出三款智能硬件产品,为健康管理业务搭建数据池
- MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Linux下Kafka单机安装配置方法(图文)
- php+ajax导入大数据时产生的问题处理
- C# 大数据导出word的假死报错的处理方法
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享