[置顶] 基于docker部署的微服务架构: docker环境下的zookeeper和kafka部署
2017-11-18 16:32
936 查看
转载自:http://www.jianshu.com/p/263164fdcac7
kafka简单介绍
Kafka 是 LinkedIn 开源的一种高吞吐量的分布式发布订阅消息系统,kafka的诞生就是为了处理海量日志数据,所以kafka处理消息的效率非常高,即使是非常普通的硬件也可以支持每秒数百万的消息。
kafka 天然支持集群负载均衡,使用 zookeeper 进行分布式协调管理。不支持事务,有一定概率丢失消息。
kafka 的特点,决定了使用场景:日志中间件。
下载docker镜像
zookeeker: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest
创建并启动容器
先启动zookeeper:
docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime \
zookeeper:latest
zookeeper启动完成后再启动kafka:
docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主机的IP \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest
向kafka发送测试消息
运行 docker ps,找到kafka的 CONTAINER ID,运行 docker exec -it ${CONTAINER ID} /bin/bash,进入kafka容器。
进入kafka默认目录 /opt/kafka_2.11-0.10.1.0,运行 bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test,创建一个 topic 名称为 test。
运行 bin/kafka-topics.sh --list --zookeeper zookeeper:2181 查看当前的 topic 列表。
运行一个消息生产者,指定 topic 为刚刚创建的 test , bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test,输入一些测试消息。
运行一个消息消费者,同样指定 topic 为 test, bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning,可以接收到生产者发送的消息。
最后
kafka 环境已经搭建完成,接下来我们要对之前的工程进行改造,使用 log4j2 的 kafka appender 把日志统一输出到 kafka 日志中间件。
日志导入 kafka 之后,接下来的处理就比较灵活了,可以用不同功能的消费者订阅感兴趣的 topic,进行日志分析。例如:使用 kafka 作为 storm 的数据来源 spout,进行流式处理;订阅 kafka 中需要做离线统计处理的 topic,把数据保存到数据库,一般是 mongodb 或 hbase 这种数据结构松散的 nosql 数据库;又或者可以使用 flume 或 logstash 这种管道工具,把数据导入到其他的系统,比如 elasticsearch、 solr 等。
kafka 作为最常用的日志中间件,可以把分散的日志集中到一处,并做缓冲处理,再和其他开源工具进行集成,对数据做进一步处理,是日志统计系统的基础组件。
kafka简单介绍
Kafka 是 LinkedIn 开源的一种高吞吐量的分布式发布订阅消息系统,kafka的诞生就是为了处理海量日志数据,所以kafka处理消息的效率非常高,即使是非常普通的硬件也可以支持每秒数百万的消息。
kafka 天然支持集群负载均衡,使用 zookeeper 进行分布式协调管理。不支持事务,有一定概率丢失消息。
kafka 的特点,决定了使用场景:日志中间件。
下载docker镜像
zookeeker: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest
创建并启动容器
先启动zookeeper:
docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime \
zookeeper:latest
zookeeper启动完成后再启动kafka:
docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主机的IP \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest
向kafka发送测试消息
运行 docker ps,找到kafka的 CONTAINER ID,运行 docker exec -it ${CONTAINER ID} /bin/bash,进入kafka容器。
进入kafka默认目录 /opt/kafka_2.11-0.10.1.0,运行 bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test,创建一个 topic 名称为 test。
运行 bin/kafka-topics.sh --list --zookeeper zookeeper:2181 查看当前的 topic 列表。
运行一个消息生产者,指定 topic 为刚刚创建的 test , bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test,输入一些测试消息。
运行一个消息消费者,同样指定 topic 为 test, bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning,可以接收到生产者发送的消息。
最后
kafka 环境已经搭建完成,接下来我们要对之前的工程进行改造,使用 log4j2 的 kafka appender 把日志统一输出到 kafka 日志中间件。
日志导入 kafka 之后,接下来的处理就比较灵活了,可以用不同功能的消费者订阅感兴趣的 topic,进行日志分析。例如:使用 kafka 作为 storm 的数据来源 spout,进行流式处理;订阅 kafka 中需要做离线统计处理的 topic,把数据保存到数据库,一般是 mongodb 或 hbase 这种数据结构松散的 nosql 数据库;又或者可以使用 flume 或 logstash 这种管道工具,把数据导入到其他的系统,比如 elasticsearch、 solr 等。
kafka 作为最常用的日志中间件,可以把分散的日志集中到一处,并做缓冲处理,再和其他开源工具进行集成,对数据做进一步处理,是日志统计系统的基础组件。
相关文章推荐
- 基于Docker一键部署整个大数据平台及其他微服务架构
- Mini Centos环境部署YDB,基于haoop,zookeeper和kafka
- 基于Spring Boot和Spring Cloud实现微服务架构学习(五)-Docker总结
- 基于docker的应用服务部署
- 基于Dubbo的分布式系统架构(五):在Linux操作系统上手工部署Dubbo服务
- 基于docker部署的微服务架构(一):服务注册中心
- [置顶] 阿里架构师,讲述基于微服务的软件架构模式(附资料)
- 基于Spring Boot和Spring Cloud实现微服务架构学习(六)-Docker应用
- jeesz分布式企业框架 javaWeb分布式架构 springmvc+mybatis+shiro dubbo zookeeper redis kafka app服务
- 详解基于Docker的服务部署流程
- 基于docker环境,搭建 jetty环境, 部署java项目
- Spring Cloud基于Docker进行打包部署1-环境配置和docker打包运行
- Zookeeper之基于Observer部署架构
- 基于Spring Boot和Spring Cloud实现微服务架构学习(五)-Docker总结
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化
- 基于dubbo从传统MVC架构转向SOA架构分布式设计4--(服务部署集群搭建及负载均衡)
- 未来演进的方向--基于Docker部署微服务
- 基于Spring Boot和Spring Cloud实现微服务架构学习(六)-Docker应用
- SpringCloud(第 053 篇)CentOS7 中用 Docker 部署一个简单的基于 Eureka 服务治理发现的项目
- 混合架构下的docker-tomcat容器协同部署JAVA WEB服务,内嵌ICE中间件服务的技术实现