消息系统Kafka介绍
2017-04-10 11:05
148 查看
转:http://blog.csdn.net/xiaolang85/article/details/17913817
1、 概述
Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。
2、 设计目标
(2)高吞吐率。即使在普通的节点上每秒钟也能处理成百上千的message。
(4)支持数据并行加载到Hadoop中。
3、 KafKa部署结构
(1)message(消息)是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。如果consumer订阅了这个主题,那么新发布的消息就会广播给这些consumer。
4、 KafKa关键技术点
(1) zero-copy
(2) Exactly once message transfer
(3)Push/pull
(4)负载均衡和容错
broker和consumer之间利用zookeeper进行负载均衡。所有broker和consumer都会在zookeeper中进行注册,且zookeeper会保存他们的一些元数据信息。如果某个broker和consumer发生了变化,所有其他的broker和consumer都会得到通知。
【参考资料】
Kafka主页:http://sna-projects.com/kafka/design.php
Zero-copy原理:https://www.ibm.com/developerworks/linux/library/j-zerocopy/
Kafka与Hadoop:http://sna-projects.com/sna/media/kafka_hadoop.pdf
1、 概述
Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。
2、 设计目标
(2)高吞吐率。即使在普通的节点上每秒钟也能处理成百上千的message。
(4)支持数据并行加载到Hadoop中。
3、 KafKa部署结构
(1)message(消息)是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。如果consumer订阅了这个主题,那么新发布的消息就会广播给这些consumer。
4、 KafKa关键技术点
(1) zero-copy
(2) Exactly once message transfer
(3)Push/pull
(4)负载均衡和容错
broker和consumer之间利用zookeeper进行负载均衡。所有broker和consumer都会在zookeeper中进行注册,且zookeeper会保存他们的一些元数据信息。如果某个broker和consumer发生了变化,所有其他的broker和consumer都会得到通知。
【参考资料】
Kafka主页:http://sna-projects.com/kafka/design.php
Zero-copy原理:https://www.ibm.com/developerworks/linux/library/j-zerocopy/
Kafka与Hadoop:http://sna-projects.com/sna/media/kafka_hadoop.pdf
相关文章推荐
- Kafka消息订阅发布系统设计介绍
- 消息系统Kafka介绍
- kafka分布式消息系统介绍
- 消息系统Kafka介绍
- kafka 消息订阅发布系统设计介绍
- LinkedIn的高可用消息系统Kafka应用介绍
- 消息系统Kafka介绍
- 消息系统Kafka介绍
- 消息系统Kafka介绍
- 消息系统Kafka介绍
- 消息系统Kafka介绍
- 消息系统Kafka介绍 - 董的博客
- 消息系统Kafka介绍
- 分布式消息系统Kafka介绍
- 消息系统Kafka介绍
- 消息系统Kafka介绍
- 分布式发布订阅消息系统 Kafka 架构设计 - 目前见到的最好的Kafka中文文章
- KAFKA分布式消息系统
- linkedin高吞吐量分布式消息系统kafka使用手记
- 【Apache Kafka】KAFKA分布式消息系统