Kafka组件研究<一>----组件介绍
2016-08-01 20:59
246 查看
1 Kafka概述
1.1 介绍
Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。1.2 名词解释
Topics:一类消息,例如page view日志、click日志等都可以以topic的形式存在,Kafka集群能够同时负责多个topic的分发。Producers:We'll call processes that publish messages to a Kafka topic producers。
Consumers:We'll call processes that subscribe to topics and process the feed of published messages consumers。
Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。
Partition:topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。
Segment:partition物理上由多个segment组成。
1.3 组件原理
1.4 组件架构
1.5 组件特点
1.6 应用场景
Kafka能够作为一种处理各种实时数据流的统一平台,我们为此设想了广泛的使用场景。它必须能够支持高吞吐特性,以支持那些高容量的事件流,例如一个实时的日志收集场景;
它必须能够轻松得处理大量积压的数据,以支持那些定时从离线系统中加载大量数据的场景;
这同时也意味着它必须能够低延时地进行消息分发,以支持那些传统方式上的消息服务使用场景;
1.7 参考文档
《Kafka官方文档》相关文章推荐
- Kafka组件研究<五>---- Kafka监控-KafkaOffsetMonitor
- Kafka组件研究<二>----Kafka部署
- Kafka组件研究<四>----Kafka API使用
- Android实战简易教程<十>(画廊组件Gallery实用研究)
- Cocos2d-X内存管理研究<一>
- STM32系统中应用的动态加载可行性研究过程<一>
- Android Layout研究 <一> 基础知识
- [d3.js] D3.JS 基于javascript的图表展示库<一>----简单介绍
- XMPP协议实现原理介绍<一>
- 自定义组件研究<三>
- Hibernate<一> 介绍及基础应用
- android 四大组件之--------------Service <一>
- Struts2框架学习<一>流程介绍
- Android学习笔记:<一>Android 四大组件
- [Python爬虫] scrapy爬虫系列 <一>.安装及入门介绍
- net-snmp学习笔记<一> — 介绍
- <一> jQuery 简单介绍
- Cocos2d-X内存管理研究<一>
- 自定义组件<二> : TypeArray的用法与介绍
- Android 插件平台技术 <一> 基本介绍和dynamic-load-apk介绍