[Kafka] - Kafka基本概念介绍
2017-11-29 21:12
246 查看
Kafka官方介绍:Kafka是一个分布式的流处理平台(0.10.x版本),在kafka0.8.x版本的时候,kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit
log service), 具有高水平扩展性、高容错性、访问速度快、分布式等特性;主要应用场景是:日志收集系统和消息系统
数据在Kafka上的分布简单描述图:
Kafka基本术语
======================================================================
Message(消息):传递的数据对象,主要由四部分构成:offset(偏移量)、key、value、timestamp(插入时间); 其中offset和timestamp在kafka集群中产生,key/value在producer发送数据的时候产生
Broker(代理者):Kafka集群中的机器/服务被成为broker, 是一个物理概念。
Topic(主题):维护Kafka上的消息类型被称为Topic,是一个逻辑概念。
Partition(分区):具体维护Kafka上的消息数据的最小单位,一个Topic可以包含多个分区;Partition特性:ordered & immutable。(在数据的产生和消费过程中,不需要关注数据具体存储的Partition在那个Broker上,只需要指定Topic即可,由Kafka负责将数据和对应的Partition关联上)
Producer(生产者):负责将数据发送到Kafka对应Topic的进程
Consumer(消费者):负责从对应Topic获取数据的进程
Consumer Group(消费者组):每个consumer都属于一个特定的group组,一个group组可以包含多个consumer,但一个组中只会有一个consumer消费数据。
相关文章推荐
- Kafka基本概念介绍及快速上手资料
- kafka分布式消息队列 — 基本概念介绍
- [Kafka] - Kafka基本概念介绍
- 分布式消息队列kafka系列介绍 — 基本概念
- kafka分布式消息队列 — 基本概念介绍
- IPtables之一:基本概念介绍
- ION基本概念介绍
- JavaScript学习笔记1:JavaScript学前介绍与基本概念
- 图论-基本概念及算法介绍
- GCD介绍(一): 基本概念和Dispatch Queue
- Kafka基本概念
- Kafka学习(二):Kafka的基本结构和概念
- 数据结构与算法导论之基本概念和术语介绍
- portal和portlet基本概念介绍
- MT【70】图论的一些基本概念例题介绍
- kafka 入门概念介绍
- Tensorflow中基本概念及神经网络模型的介绍
- ION基本概念介绍和原理分析
- 图的基本概念及介绍
- GCD介绍: 基本概念和Dispatch Queue