第32课：Kafka原理内幕和集群构建与测试实战

第32课：Kafka原理内幕和集群构建与测试实战

1 kafka原理内幕

2 kafka集群实战

Kafka的重要性不亚于spark  streaming的重要性！彻底精通kafka，做到绝对精通kafka。如一些公司使用流处理系统：kafka改造整个IT异构系统！

kafka

1、kafka是分布式的，大规模消息打下坚实的基础，scalable

2、对消息进行持久化，默认情况保存7天（不消费就删掉了）。消费过以后不会删除，可以重复消费。

3、消息中间件的集大成者。抽象强大：

   先进先出的消息队列；

   发布者和订阅者。

andriod 安卓系统，数据的收集和消费，智能终端！

andriod+spark+kafka kafka把一切整合起来了，打破了时间和空间的差异

kafka的存在打破了异构物理系统的差异化：车载系统、andriod、智能终端.........无所谓服务端和终端了

 

kafka传消息的角度来是实时的、离线的，磁盘系统存储消息，满足各种需要；kafka事务方面不行。

 



 

 

 

 

数据放在内存快，还是放到磁盘中放到内核中快？看内存怎么分配的（用户空间、内核空间），和操作系统有关。kafka做到了近似内存，采用了nio级别，把数据存在磁盘上（内核空间） 拷贝1次。

 

Linkin 招聘数据，人才消息，人才推荐，信息化了..... 使用了kafka

 

kafka：hdfs+消息处理，将kafka作为前端，即可单机、又可分布式、消息处理；不管使不使用spark streaming， 都需kafka； 事务处理是少数情况

 



 

 

kafka：

1、kafka 零拷贝 内核中操作，没必要将数据放到用户buffer中，将数据放到内核，直接通过内核传输。

 

相对于Linux用户buffer的读写过程：用户的应用程序buffer空间，buffer 数据来自网络和磁盘，都需通过内核

linux：

读：磁盘－内核－用户应用；

写：用户应用－内核－磁盘

 

 2、push poll 机制

 

3、zookeeper 管理生产者、消费者

4、kafka消息处理的一致性 消费了哪些offset kafka保存offset

 


 

 

 

 


 

kakfa 抽象topic，kafka无状态，这样简化了管理，consumer可以再次进行消费