【kafka】kafka安装配置以及遇到的问题

这几天用kafka来做分布式事务，所以就涉及到了kafka，以前都是用MQ做消息中间件，这次又学习了kafka的相关内容。

一、kafka是什么？

是一种高吞吐量的分布式发布订阅消息系统。有如下特性：

通过o(1)的磁盘数据结构提供消息的持久化，这种数据结果对于即使TB的消息存储也能够保持很长时间的稳定

高吞吐量：即使是非常普遍的硬件kafka，也可以支持每秒百万的消息。

支持通过kafka服务器和消费机集群来分区消息。

支持hadoop并行数据加载。

kafka的设计初衷是日志统计分析，也可以做运营数据的统计分析。

二、对比其他消息中间件

RabbitMq 遵循AMQP协议，对内在的高并发和erlang语言开发，用在实时性和可靠性要求你比较高的消息系统上。

kafka是2010年开源的消息发布订阅系统，主要用于处理活跃的流式数据上，大数据量的处理上。

①吞吐量

kafka 具有较高的吞吐量，内部采用了消息的批量处理，数据的存储和获取是本地磁盘的批量操作，消息处理的效率很高。

rabbitMQ在吞吐量方面稍逊于kafka,他们的出发点不一样，rabbitMq支持对消息的可靠性的传递

②集群负载均衡方面

kafka采用zookeeper对集群中的broker/consumer进行管理，可以注册topic到zookeeper上。rabbitMq 的负载均衡是需要单独的loadbalancer进行支持。

kafka一般应用在大数据日志处理和对实时性（少量延迟），可靠性（少量丢失数据）要求稍低的应用场景。

三、安装和配置

 参考文章；kafka在windows安装运行

文章讲解很清楚，我参考文档搭建成功，所以推荐下。

四、springboot 项目中的使用



1.添加pom文件

<!--kafka-->
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>

2.添加配置

#指定kafka主机和消息组名
spring.kafka.bootstrap-servers=127.0.0.1:9092
spring.kafka.consumer.group-id=mygroup
# 指定消息的key和消息体的编码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer


3.封装接收消息的实体

package com.example.demo.message;

import java.util.Date;

public class Message {

public Integer getId() {
return id;
}

public void setId(Integer id) {
this.id = id;
}

public Date getSendTime() {
return sendTime;
}

public void setSendTime(Date sendTime) {
this.sendTime = sendTime;
}

public String getMessage() {
return message;
}

public void setMessage(String message) {
this.message = message;
}

private Integer id;
private Date sendTime;
private String message;

}


4.provider

package com.example.demo.message;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

import java.util.Date;

/*import com.google.gson.Gson;
import com.google.gson.GsonBuilder;*/
@Component
public class Sender {
@Autowired
private KafkaTemplate kafkaTemplate;

public void sendMessage(){
Message m=new Message();
m.setId(11);
m.setMessage("Hello Kafka");
m.setSendTime(new Date());
//send是两个 参数，第一个参数是topic,第二个参数是Message数据
kafkaTemplate.send("demo",m);
}

}


5.consumer

@Component
public class Receiver {

@Autowired
private IUserService userService;

@KafkaListener(topics = "demo")
public void processMessage(ConsumerRecord<String,Object> record){

//解析接收到的数据
JSONObject jsonObject=(JSONObject)record.value();
Message message=jsonObject.toJavaObject(Message.class);
system.out.println("我是接收，我接收到的是"+message.getMessage+message.getSendTime);
}

6运行效果



7.参考文档

spring boot与kafka集成(spring boot 1.5.1版本)

小结

初步了解kafka，以及运用