用户实时行为数据采集

用户实时行为数据采集如下：


 

1.web、wap通过埋点实时发送用户行为数据至后端server， app直接调用http接口，server通过logback直接输出日志文件 

2.flume通过tail命令监控日志文件变化 

3.flume通过生产者消费者模式将tail收集到日志推送至kafka集群 

4.kafka根据服务分配topic，一个topic可以分配多个group，一个group可以分配多个partition 

5.storm实时监听kafka，流式处理日志内容，根据特定业务规则，将数据实时存储至cache，同时根据需要可以写入hdfs 

6.kafka直接写入hdfs