用户实时行为数据采集
2016-07-21 11:32
120 查看
用户实时行为数据采集如下:
1.web、wap通过埋点实时发送用户行为数据至后端server, app直接调用http接口,server通过logback直接输出日志文件
2.flume通过tail命令监控日志文件变化
3.flume通过生产者消费者模式将tail收集到日志推送至kafka集群
4.kafka根据服务分配topic,一个topic可以分配多个group,一个group可以分配多个partition
5.storm实时监听kafka,流式处理日志内容,根据特定业务规则,将数据实时存储至cache,同时根据需要可以写入hdfs
6.kafka直接写入hdfs
1.web、wap通过埋点实时发送用户行为数据至后端server, app直接调用http接口,server通过logback直接输出日志文件
2.flume通过tail命令监控日志文件变化
3.flume通过生产者消费者模式将tail收集到日志推送至kafka集群
4.kafka根据服务分配topic,一个topic可以分配多个group,一个group可以分配多个partition
5.storm实时监听kafka,流式处理日志内容,根据特定业务规则,将数据实时存储至cache,同时根据需要可以写入hdfs
6.kafka直接写入hdfs
相关文章推荐
- Kafka 之 中级
- Flume环境部署和配置详解及案例大全
- Linux下Kafka单机安装配置方法(图文)
- Kafka使用入门教程第1/2页
- Play! Akka Flume实现的完整数据收集
- log4j + flume 1.6 集成
- flume自定义Interceptor
- 使用Flume聚合Tomcat 日志
- #Note# Analyzing Twitter Data with Apache Hadoo...
- Logstash 与Elasticsearch整合使用示例
- 大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用
- 大数据实验室(大数据基础培训)——概要
- kafka-manager 的编译和使用(附安装包)
- Kafka源码调试环境搭建
- Kafka+Log4j实现日志集中管理
- apache flume 配置存储在Linux本地服务器
- Kafka深度解析
- Kafka设计解析(三)- Kafka High Availability (下)
- kafka+storm初探