日志分析系统和推荐平台的模块组成以及对应的开源技术简介

日志分析系统的模块组成以及对应的开源技术

日志分析系统有以下两类：

离线日志分析系统：日志收集（scribe,flume等），日志存储（hdfs等）,日志离线计算（mapreduce、hive、pig,spark sql 等）

实时日志分析系统：日志收集（scribe,flume等），消息队列（RabbitMQ、kafka等），实时计算框架（storm、spark streaming等）

两类日志分析系统主要由三个模块组成， 分别是：

日志集中模块、 日志存储模块和日志分析模 块。 日志集中模块完成日志的生成、 发送和接收功能； 日志存储模块实现了日志 的文件存储和数据库存储； 而日志分析模块则包括日志分析和分析结果的展示两 个子模块。

推荐平台的各个组成模块及开源技术

推荐平台由3个模块组成

数据加载

推荐模型

服务层

数据加载涉及的的开源技术：hdfs,mysql,hbase

HDFS/MySQL/Oracle等不同数据源中的数据导入Hbase，通过mapreduce并行导入与多线程两种方式实现数据加载

推荐模型涉及的开源计算模型：mapreduce、spark

服务层涉及的开源技术有：mysql、memcached、redis、cassandra,couchbase