Flum 日志收集系统学习小结

1.Flum 是Cloudera提供的一个高可用的，高可靠的分布式的海量日志采集聚合和传输的系统，它支持在日志系统中制定各类数据发送方。用于收集数据，同时对数据进行简单的处理，并写到各种数据接收方的能力。

2.Flum 架构：它本身的一个设计agent. agent本身是Java进程运行在日志收集节点---所谓日志节点就是服务器节点

3Flum包含三个核心组件：source:完成对日志数据的收集分成transtion和event打入到channel之中

channel：主要提供一个队列的功能对source提供中的数据进行缓存

sink:取出channel中的数据进行相应的存储文件系统，数据库或提出远程服务器

4.Flum的运行机制：

flum核心agent

flum的可靠性：当节点出现故障时日志能够被传送到其他节点上而不会丢失

从强到弱：end-to-end 收到数据agent首先将event写到磁盘上，当数据传送成功下在删除，如果数据出错，重新发送

store on failure 是scribe采用策略，恢复后发送

Besteffort 是发送到接收方后，不进行确认。

5.启动agent的shell操作： flume-ng  agent  -n al -C/hadoop/tas

-Dflume.root.logger = DEBUG, Console

-n :指定agent名称

-c：指flume 中配置文件的目录

-f：指配置文件

-Dflume.root.logger = DEBUG, Console：指设置日志等级

6.在运行时记得先查看进程是否全起；如果在运行中出现拒绝连接则返回/hadoop 下起进程  看看除了五个进程外还有其他的没如果有 kill -9 ,然后进入hive2

->beelin->!connect  jdbc:hive2://虚拟机名：10000->用户名->密码