Spark Streaming实时流处理项目实战笔记03

分布式日志收集框架Flume:

1、业务现状分析  2、Flume概述  3、Flume架构及核心组件  4、Flume的配置环境

5、Flume实战

           

                         一、业务现状分析



如何解决我们的数据从其他的server上移动到Hadoop之上？



所以：



                        二、Flume的概述
Flume是由Cloudera提供的一个分布式，高可靠，高可用的服务，用于分布式的海量日志的高效收集，聚合，移动系统。



框架：



（博客转载篇说得很清楚）
                     三、Flume架构及核心组件



串联和并联



                       

                        四、Flume的配置环境





                          Flume实战案例一



example：
1、agent的配置



2、source的配置



3、sink的配置



4、channel的配置



最后、三个组件的组装



eg:官网例子



我自己放入flume里的conf文件夹里 为example.conf

启动flume
$ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template




                                                                 Flume实战案例二



conf文件：exec-memory-logger.conf



启动：



-------------------------------------
离线：Flume ->HDFS
实时：Flume ->kafka
                                                                  Flume实战案例三







两个conf:
第一个------》



第二个conf:



启动：