Flume安装与应用,日志收集保存

flume解压缩

tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/modules/

tar -zxvf apache-flume-1.6.0-src.tar.gz -C /opt/modules/

src里面文件内容，覆盖解压后bin文件里面的内容

cp -ri apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/

重命名

mv apache-flume-1.6.0-bin/ flume

修改环境变量/etc/profile

export FLUME_HOME=/opt/modules/flume

export PATH=$PATH:$FLUME_HOME/bin

环境变量生效

source /etc/profile

验证Flume安装是否成功

flume-ng version

建立配置文件 源-Source，接收器-Sink，通道-Channel。

代理1监控source1/opt/tools/flumedir目录下文件，sink1上传到HDFS上flume目录，channel1配置了两个临时目录

/opt/modules/flume/conf

#gent1表示代理名称

agent1.sources=source1

agent1.sinks=sink1

agent1.channels=channel1

#Spooling Directory是监控指定文件夹中新文件的变化，

一旦新文件出现，就解析该文件内容，然后写入到channle。写入完成后，标记该文件已完成或者删除该文件。

#配置source1

agent1.sources.source1.type=spooldir

agent1.sources.source1.spoolDir=/opt/tools/flumedir

agent1.sources.source1.channels=channel1

agent1.sources.source1.fileHeader = false #是否添加一个存储的绝对路径名的头文件。

agent1.sources.source1.interceptors = i1

agent1.sources.source1.interceptors.i1.type = timestamp

#配置sink1

agent1.sinks.sink1.type=hdfs

agent1.sinks.sink1.hdfs.path=hdfs://hadoop-master.dragon.org:9000/flume

agent1.sinks.sink1.hdfs.fileType=DataStream

agent1.sinks.sink1.hdfs.writeFormat=TEXT

agent1.sinks.sink1.hdfs.rollInterval=4 #在滚动当前文件之前等待的秒数

agent1.sinks.sink1.channel=channel1

agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d #名字的HDFS目录水槽创建的文件的前缀

#配置channel1

agent1.channels.channel1.type=file

agent1.channels.channel1.checkpointDir=/opt/tools/flumedir2 #存储检查点文件的目录

agent1.channels.channel1.dataDirs=/opt/tools/flumedir3 #用于存储日志文件的逗号分隔的目录列表。使用多个目录放在不同的磁盘可以提高文件通道性能

4.启动flume

flume-ng agent -n agent1 -c conf -f /opt/modules/flume/conf/example -Dflume.root.logger=DEBUG,console

往hdfs写的策略是当时间达到3600s或者文件大小达到128M。

agent1.sources = spooldirSource

agent1.channels = fileChannel

agent1.sinks = hdfsSink

agent1.sources.spooldirSource.type=spooldir

agent1.sources.spooldirSource.spoolDir=/opt/tools/flumedir

agent1.sources.spooldirSource.channels=fileChannel

agent1.sinks.hdfsSink.type=hdfs

agent1.sinks.hdfsSink.hdfs.path=hdfs://hadoop-master.dragon.org:9000/flume/%y-%m-%d

agent1.sinks.hdfsSink.hdfs.filePrefix=flume

agent1.sinks.sink1.hdfs.round = true

# Number of seconds to wait before rolling current file (0 = never roll based on time interval)

agent1.sinks.hdfsSink.hdfs.rollInterval = 3600

# File size to trigger roll, in bytes (0: never roll based on file size)

agent1.sinks.hdfsSink.hdfs.rollSize = 128000000 #文件大小，以触发卷，以字节为单位

agent1.sinks.hdfsSink.hdfs.rollCount = 0 #写入文件之前的事件数

agent1.sinks.hdfsSink.hdfs.batchSize = 1000 #写入文件之前被刷新到HDFS的事件数

#Rounded down to the highest multiple of this (in the unit configured using hdfs.roundUnit), less than current time.

agent1.sinks.hdfsSink.hdfs.roundValue = 1 #圆下来的最高倍数

agent1.sinks.hdfsSink.hdfs.roundUnit = minute #该单位的全面下降值-“秒”，“分钟”或“小时”

agent1.sinks.hdfsSink.hdfs.useLocalTimeStamp = true #使用本地时间（而不是时间戳的事件标题）而更换的转义序列

agent1.sinks.hdfsSink.channel=fileChannel

agent1.sinks.hdfsSink.hdfs.fileType = DataStream

agent1.channels.fileChannel.type = file

agent1.channels.fileChannel.checkpointDir=/opt/tools/flumedir2

agent1.channels.fileChannel.dataDirs=/opt/tools/flumedir3

flume-ng agent -n agent1 -c conf -f /opt/modules/flume/conf/exa2 -Dflume.root.logger=DEBUG,console

flume-ng agent --conf ./conf/ -f conf/flume-site.xml -Dflume.root.logger=DEBUG,console -n agent1>log.log 2>&1 &

让日志收集任务以后台进程运行，且将运行日志重定向到./log.log保存。2>&1就是用来将标准错误2重定向到标准输出1中的最后一个&，则是让bash在后台执行

$ flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/f1.conf -Dflume.root.logger=DEBUG,console -n agent-1

-n 指定agent名称

-c 指定配置文件目录

-f 指定配置文件

-Dflume.root.logger=DEBUG,console 设置日志等级

>/dev/null 2>&1

将输出重定向到它的好处是不会因为输出的内容过多而导致文件大小不断的增加，将命令的输出扔弃掉了。

丢弃你的标准输出和错误输出，当你不希望某一命令或程序产生任何输出的时候，就可以这样做