flume实时抓取log数据，并传到kafka中

                            flume实时抓取log数据，并传到kafka中

1.Linux下确定已配置好zookeeper，先启动zookeeper

    sbin/zkServer.sh start

(  sbin/zkServer.sh status查看启动状态) 启动后jps可查看到新启的 进程为 QuorumPeerMain

2.启动kafka,zookeeper需在kafka前启动

   bin/kafka-server-start.sh config/server.properties &

3.启动consumer接收日志

  bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic-004

  (之前可创建topic  ；bin/kafka-topics.sh --Create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic mytopic)

4.查看自己的部署的webserver 的日志，当对该页面进行操作时，看日志变化情况，确定变化的日志为需监控的日志。 例如我自己的为：


则我需监控的目录为usr/local/nginx/access.log

5.启动flume.  sbin/flume start source(启动后查进程多application)

  修改配置文件：conf/flume-source-conf.properties里监控的文件路径为：

       


6.操作网站，产生日志，并查看kafka下consumer可监控到产生的日志。