Kafka与flume的整合
2018-02-25 23:55
197 查看
第一步:解压flume到servers目录下
第二步:配置flume.conf
注意:这里的版本为1.8的版本,1.6的版本会配置会有所不同
#为我们的source channel sink起名 a1.sources = r1 a1.channels = c1 a1.sinks = k1 #指定我们的source收集到的数据发送到哪个管道 a1.sources.r1.channels = c1 #指定我们的source数据收集策略 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /export/servers/flumedata a1.sources.r1.deletePolicy = never a1.sources.r1.fileSuffix = .COMPLETED a1.sources.r1.ignorePattern = ^(.)*\\.tmp$ a1.sources.r1.inputCharset = GBK #指定我们的channel为memory,即表示所有的数据都装进memory当中 a1.channels.c1.type = memory #指定我们的sink为kafka sink,并指定我们的sink从哪个channel当中读取数据 a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = testnew a1.sinks.k1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092 a1.sinks.k1.kafka.flumeBatchSize = 20 a1.sinks.k1.kafka.producer.acks = 1
第三步:启动flume
bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console
相关文章推荐
- flume与kafka整合
- flume与kafka整合
- Flume+Kafka+SparkStreaming整合
- flume+kafka+storm整合(一)
- flume+kafka+storm整合01bak
- flume+kafka+storm整合02---问题
- Flume 与 Kafka 整合连接
- Kafka+Flume+Hive的整合
- Flume或Kafka和Elasticsearch整合
- Flume 整合 Kafka 使用
- kafka整合flume
- Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合
- flume 整合kafka
- flume1.6.0 和kafka整合(kafkasink只有在1.6.0以上的flume版本才有)
- Kafka+Flume+Hive的整合
- Kafka flume 整合
- flume+kafka+storm+hdfs整合
- flume+kafka整合
- Kafka学习笔记-Flume整合Kafka整合SparkStreaming
- Spark Streaming整合Flume + Kafka wordCount