Flume NG中的ElasticSearch Sink
2016-07-16 11:19
316 查看
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
在Flume中的ElasticSearchSink支持Flume与Elasticsearch整合,可以将Flume采集的数据传输到Elasticsearch中,其主要配置项如下
在Flume中的ElasticSearchSink支持Flume与Elasticsearch整合,可以将Flume采集的数据传输到Elasticsearch中,其主要配置项如下
a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source ...... # sink a1.sinks.k1.type=org.apache.flume.sink.elasticsearch.ElasticSearchSink a1.sinks.k1.batchSize=10000 a1.sinks.k1.hostNames=192.168.10.83:9300,192.168.10.84:9301 a1.sinks.k1.indexType = flume_kafka a1.sinks.k1.indexName=logstash a1.sinks.k1.clusterName=unifyloggingplatform a1.sinks.k1.serializer=org.apache.flume.sink.elasticsearch.ElasticSearchLogStashEventSerializer a1.sinks.k1.indexNameBuilder=org.apache.flume.sink.elasticsearch.SimpleIndexNameBuilder # channel ...... # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
相关文章推荐
- jQuery 即点即改
- DeepID人脸识别算法之三代
- 浅谈数位DP(以hihocoder #1033 交错和为例)
- hdu 1176 免费馅饼
- 数据库引擎
- 【视频】Linux高级程序设计01.3命令行选项及参数
- Android MediaScannerConnection,Android MediaScannerConnectionClient
- 自动生成mybatis-Mapper 注解类
- Scala中的伴生对象apply方法和单例对象
- POJ 1837 Balance [动态规划——完全背包]
- eclipse常用设置
- bootstrap初级
- 【视频】 Linux高级程序设计01.2开发平台及Linux环境限制
- 相同版本的CDH集群间迁移hdfs以及hbase
- JMeter3.0配置
- NYOJ-疯牛
- java web开发中遇到的问题小记
- LeetCode 题目总结/分类
- 【项目笔记】布局文件报错Suspicious size: this will make the view invisible, probably intended for layout_width
- 强连通分量(SCC)模版