您的位置：首页 > 其它

flume的source, channel, sink 列表

2017-09-26 11:51 246 查看
Flume Source
Source类型说明
Avro Source支持Avro协议（实际上是Avro RPC），内置支持
Thrift Source支持Thrift协议，内置支持
Exec Source基于Unix的command在标准输出上生产数据
JMS Source从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过
Spooling Directory Source监控指定目录内数据变更
Twitter 1% firehose Source通过API持续下载Twitter数据，试验性质
Netcat Source监控某个端口，将流经端口的每一个文本行数据作为Event输入
Sequence Generator Source序列生成器数据源，生产序列数据
Syslog Sources读取syslog数据，产生Event，支持UDP和TCP两种协议
HTTP Source基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式
Legacy Sources兼容老的Flume OG中Source（0.9.x版本）
Flume Channel
Channel类型说明
Memory ChannelEvent数据存储在内存中
JDBC ChannelEvent数据存储在持久化存储中，当前Flume Channel内置支持Derby
File ChannelEvent数据存储在磁盘文件中
Spillable Memory ChannelEvent数据存储在内存中和磁盘上，当内存队列满了，会持久化到磁盘文件（当前试验性的，不建议生产环境使用）
Pseudo Transaction Channel测试用途
Custom Channel自定义Channel实现
Flume Sink
Sink类型说明
HDFS Sink数据写入HDFS
Logger Sink数据写入日志文件
Avro Sink数据被转换成Avro Event，然后发送到配置的RPC端口上
Thrift Sink数据被转换成Thrift Event，然后发送到配置的RPC端口上
IRC Sink数据在IRC上进行回放
File Roll Sink存储数据到本地文件系统
Null Sink丢弃到所有数据
HBase Sink数据写入HBase数据库
Morphline Solr Sink数据发送到Solr搜索服务器（集群）
ElasticSearch Sink数据发送到Elastic Search搜索服务器（集群）
Kite Dataset Sink写数据到Kite Dataset，试验性质的
Custom Sink自定义Sink实现
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航