Flume采集数据到HDFS中，开头信息有乱码
2018-03-15 10:45
302 查看
Flume采集数据，在生成的HDFS文件中，总是有“
SEQ!org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable??H謺NSA???y”信息，
在Flume文档中介绍，hdfs.fileType默认为SequenceFile，将其改为DataStream就可以按照采集的文件原样输入到hdfs，加一行a1.sinks.k1.hdfs.fileType=DataStream，就可以解决hdfs文件乱码的问题
SEQ!org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable??H謺NSA???y”信息，
在Flume文档中介绍，hdfs.fileType默认为SequenceFile，将其改为DataStream就可以按照采集的文件原样输入到hdfs，加一行a1.sinks.k1.hdfs.fileType=DataStream，就可以解决hdfs文件乱码的问题
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Flume采集数据到HDFS时，生成的文件中，开头信息有乱码
- Flume采集数据到HDFS时，文件中有乱码
- flume采集数据到hdfs
- Flume + HDFS Sink采集数据及如何添加第三方JAR
- flume实现kafka到hdfs实时数据采集 - 有负载均衡策略
- flume采集本地数据到hdfs
- Flume + HDFS Sink采集数据及如何添加第三方JAR
- flume 采集数据到hdfs
- Flume1.4 相关参数设置，将收集的数据汇总到hdfs，解决许多小文件问题
- Flume+Hbase--采集和储存日志数据
- 【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总
- 跟我一起制作数据采集-获取淘宝网店宝贝数据信息(一)
- 分布式日志收集框架Flume：监控一个文件实时采集新增的数据输出到控制台
- 关于flume 中spooldir传输数据报出HDFS IO error ..... File type DataStream not supported 错误解决
- flume学习（二）：flume将log4j日志数据写入到hdfs
- Flume+HBase采集和存储日志数据
- 大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
- flume 数据存入mysql（二）对敏感信息加密
- 大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
- 灌入大量数据后手工采集统计信息的重要性