logstash如何将kakfa合并的数据拆分然后写入ES
2017-08-03 11:12
609 查看
kafka数据:{
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_32"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_33"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_34"}\n
....
}
kafka团队因考虑性能问题,将原始日志多条合并一条发送(每一条用换行符分割),这样我读的kafka就必须拆成一条一条的写入到ES,不然数据就不准确了,请问这种需求该如何处理呢?
已解决,开始走了弯路,用的下列方法导致还在一条数据
filter {
mutate {
split=>["message","
"]
}
正解方案
filter {
split {
field => "message"
}
还有一个小问题split中terminator默认是\n,但是我如下写法为什么切割不成功呢,不写terminator是可以的
filter {
split {
field => "message"
terminator => "\\n"
}
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_32"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_33"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_34"}\n
....
}
kafka团队因考虑性能问题,将原始日志多条合并一条发送(每一条用换行符分割),这样我读的kafka就必须拆成一条一条的写入到ES,不然数据就不准确了,请问这种需求该如何处理呢?
已解决,开始走了弯路,用的下列方法导致还在一条数据
filter {
mutate {
split=>["message","
"]
}
正解方案
filter {
split {
field => "message"
}
还有一个小问题split中terminator默认是\n,但是我如下写法为什么切割不成功呢,不写terminator是可以的
filter {
split {
field => "message"
terminator => "\\n"
}
相关文章推荐
- logstash 向elasticsearch写入数据,如何指定多个数据template
- 如何快速地拆分合并的单元格并填充数据
- logstash向elasticsearch写入数据,如何指定多个数据template
- 如何快速地拆分合并的单元格并填充数据
- 利用logstash-output-jdbc从mysql导入数据到es中,如何构建多级节点的JSON
- 如何将EXCEL的多列数据叠加合并到一列
- uboot烧写yaffs2过程中,如何写入oob数据的
- 如何把数据写入SD卡
- oracle存储过程如何取动态字段内容(临时表)并汇总合并输出数据集
- 如何在SDE表格中写入二进制bolb数据
- logstash 向elasticsearch写入数据,怎样指定多个数据template
- (转)如何利用书签向word文档读取或写入数据[C#]
- 本人写的如何使用DFS API 合并为一个大的天气数据文件
- 在.net中如何把调用存储过程代码写入数据连接层中
- 如何操作Excel模板,往Excel模板中写入数据
- logstash 如何处理 mongodb 导出来的 _id value数据。 how to custom fields of logstash by mongo mapreduce exported data.(example format: {_id:"xxx"} , value:{})
- 按键精灵如何调用Excel及按键精灵写入Excel数据的方法教程---入门自动操作表格
- 删除一个表中与另一个表主键重复的数据 然后将俩个表的数据合并
- 如何合并列--将dataFrame中所有非科学的学科类合并到到一个非科学列中,所有的科学列的数据合并到一个科学列中
- hive 数据写入es