logstash如何将日志中字符串类型的时间转化成@timestamp
2016-09-13 23:31
330 查看
在ELK组合中我们在outputs/elasticsearch中常用的%{+YYYY.MM.dd}来创建索引,而这种写法是必须要读@timestamp这个字段的。默认情况下@timestamp字段显示的是当前时间,但我们可能需要记录的是日志中的字符串类型的时间,所以我们需要把日志中字符串类型的时间覆盖掉@timestamp中的当前时间。
创建配置文件 code.conf
input {
stdin{}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss,SSS"]
target => "@timestamp"
}
}
output{
stdout{
codec=>rubydebug{}
}
}
说明:标红出为日志中的时间格式,这个根据具体的日志自行修改或自己开发正则去匹配。
这里我用的是logstash自带的正则。要查看自带了哪些正则可查看文件:/logstash-2.2.0/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns/grok-patterns
测试:
./logstash -f code.conf
手动输入:
2016-08-24 18:05:39,830
可以看到@timestamp字段已经被覆盖。最后别忘了删除logdate字段
mutate {
remove => ["logdate"]
}
关于kafka与logstash数据交互
关于logstash数据进elasticsearch
创建配置文件 code.conf
input {
stdin{}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss,SSS"]
target => "@timestamp"
}
}
output{
stdout{
codec=>rubydebug{}
}
}
说明:标红出为日志中的时间格式,这个根据具体的日志自行修改或自己开发正则去匹配。
这里我用的是logstash自带的正则。要查看自带了哪些正则可查看文件:/logstash-2.2.0/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns/grok-patterns
测试:
./logstash -f code.conf
手动输入:
2016-08-24 18:05:39,830
可以看到@timestamp字段已经被覆盖。最后别忘了删除logdate字段
mutate {
remove => ["logdate"]
}
关于kafka与logstash数据交互
关于logstash数据进elasticsearch
相关文章推荐
- Logstash学习4_Logstash如何将操作日志中的字符串类型的时间转化成@timestamp
- 如何将操做日志中的字符串类型的时间转化成logstash中的@timestamp
- go语言如何将时间转化为字符串String类型
- Sqlserver时间格式转化为字符串类型的
- 如何设定MySQL中timestamp类型字段自动设定为当前时间
- C# 读取 timestamp 时间戳 值为byte[] 类型时转换为时间戳字符串
- 日志系统:字段类型的思考——String(字符串)、datetime(日期时间)、ip、int(整数)、float(小数)
- delphi中如何将string类型的字符串数据转化成byte[]字节数组类型的数据
- 如何在C++中将filetime时间转化为字符串?
- 时间字符串和date类型转化为时间字符串比较
- 再谈如何以最简单的方法将泛型为String类型的集合或String类型的数组转化为逗号间隔字符串形式
- iOS-字符串转化成NSDate类型 计算与当前时间的相差 月数 天数
- 如何把字符串转化为ENUM类型?
- float 如何转化为字符串类型
- linux 下时间字符串和time_t类型之间的相互转化
- JS 字符串转化时间类型
- 3.利用SimpleDateFormat()把字符串格式的时间转化为Date类型的时间
- [ios]字符串转化成NSDate类型 计算与当前时间的相差 月数 天数 【转】
- 关于js如何将毫秒类型的时间转化成几小时几分钟前或者是日期(yyyy-DD-MM)
- SqlServer 中Binary类型的数据如何转化为字符串