ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群
2018-12-05 09:27
1256 查看
filebeat.prospectors: - type: log #日志输出类型 enabled: true paths: #定义收集日志的目录 - /data/apps/logs/test1/* fields: #自定义的两个字段,区分日志类型及host type: test1 host: 161 ignore_older: 1h #忽略一小时以为的日志变化 multiline.pattern: '(WARN|DEBUG|ERROR|INFO) \d{4}/\d{2}/\d{2}' #正则匹配 符合的日志文件. multiline.negate: true #为true,表示不满足正则匹配条件的日志 multiline.match: after #after 追加到文件后面 filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 3 output.kafka: enabled: true hosts: ["192.168.0.11:9092","192.168.0.12:9092","192.168.0.13:9092"] topic: "test-log"
注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑)
样例图:
参考
相关文章推荐
- Elk集群安装+配置(Elasticsearch+Logstash+Filebeat+Kafka+Kibana)
- ELK6.3.1版本使用filebeat收集nginx的日志配置文件
- elk6.3.1+zookeeper+kafka+filebeat收集dockerswarm容器日志
- ELK+Filebeat+Nginx集中式日志解决方案(二)——添加ElasticSearch集群
- ELK-filebeat收集日志到Kafka,并转存ES
- ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
- ELK测试笔记-filebeat输出到logstash
- ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
- filebeat输出日志到阿里云kafka
- filebeat-6.2.3收集日志到kafka配置
- ELK-filebeat+kafka日志收集
- ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
- ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台 推荐
- elk日志分析filebeat配置(filebeat + logstash)
- Kafka 官方文档学习笔记 -- 启动配置kafka单点/多点集群 自带zookeeper管理
- ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台(elk5.2+filebeat2.11)
- ELK+FILEBEAT+KAFKA+ZOOKEEPER日志管理分析平台
- ELK+filebeat+kafka+zookeeper构建海量日志分析平台
- 海量日志下的日志架构优化:filebeat+logstash+kafka+ELK
- elk日志分析filebeat配置(filebeat + logstash)