Fluentd+ElasticSearch+Kibana 搭建日誌類文件分析器 配置篇
2013-10-18 10:16
387 查看
甲:FluentD配置
筆者安裝的是td-agent版,其配置文件位於:/etc/td-agent/td-agent.conf
前文已給出其收集syslog的數據配置,筆者項目中需其收集JSON數據,嘗試使用syslog方式,存在不能將數據按JSON格式解析問題及無法過濾其他進程的syslog數據問題,後者在理論上還可以處理,雖然筆者花了不少時間不有做成功,前者實在找不到文檔解決。
筆者選擇了POST方式收集數據,其配置如官方文檔即可,如下所示:
<source>
type http
port 8080
bind 0.0.0.0
body_size_limit 32m
keepalive_timeout 10s
tag symdroid
</source>
<match symdroid.**>
type elasticsearch
logstash_format true
flush_interval 10s # for testing
</match>
HTTP POST之URL格式,
例如:
http://localhost:8080/tag/json
乙:elasticsearch 與 Kibana無有遭遇棘手的問題。
筆者安裝的是td-agent版,其配置文件位於:/etc/td-agent/td-agent.conf
前文已給出其收集syslog的數據配置,筆者項目中需其收集JSON數據,嘗試使用syslog方式,存在不能將數據按JSON格式解析問題及無法過濾其他進程的syslog數據問題,後者在理論上還可以處理,雖然筆者花了不少時間不有做成功,前者實在找不到文檔解決。
筆者選擇了POST方式收集數據,其配置如官方文檔即可,如下所示:
<source>
type http
port 8080
bind 0.0.0.0
body_size_limit 32m
keepalive_timeout 10s
tag symdroid
</source>
<match symdroid.**>
type elasticsearch
logstash_format true
flush_interval 10s # for testing
</match>
HTTP POST之URL格式,
http://{server}:{port}/{tag}/{datatype}
例如:
http://localhost:8080/tag/json
乙:elasticsearch 與 Kibana無有遭遇棘手的問題。
相关文章推荐
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(八) elasticsearch配置外网访问及常见错误处理
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(七) elasticsearch.yml配置文件详细说明
- Kubernetes Fluentd+Elasticsearch+Kibana统一日志管理平台搭建的填坑指南
- Kubernetes Fluentd+Elasticsearch+Kibana统一日志管理平台搭建的填坑指南
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(十五) logstash将配置写在多个文件
- ELK6.2.2(elasticsearch+logstash+kibana)开源日志分析平台搭建(三):logstash简单收集
- Windows10环境搭建Elasticsearch+Kibana+Marvel
- 安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台
- logstash+elasticsearch+kibana快速搭建日志平台
- logstash+elasticsearch+kibana快速搭建日志平台
- Nutch+MongoDB+ElasticSearch+Kibana 搭建搜索引擎
- Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台
- ELK6.2.2(elasticsearch+logstash+kibana)开源日志分析平台搭建(二):kibana简单搭建
- ELK(elasticsearch+logstash+kibana)开源日志分析平台搭建
- elasticsearch + logstash + kibana 搭建 ELK 日志分析系统
- logstash+elasticsearch+redis+kibana3 日志收集系统搭建
- Ubuntu 14.04搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)
- 使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
- ELK6.2.2(elasticsearch+logstash+kibana)开源日志分析平台搭建(一):es简单搭建