Nginx容器日志收集方案fluentd+elasticsearch+kilbana

容器技术在发展到今天已经是相当的成熟，但容器不同于虚拟机，我们在使用容器的同时也有很多相关的技术问题需要解决，比如：容器性能监控，数据持久化，日志监控与分析等。我们不能像平时使用虚拟机一样来管理容器，本文我将给大家带来fluentd+elasticsearch+kilbana容器日志收集方案。
我们将通过容器的fluentd日志驱动将系统内产生的日志发送给fluentd服务端，再过来fluentd服务端处理所有容器发送过来的日志，再转发到elasticsearch，最后通过kilbana来展示和分析我们的日志。我们将通过以下拓扑来完成我们的日志收集。
部署elasticsearch+kilbana，此两个组件不是本文重点介绍对象，网络上也要很多关于这两个组件的部署方法，因为篇幅原因这里就不在重复，以后可能会加更新上ELK的部署博文。另外关于Docker的安装部署也是基本的，相信各位已经在研究容器日志收集不会连Docker都不会部署吧，完成第一步请继续往下看

部署fluentd与配置
安装主程序
大家请至官网下载自己所需要版本，对号入坐。我测试为CentOS7-x86_64，所以我下载的包为：td-agent-2.3.5-1.el7.x86_64.rpm，执行以下命令安装：
yum -y install td-agent-2.3.5-1.el7.x86_64.rpm

安装elasticsearch插件
因为我们需要将日志发送到elasticsearch，所以需要安装此插件，默认此插件没有安装，执行以下命令安装：
/opt/td-agent/embedded/bin/gem install fluent-plugin-elasticsearch
我们可以查看安装的插件列表：
/opt/td-agent/embedded/bin/gem list

编辑配置文件/etc/td-agent/td-agent.conf
如果存在此配置文件我们清空文件里面所有内容，增加如下内容：

<source>
@type forward
port 24224
bind 0.0.0.0
</source>

<match docker.test.nginx>
@type elasticsearch
host 192.168.1.23
port 9200
logstash_format true
logstash_prefix docker.test.nginx
logstash_dateformat %Y-%m-%d
flush_interval 5s
type_name docker_container_log
include_tag_key true
</match>

启动服务
systemctl start td-agent
确保已经监听0.0.0.0:24224

启动Nginx容器
启动命令：

docker run -dit -p 8080:80 --log-driver=fluentd \
--log-opt fluentd-address=192.168.3.232:24224 \
--log-opt tag="docker.test.nginx" \
nginx

启动命令介绍：
--log-driver：指定容器的日志驱动，Docker默认支持很多日志驱动，可以查看官方文档。

--log-opt：指定日志驱动的选项，其中fluentd-address指定fluentd服务端的IP与端口，tag指定日志的标签，fluentd根据标签来对日志进行分类处理，每一条日志发送到fluentd服务端的时候都会打上此标签。

当我们完成以上几步那么我们的日志收集就完成了一大半了，我们的Nginx访问日志和错误日志都已经通过fluentd驱动传送到fluentd服务端，然后fluentd服务端又将日志处理发送到elasticsearch，最后我们只需要通过kilbana，将日志从elasticsearch取出展示及可。

如果你按我的操作方法完成的日志收集，你不会天真的以为就这么简单，错！当然没有这么简单。我们只是简单的完成了日志收集与展示。fluentd收集的日志每一条记录都会存放在log字段中，我们还需要对log这个字段进行json格式化处理，方便我们对日志进行分析，操作方法如下：
修改我们的Nginx镜像的日志格式为json格式，关于如何修改大家可以根据自己需求，参考更多网友的方法进行修改，我这里修改模板为：

log_format main '{ "@timestamp": "$time_iso8601", '
'"@fields": { '
'"remote_addr": "$remote_addr", '
'"remote_user": "$remote_user", '
'"body_bytes_sent": "$body_bytes_sent", '
'"request_time": "$request_time", '
'"status": "$status", '
'"request": "$request", '
'"request_method": "$request_method", '
'"http_referrer": "$http_referer", '
'"http_x_forwarded_for": "$http_x_forwarded_for", '
'"http_user_agent": "$http_user_agent" } }';

修改我们的fluentd服务端配置文件如下：

<source>
@type forward
port 24224
bind 0.0.0.0
</source>

<filter docker.test.nginx>
@type parser
format json
key_name log
</filter>

<match docker.test.nginx>
@type elasticsearch
host 192.168.1.23
port 9200
logstash_format true
logstash_prefix docker.test.nginx
logstash_dateformat %Y-%m-%d
flush_interval 5s
type_name docker_container_log
include_tag_key true
</match>

修改完成后记得td-agent服务

通过以上的步骤我们也基本完成了对Nginx日志的json处理，可以通过我们定义的字段通过ELK进行日志的分析与处理。如果你的应用只有Nginx，那么恭喜你大功告成。但如果你还有其它日志要收集比如Tomcat，那么问题又来了，Tomcat的访问日志我们可以和Nginx一样进行json处理，但catalina日志怎么办，catalina的错误日志我们需要进行多行合并处理，还需要进行字段进行过滤，进行分析，我们有两种方法进行处理，一种是让开发把日志直接写成json格式，另外一种就是由我们来通过fluentd服务端转换，由于对fluentd研究不足，关于对tomcat容器日志收集的方法有机会写在后面的博文中，关于fluentd配置文件的进阶也将在后面的博文中介绍