ELK企业内部日志分析系统(elasticsearch/logstash/beats/kibana)centos7详解

一、软件介绍

1.Easticsearch搜索引擎：是一个基于Lucene的搜索引擎，提供索引，搜索功能。他提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

2.Logstash接收，处理，转发日志工具：
logstash是一个开源的服务器端数据处理流水线，它可以同时从多个数据源获取数据，并将其转化为最喜欢的“存储”（ours is elasticsearch，naturally.）主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。

3.Beats采集日志信息：GO语言开发，所以高效、很快:
filebeat：
隶属于Beats，轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是 ELK Stack 在 Agent 的第一选择,目前Beats包含四种工具：

• Packetbeat（搜集网络流量数据）

• Metricbeat（搜集系统、进程和文件通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。）

• Filebeat（搜集文件数据）

• Winlogbeat（搜集 Windows 事件日志数据）

4.Kibana：独立美观的图形数据展示界面： Kibana 是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。让你可视化你的Elasticsearch数据并导航Elastic Stack，所以你可以做任何事情，从凌晨2:00分析为什么你得到分页，了解雨水可能对你的季度数字造成的影响。

二、实验环境

1.实验拓扑

2.实验准备

a.环境准备：

• els——192.168.11.132——elasticsearch（搜索引擎）
• logstash——192.168.11.139——logstash（日志处理） redis（缓冲队列）
• filebeat——192.168.11.140——filebeat（日志收集）httpd/mysql（生成日志）
• kibana——192.168.11.141——kibana（展示界面）

b.修改主机名

hostnamectl set-hostname els.along.com
hostnamectl set-hostname logstash.along.com
hostnamectl set-hostname filebeat.along.com
hostnamectl set-hostname kibana.along.com
注：分别在四台主机上操作,然后重启主机生效

c.修改hosts
vim /etc/hosts

192.168.11.132 els.along.com
192.168.11.139 logstash.along.com
192.168.11.140 filebeat.along.om
192.168.11.141 kibana.along.com

测试：互ping
[root@els ~]# ping logstash.along.com
[root@els ~]# ping filebeat.along.com
[root@els ~]# ping kibana.along.com

e.关闭防火墙、selinux
systemctl stop firewalld.service
systemctl status firewalld.service
setenforce 0
getenforce

f.同步时间
yum -y install chrony
vim /etc/chrony.conf

systemctl restart chronyd.service
chronyc sources -v

三、搭建elasticsearch和head插件

1.安装java环境
yum -y install java-1.8.0-openjdk-devel

2.安装下好的els(https://www.elastic.co)
yum -y install elasticsearch-5.5.1.rpm

3.修改jvm的配置
vim /etc/elasticsearch/jvm.options

4.配置els
vim /etc/elasticsearch//elasticsearch.yml

cluster.name: alongels #集群名字
node.name: els #节点名
path.data: /els/data #索引路径
path.logs: /els/logs #日志存储路径
network.host: 192.168.11.132 #对外通信的地址，依次修改为自己机器对外的IP
#http.port: 9200 #默认端口

5.创建所需的路径，并修改权限

mkdir -pv /els/{data,logs}
chown -R elasticsearch.elasticsearch /els/*

6.重启服务
systemctl start elasticsearch.service

7.测试
ss -naput | grep 9200

curl 192.168.11.132:9200

浏览器访问：

8.安装elasticsearch 的head插件
谷歌Elasticsearch head插件实现了此功能，所以直接使用谷歌插件

四、搭建介绍logstash

1.介绍（笔者自己做笔记用，可以直接忽略）
查看官方文档：https://www.elastic.co/cn/products/logstash
① 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

② Logstash的事件（logstash将数据流中等每一条数据称之为一个event）处理流水线有三个主要角色完成：inputs –> filters –> outputs：

logstash整个工作流分为三个阶段：输入、过滤、输出。每个阶段都有强大的插件提供支持：
Input 必须，负责产生事件（Inputs generate events）,常用的插件有

• file 从文件系统收集数据
• syslog 从syslog日志收集数据
• redis 从redis收集日志
• beats 从beats family收集日志（如：Filebeats）

Filter常用的插件有, 可选，负责数据处理与转换（filters modify them）

• grok grok是logstash中最常用的日志解释和结构化插件
• mutate 支持事件的变换，例如重命名、移除、替换、修改等
• drop 完全丢弃事件
• clone 克隆事件
• geoip 给ip地址添加地址信息

output 输出,必须，负责数据输出（outputs ship them elsewhere）,常用的插件有

• elasticsearch 把数据输出到elasticsearch
• file 把数据输出到普通的文件
• graphite 把数据输出到graphite (logstash 插件)
• statsd 把数据输出到statsd（logstash插件）
  
  2.下载安装
  去官网下载对应版本的logstash ，我下载的是5.5.1版本https://www.elastic.co/cn/downloads/logstash
  yum -y install logstash-5.5.1.rpm

3.修改环境变量
vim /etc/profile.d/logstash.sh
export
. /etc/profile.d/logstash.sh

4.logstash演示用法（笔者做笔记，可忽略）

input => 标准输入

filter => 无

output => 标准输出

编辑配置文件，由于input、output还是标准输入输出

出现无法输出的情况可通过以下方法解决

a.示例1：标准输入输出（可忽略）
----编辑配置文件
cd /etc/logstash/conf.d/
vim test.conf

logstash -f ./test.conf -t
有Configuration OK表明测试成功
logstash -f ./test.conf

b.示例2：从文件输入数据，经grok 拆分插件过滤之后输出至标准输出（必做）

input => 文件输入

filter => grok、date 模块

grok：拆分字段

date：修改时间格式

output => 标准输出

----下载http服务
yum -y install httpd
systemctl start httpd
vim /var/www/html/index.html
home page
----生成20个测试页面
for i in {1…20}; do echo "Test Page i">/var/www/html/testi" > /var/www/html/testi">/var/www/html/testi.html; done
ls /var/www/html
curl 192.168.11.139
curl 192.168.11.139/test1.html
—循环生成httpd日志
for i in {1…200}; do j=((((((i %20+1)); curl http://192.168.11.139:80/test$j.html; done**（重要）**
----vim test2.conf

logstash -f ./test.conf -t
有Configuration OK表明测试成功
logstash -f ./test.conf

c.示例3：filter 的date、mutate 插件（可忽略）
input => 标准输入

filter => date、mutate 模块

mutate：修改字段

output => 标准输出

vim test3.conf

logstash -f ./test.conf -t
有Configuration OK表明测试成功
logstash -f ./test.conf

d.示例4：filter 的 geoip 模块(记录世界ip地址)
input => 标准输入

filter => geoip 模块

geoip：利用这个模块解析ip的地址，利于后边kibana 的地理位置展示图

output => 标准输出

----（1）准备ip 数据库

网上下载数据库，因为是记录世界的IP 地址，所以经常有变动，可以写一个计划任务，每隔一周去网上下载一次，解包，链接到maxmind 下：
　　tar xf GeoLite2-City.tar.gz
　　mv GeoLite2-City_20190416/ /etc/logstash/
　　cd /etc/logstash/
　　mv GeoLite2-City_20190416/ maxmind
　　----模拟一个公网ip 访问
　　echo ‘112.168.1.102 - - [08/Feb/2018:15:28:53 +0800] “GET /test6.html HTTP/1.1” 200 12 “-” “curl/7.29.0”’ >> /var/log/httpd/access_log

vim /etc/logstash/conf.d/test4.conf

logstash -f ./test.conf -t
有Configuration OK表明测试成功
logstash -f ./test.conf

e.示例5：output 输出给elasticsearch

input => 来自httpd 的访问日志

filter => geoip 模块

output => 输出给elasticsearch

vim test5.conf

logstash -f test5.conf -t
logstash -f test5.conf

f.示例6：output 输出给redis
input => 来自httpd 的访问日志

filter => geoip 模块

output => 输出给redis

yum -y install redis
vim /etc/redis.conf

systemctl restart redis

vim /etc/logstash/conf.d/test6.conf
测试如图

五、Beats 轻量型数据采集器

1.下载官网：
https://www.elastic.co/cn/products/beats

2.安装
yum -y install filebeat-5.5.1-x86_64.rpm

3.修改配置文件
vim /etc/filebeat/filebeat.yml


***-----示例1：配置filebeats，目标***elasticsearch
4.安装httpd服务
systemctl start filebeat.service
yum install httpd
systemctl start httpd
vim /var/www/html/index.html
for i in {1…20}; do echo "Test Page i">/var/www/html/test{i}" > /var/www/html/testi">/var/www/html/test{i}.html; done
ls /var/www/html/

curl 192.168.11.140
curl 192.168.11.140/test1.html

for i in {1…200}; do j=((((((i %20+1)); curl http://192.168.11.140:80/test$j.html; done(生成日志文件)

5.测试
filebeat.sh -e /etc/filebeat/filebeat.yml

----示例1：完整的ELK —> 配置filebeat，目标给logstash

1.配置filebeat
vim /etc/filebeat/filebeat.yml


systemctl restart filebeat.service
ss -anput | grep 5044

2.logstash服务器的配置
input => 来自filebeat

filter => geoip 模块

output => 输出给elasticsearch

vim /etc/logstash/conf.d/apachelogs.conf

logstash -f apachelogs.conf -t

3.filebeat的操作
systemctl restart filebeat.service
for i in {1…200}; do j=((((((i %20+1)); curl http://192.168.11.140:80/test$j.html; done（生成日志）

4.测试

----示例2：完整的els搭建

1.filebeat的操作
vim /etc/filebeat/filebeat.yml

redis-cli -a 123.com

2.logstash的操作
input => 来自redis

filter => geoip 模块

output => 输出给elasticsearch

vim /etc/logstash/conf.d/apachelogs2.conf

logstash -f apachelog.conf -t

3.filebeat的操作
systemctl restart filebeat
filebeat.sh -e /etc/filebeat/filebeat.yml
另开窗口产生日志
for i in {1…200}; do j=((((((i %20+1)); curl http://192.168.11.140:80/test$j.html; done

4.测试

六、kibana

1.介绍
　　kibana 是您走进 Elastic Stack 的窗口，Kibana 让您能够可视化 Elasticsearch 中的数据并操作Elastic Stack，因此您可以在这里解开任何疑问：例如，为何会在凌晨 2:00 被传呼，雨水会对季度数据造成怎样的影响。

① 一张图片胜过千万行日志

Kibana 让您能够自由地选择如何呈现您的数据。或许您一开始并不知道自己想要什么。不过借助Kibana 的交互式可视化，您可以先从一个问题出发，看看能够从中发现些什么。

② 从基础入手

Kibana 核心搭载了一批经典功能：柱状图、线状图、饼图、环形图，等等。它们充分利用了Elasticsearch 的聚合功能。

③ 将地理数据融入任何地图

利用我们的 Elastic Maps Services 来实现地理空间数据的可视化，或者发挥创意，在您自己的地图上实现自定义位置数据的可视化。

④ 时间序列也在菜单之列

您可以利用 Timelion，对您 Elasticsearch 中的数据执行高级时间序列分析。您可以利用功能强大、简单易学的表达式来描述查询、转换和可视化。

⑤ 利用 graph 功能探索关系

凭借搜索引擎的相关性功能，结合 graph 探索，揭示您 Elasticsearch 数据中极其常见的关系。

2.官网下载
https://www.elastic.co/cn/downloads/kibana

3.安装配置
yum -y install kibana-5.5.1-x86_64.rpm
vim /etc/kibana/kibana.yml

systemctl start kibana

打开网页192.168.11.141:5601

kibana目前不会操作，日后更新。