CentOS7搭建开源分布式搜索平台ELK实现日志实时搜索并展示图表 推荐
2016-12-08 11:14
691 查看
一、简介
Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理PB级别的数据。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。因此使用一款能够自动实时收集日志的工具则完美的解决我们的问题，ELK官网提供的开源解决方案有elasticsearch、logstash、kiabana。
ELK原理架构图：
说明：在此架构图中logstash agent负责将所有的应用服务日志收集并汇报给elasticsearch cluster集群中，而kibana则从ES集群中抽取数据生成图表，再返还给系统管理员。
二、ELK平台搭建
①ES平台是依赖于jdk的环境基础上进行的，所以在安装elasticsearch之前需安装jdk开发环境。
②各个节点之间需做到时间同步，可使用时间服务器进行同步。
③各个节点之间能够通过主机名见名知意，方便自己的操作。
安装配置如下：
#本文重要通过rpm包安装其环境极其软件，可自行到相依的官网下载rpm或源码包进行编译安装。
ES集群组件：
Cluster：集群的标识为集群名称，默认为elasticsearch，节点就是靠此名字来加入到哪个集群中，一个节点只能属于一个集群。
Node：运行单个ES实例的主机即为节点，用于存储数据，参与集群索引及搜索操作，节点的表示依靠节点名称。
Shard：将索引切割成为物理存储组件，每个shard都是一个独立且完整的索引，创建索引时，ES默认将其分隔为5个shard，用户也可以按需自行定义，但一旦创建则不可修改，同时会产生一个replica副本。
ES Cluster工作流程：
启动服务时，elasticsearch会监听在9300/tcp端口上，通过多播的方式查找同一类的集群的其他节点，并与之建立通信。集群中的所有节点会选举一个主节点负责管理整个集群状态，以及在集群范围内决定shard的分布方式，站在用户的角度而言，每个节点均可接受并响应用户的各类请求。
三、集群各管理及其操作
常用的四类API:
①检查集群、节点、索引等健康状态与否，以及获取其相关的状态
②管理集群、节点、索引及元数据
③执行CRUD操作
④执行高级操作，例如paping,filetering等
使用curl -X命令查看其节点状态信息
插件安装的两种方式：
给集群节点安装附加插件，可通插件扩展ES的功能，添加自定义的映射类型，自定义分析器，本地脚本，自定义发现方式。常用的插件有bigdesk,marvel,head,kopf等。
①直接解压插件的压缩包之或是插件放置于/usr/share/elasticsearch/plugins目录下即可
②使用全路径二进制脚本进行安装，例如：/usr/share/elasticsearch/bin/plugin -i bigdesk -u ftp://uri/bigdesk.lastest.zip ，安装完成之后可通过浏览器访问。访问的URL：http://uri:9200/_plugin/plugin_name
插件实例图一：
插件实例图二：
CRUD操作的相关API:增、删、改、查
1、创建文档：向索引中插入数据时将会自动创建索引
2、获取文档：查询插入的内容
3、更新文档：PUT方法会直接覆盖至原有的文档信息，想要局部的更新使用_update
4、删除文档及其索引
5、查看当前索引
项目小实战：
IP地址、软件规划：
各个节点配置如下：
实验图：
上诉为不可用状态，原因是logstash未连接至elasticsearch，elasticsearch未能从logstash中取得数据，如配置成功，将会出现create按钮，接下来将是一些图表上的操作就不过多解释和介绍。
总结：ELK是一个高度插件化的日志收集分析的软件，很多功能需借助其他辅助插件完成日志收集，想学好elk只能多看官方文档，文档地址：https://www.elastic.co/guide/index.html，朋友们只能帮助你到这了，接下来的路还很长。
Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理PB级别的数据。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。因此使用一款能够自动实时收集日志的工具则完美的解决我们的问题，ELK官网提供的开源解决方案有elasticsearch、logstash、kiabana。
ELK原理架构图：
说明：在此架构图中logstash agent负责将所有的应用服务日志收集并汇报给elasticsearch cluster集群中，而kibana则从ES集群中抽取数据生成图表，再返还给系统管理员。
二、ELK平台搭建
①ES平台是依赖于jdk的环境基础上进行的，所以在安装elasticsearch之前需安装jdk开发环境。
②各个节点之间需做到时间同步，可使用时间服务器进行同步。
③各个节点之间能够通过主机名见名知意，方便自己的操作。
安装配置如下：
| 实验环境 | 实验所需软件 |
| CentOS7:(kernel-3.10.0-327.el7.x86_64) | elasticsearch-1.7.2.noarch.rpm |
| Java: Openjdk version ”1.8.0_65″ | java-1.8.0-openjdk/openjdk-devel |
#安装openjdk开发环境 yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel java-1.8.0-openjdk-headless #配置其环境变量 export JAVA_HOME=/usr source java.sh [root@node2 ~]# java -version openjdk version "1.8.0_65" OpenJDK Runtime Environment (build 1.8.0_65-b17) OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode) [root@node2 ~]# #安装elasticsearch yum -y elasticsearch-1.7.2.noarch.rpm #编辑配置文件，不使用默认的cluster.name和node.name可根据自己业务的需求进行修改 cluster.name= alrenES node.name= "node2.alren.com" #启动服务，查看其监听的9300/tcp端口 systemctl start elasticsearch.service [root@node2 ~]# systemctl status elasticsearch.service ● elasticsearch.service - Elasticsearch Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: disabled) Active: active (running) since Mon 2016-12-05 21:05:47 CST; 19h ago Docs: http://www.elastic.co Main PID: 7143 (java) CGroup: /system.slice/elasticsearch.service └─7143 /bin/java -Xms256m -Xmx1g -Djava.awt.headless=true -XX... Dec 05 21:05:47 node2.alren.com systemd[1]: Started Elasticsearch. Dec 05 21:05:47 node2.alren.com systemd[1]: Starting Elasticsearch... [root@node2 ~]#
ES集群组件：
Cluster：集群的标识为集群名称，默认为elasticsearch，节点就是靠此名字来加入到哪个集群中，一个节点只能属于一个集群。
Node：运行单个ES实例的主机即为节点，用于存储数据，参与集群索引及搜索操作，节点的表示依靠节点名称。
Shard：将索引切割成为物理存储组件，每个shard都是一个独立且完整的索引，创建索引时，ES默认将其分隔为5个shard，用户也可以按需自行定义，但一旦创建则不可修改，同时会产生一个replica副本。
ES Cluster工作流程：
启动服务时，elasticsearch会监听在9300/tcp端口上，通过多播的方式查找同一类的集群的其他节点，并与之建立通信。集群中的所有节点会选举一个主节点负责管理整个集群状态，以及在集群范围内决定shard的分布方式，站在用户的角度而言，每个节点均可接受并响应用户的各类请求。
三、集群各管理及其操作
常用的四类API:
①检查集群、节点、索引等健康状态与否，以及获取其相关的状态
②管理集群、节点、索引及元数据
③执行CRUD操作
④执行高级操作，例如paping,filetering等
使用curl -X命令查看其节点状态信息
[root@node2 ~]# curl -X GET ' #?pretty则是显示
{
"status" : 200,#响应的状态码信息
"name" : "node2.alren.com", #节点名
"cluster_name" : "alrenES", #ES集群名称
"version" : {
"number" : "1.7.2", #elasticsearch版本
"build_hash" : "e43676b1385b8125d647f593f7202acbd816e8ec",
"build_timestamp" : "2015-09-14T09:49:53Z",
"build_snapshot" : false,
"lucene_version" : "4.10.4"
},
"tagline" : "You Know, for Search"
}
[root@node2 ~]# curl -X GET #查看支持的API接口
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
[root@node2 ~]# curl -X GET #查看其主节点为哪台主机
c-iCqp3FQh27948gAsyKaw node3.alren.com 10.1.10.67 node3.alren.com
[root@node2 ~]# curl -X GET #查看当前ES cluster集群的所有节点
node2.alren.com 10.1.100.6 6 84 0.06 d m node2.alren.com
node4.alren.com 10.1.100.7 4 69 0.15 d m node4.alren.com
node3.alren.com 10.1.100.8 16 72 0.10 d * node3.alren.com
[root@node2 ~]# curl -X GET ' #查看集群状态
{
"cluster_name" : "alrenES", #集群名称
"status" : "green", #集群健康状态
"timed_out" : false,
"number_of_nodes" : 3, #集群总共的节点数量
"number_of_data_nodes" : 3,
"active_primary_shards" : 8,
"active_shards" : 16,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0
}
[root@node2 ~]#插件安装的两种方式：
给集群节点安装附加插件，可通插件扩展ES的功能，添加自定义的映射类型，自定义分析器，本地脚本，自定义发现方式。常用的插件有bigdesk,marvel,head,kopf等。
①直接解压插件的压缩包之或是插件放置于/usr/share/elasticsearch/plugins目录下即可
②使用全路径二进制脚本进行安装，例如：/usr/share/elasticsearch/bin/plugin -i bigdesk -u ftp://uri/bigdesk.lastest.zip ，安装完成之后可通过浏览器访问。访问的URL：http://uri:9200/_plugin/plugin_name
插件实例图一：
插件实例图二：
CRUD操作的相关API:增、删、改、查
1、创建文档：向索引中插入数据时将会自动创建索引
curl -X PUT 'http://localhost:9200/students/class1/1?pretty' -d
'{
"name":"tom",
"gender":"male",
"age":21
}'
#同理插入第二个则修改相应的值即可
curl -X PUT 'http://localhost:9200/students/class1/2?pretty' -d
'{
"name":"jerry",
"gender":"female",
"age":21
}'2、获取文档：查询插入的内容
curl -X GET 'http://localhost:9200/students/class1/1?pretty'
3、更新文档：PUT方法会直接覆盖至原有的文档信息，想要局部的更新使用_update
curl -X POST 'http://localhost:9200/students/class1/2/_update?pretty' -d
'{
"doc":{"age":10}
}'4、删除文档及其索引
curl -X DELETE 'http://localhost:9200/students/class1/2/' curl -X DELETE 'http://localhost:9200/students'
5、查看当前索引
curl -X GET 'localhost:9200/_cat/indeces?v'
项目小实战：
IP地址、软件规划：
| IP地址 | 实验所需软件 | 环境部署 | 主机名 |
| 10.1.10.65 | logstash-1.5.4-1 redis | openjdk-1.8.0 | node1 |
| 10.1.10.66 | logstash-1.5.4-1 | openjdk-1.8.0 | node2 |
| 10.1.10.67 | elasticsearch-1.7.2 kibana-4.1.2 | openjdk-1.8.0 | node3 |
#node1需安装openjdk环境及logstash、redis
yum -y install java-1.8.0-openjdk-devel java-1.8.0-openjdk java-1.8.0-openjdk-headless
yum -y install logstash-1.5.4-1.noarch.rpm
yum -y install redis
#node1配配置如下：
修改/etc/redis/redis.conf
bind 0.0.0.0
修改/etc/logstash/conf.d/apache.conf
input {
file {
path => ["/var/log/httpd/access_log"]
type => "httpd_log"
start_position => "beginning"
}
}
filter {
grok {
match => {"message" => "%{COMBINEDAPACHELOG}"}
}
}
output {
redis {
port => "6379"
host => ["127.0.0.1"]
data_type => "list"
key => "logstash-httpd_log"
}
}
#完成上诉步骤后，启动服务
#启动httpd服务，进行访问，查看本机的redis是否存在数据
[root@node1 ~]# redis-cli
127.0.0.1:6379> llen logstash-httpd_log
(integer) 72
127.0.0.1:6379> LINDEX logstash-httpd_log 0
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:03 +0800] \\\"GET / HTTP/1.1\\\" 403 4897 \\\"-\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:04.430Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:03 +0800\",\"verb\":\"GET\",\"request\":\"/\",\"httpversion\":\"1.1\",\"response\":\"403\",\"bytes\":\"4897\",\"referrer\":\"\\\"-\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
127.0.0.1:6379> LINDEX logstash-httpd_log 1
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:03 +0800] \\\"GET /noindex/css/bootstrap.min.css HTTP/1.1\\\" 304 - \\\"http://10.1.10.65/\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:04.431Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:03 +0800\",\"verb\":\"GET\",\"request\":\"/noindex/css/bootstrap.min.css\",\"httpversion\":\"1.1\",\"response\":\"304\",\"referrer\":\"\\\"http://10.1.10.65/\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
127.0.0.1:6379> LINDEX logstash-httpd_log 3
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:03 +0800] \\\"GET /images/apache_pb.gif HTTP/1.1\\\" 304 - \\\"http://10.1.10.65/\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:04.431Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:03 +0800\",\"verb\":\"GET\",\"request\":\"/images/apache_pb.gif\",\"httpversion\":\"1.1\",\"response\":\"304\",\"referrer\":\"\\\"http://10.1.10.65/\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
.............
127.0.0.1:6379> LINDEX logstash-httpd_log 71
"{\"message\":\"10.1.250.79 - - [08/Dec/2016:10:32:04 +0800] \\\"GET /noindex/css/fonts/Light/OpenSans-Light.ttf HTTP/1.1\\\" 404 240 \\\"http://10.1.10.65/noindex/css/open-sans.css\\\" \\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\",\"@version\":\"1\",\"@timestamp\":\"2016-12-08T02:32:05.490Z\",\"host\":\"node1.alren.com\",\"path\":\"/var/log/httpd/access_log\",\"type\":\"httpd_log\",\"clientip\":\"10.1.250.79\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"08/Dec/2016:10:32:04 +0800\",\"verb\":\"GET\",\"request\":\"/noindex/css/fonts/Light/OpenSans-Light.ttf\",\"httpversion\":\"1.1\",\"response\":\"404\",\"bytes\":\"240\",\"referrer\":\"\\\"http://10.1.10.65/noindex/css/open-sans.css\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\\\"\"}"
127.0.0.1:6379>
#node2节点：从10.1.10.65中的redis取数据并能读取出来到elasticsearch集群中
编辑/etc/logstash/conf.d/server.conf
input {
redis {
port => "6379"
host => "10.1.10.65"
data_type => "list"
key => "logstash-httpd_log"
}
}
output {
elasticsearch {
cluster => "logs"
index => "logstash-%{+YYYY.MM.dd}"
}
}
#测试是否能够取得数据，使用logstash -f ./server.conf --configtest后查看node1上redis是否还存在数据
测试成功则使用：logstash -f ./server.conf &
#node3上安装配置elasticsearch和kibana
yum -y install elasticsearch-1.7.2.noarch.rpm
tar xf kibana-4.2.1.tar.gz -C /usr/local/
cd /usr/local/
ln -sv kibana-4.2.1 kibana
#启动服务
systemctl start elasticserach.service
/usr/local/kibana/bin/kibana &
#查看其集群状态及绘制图表信息
{
"status" : 200,
"name" : "Havok",
"cluster_name" : "elasticsearch",
"version" : {
"number" : "1.7.2",
"build_hash" : "e43676b1385b8125d647f593f7202acbd816e8ec",
"build_timestamp" : "2015-09-14T09:49:53Z",
"build_snapshot" : false,
"lucene_version" : "4.10.4"
},
"tagline" : "You Know, for Search"
}实验图：
上诉为不可用状态，原因是logstash未连接至elasticsearch，elasticsearch未能从logstash中取得数据，如配置成功，将会出现create按钮，接下来将是一些图表上的操作就不过多解释和介绍。
总结：ELK是一个高度插件化的日志收集分析的软件，很多功能需借助其他辅助插件完成日志收集，想学好elk只能多看官方文档，文档地址：https://www.elastic.co/guide/index.html，朋友们只能帮助你到这了，接下来的路还很长。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 开源分布式搜索平台ELK+Redis+Syslog-ng实现日志实时搜索
- 开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)+Redis+Syslog-ng实现日志实时搜索
- 开源分布式搜索平台ELK+REDIS+SYSLOG-NG实现日志实时搜索（转载）
- 开源分布式搜索平台ELK+Redis+Syslog-ng实现日志实时搜索
- centos7搭建ELK开源实时日志分析系统 推荐
- ELK实时日志分析平台部署搭建详细实现过程
- Linux搭建开源实时日志分析ELK平台
- ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 推荐
- elk实时日志分析平台部署搭建详细实现过程
- ELK实时日志分析平台部署搭建详细实现过程
- elk实时日志分析平台部署搭建详细实现过程
- elk实时日志分析平台部署搭建详细实现过程：加上个人实践意见，及如何避坑
- elk实时日志分析平台部署搭建详细实现过程
- ELK服务搭建（开源实时日志分析ELK平台部署）（低版本—简单部署）
- 分布式实时日志处理平台ELK
- 开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引
- ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
- ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
- ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
- ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台