ELK-redis日志服务器搭建

摘要: ELK-redis日志服务器搭建

elk+redis 搭建日志分析平台

这个是最新的elk+redis搭建日志分析平台，今年时间是2015年9月11日。
Elk分别为 elasticsearch，logstash， kibana
官网为：https://www.elastic.co/products

Elasticsearch:
https://www.elastic.co/downloads/elasticsearch
https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
logstash:
https://www.elastic.co/downloads/logstash
https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
kibana:
https://www.elastic.co/products/kibana
https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

先说一下规划



192.168.15.62为日志查看服务器，该机器需要安装redis, elasticserch, logstatsh, kibana这四个应用程序。
192.168.15.2 为应用程序nginx应用程序，我们这次只收集他的日志进行分析。
安装
Yum install vim unix2dos wget curl curl-devel expect expect-devel
Yum install gcc glibc glib2 libgcc glibc-devel glib2-devel
Yum install m4 automake autoconf cmake cpp
Yum install gcc-c++ libstdc++ libstdc++-devel libstdc++-docs

在192.168.15.62机器上：
以root身份登陆，在root的家目录“/root”下：
Wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
Wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
Wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
Wget http://download.redis.io/releases/redis-3.0.4.tar.gz

#tar –xvzf redis-3.0.4.tar.gz
#cd redis-3.0.4
#make
#make install
#cd utils
#./install_server.sh
这样redis就安装好了
#which redis-server在/usr/local/bin/redis-server
配置文件放在/etc/redis/6379.conf文件
#redis-cli
>set aa aavalue
>get aa 即可测试。
#cd
#tar –xvzf elasticsearch-1.7.1.tar.gz
#cp –a elasticsearch-1.7.1 /usr/local
#cd /usr/local
#ln –s elasticsearch-1.7.1 elasticsearch

#cd
#tar –xvzf logstash-1.5.4.tar.gz
#cp –a logstash-1.5.4 /usr/local
#cd /usr/local
#ln –s logstash-1.5.4 logstash

#cd
#tar –xvzf kibana-4.1.2-linux-x64.tar.gz
#cp –a kibana-4.1.2-linux-x64 /usr/local
#cd /usr/local
#ln –s kibana-4.1.2-linux-x64 kibana

程序安装全部完成。
由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。
/usr/local/elasticsearch/bin/elasticsearch –d （以deamon方式启动elasticsearch）
打开192.168.15.62:9200即可看到



配置logstash程序
# cd /usr/local/logstash下，mkdir etc logs两个文件夹，etc用于存放配置文件，logs用于存放日志文件
在该etc目录下建立一个central.conf配置文件：


该文件说明是以redis为输入，输出到elasticsearch程序，格式为json协议为http. 启动logstash程序如图：
#/usr/local/logstash agent –verbose --config /usr/local/logstash/etc/central.conf –log /usr/local/logstash/logs/stdou.log


Kibana程序现在是4版本了，自带web，端口为5601:
#cd /usr/local/kibana/bin/
#./kibana程序即可。

现在可以打开 kibana的页面了。


服务器安装完成了，现在要在客户端（192.168.25.2）收集日志
#cd
#tar –xvzf logstash-1.5.4.tar.gz
#cp –a logstash-1.5.4 /usr/local
#cd /usr/local
#ln –s logstash-1.5.4 logstash
#cd /usr/local/logstash目录
同样需要#mkdir etc logs存放配置文件和日志文件。
vim logstash_agent.conf



启动该logstash程序即可。
#/usr/local/logstash/bin/logstash –f /usr/local/logstash/etc/logstash_agent.conf



这样就把日志传给了日志服务器了。
打开http://192.168.15.62:5601。就是打开kibana页面。
配置一下：



就可以看到日志以传送过来。如图：