ELK日志平台搭建过程

1.架构图

2.环境centos7及安装包

2.1安装jdk

解压

重命名

配置环境变量添加

export JAVA_HOME=/root/jdk1.8

export JRE_HOME=${JAVA_HOME}/jre 

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 

export PATH=${JAVA_HOME}/bin:$PATH

使配置生效 source /etc/profile

2.1 项目启动测试日志正常访问

提前关闭防火墙避免访问项目失败

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

项目启动正常访问日志正常打印

错误日志正常打印

 

3.Filebeat安装

3.1安装

3.2配置文件

属性配置详情说明: https://www.cnblogs.com/zlslch/p/6622079.html 
output定义路径详细说明: https://www.cnblogs.com/zlslch/p/6622079.html
配置filebeat文件

3.3启动filebeat

访问错误接口查看日志输出:

4.kafka及zookeeper安装

4.1 zookeeper集群部署

安装解压

配置文件参数详解:https://www.cnblogs.com/xiohao/p/5541093.html
 

 

单机默认配置启动

 

集群配置

创建集群所需主机号

复制zk1,便修改对应端口和myid的值

集群启动

4.2 kafka集群部署

安装解压

配置文件属性详解:


配置文件属性详解:http://blog.csdn.net/dream_flying_bj/article/details/73188662

集群配置

复制k1到k2,k3且修改端口和broker.id,log.dirs,listeners

启动测试

创建topic:  bin/kafka-topics.sh
be6a
--create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看创建的topic: bin/kafka-topics.sh --list --zookeeper localhost:2181
创建生产者: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建消费者: bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

4.3 Filebeat连接kafka

创建topic

修改filebeat output配置

产生日志重启filebeat,kafka消费topic

5. Logstash安装部署

5.1 logstash安装

解压安装

配置文件详解:http://blog.csdn.net/cromma/article/details/52911935

创建配置文件

启动测试输入输出

5.2 logstash连接kafka

修改input

启动测试

6. elasticsearch安装部署

6.1 elasticsearch集群安装

解压

elasticsearch默认不允许root用户启动,所以需要创建新用户

给新用户添加访问权限

默认配置启动常见错误:http://blog.csdn.net/u012246178/article/details/63253531

启动成功





配置文件详解: https://www.cnblogs.com/liuchuanfeng/articles/7059268.html

复制 e1到e2 e3记得删除data,修改node.name http.port
集群启动

6.2 elasticsearch-head插件安装

安装node

设置环境变量

source /etc/profiles使配置生效
复制elasticsearch-head

安装grunt

修改服务器监听地址:Gruntfile.js

修改连接地址：_site/app.js

npm install(安装下载下来的包)

grunt server

6.3 logstash连接elasticsearch

修改logstash配置文件

重启产生日志查看

7. kibana安装部署

7.1 kibana安装 

解压安装

配置elasticsearch路径

kibana简单配置,暂时不支持集群监听,需要做其他处理,这边暂时不做,启动

访问界面,第一次需要创建索引

查看数据

7.2 nginx安装

gcc,make安装

yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++

安装PCRE库
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz tar -zxvf ./repo/pcre-8.38.tar.gz
cd pcre-8.38
./configure
make
make install

安装zlib库
wget http://zlib.net/zlib-1.2.11.tar.gz tar -zxvf zlib-1.2.11.tar.gz
cd zlib-1.2.11
./configure
make
make install

安装ssl
wget https://www.openssl.org/source/openssl-1.0.1t.tar.gz tar -zxvf openssl-1.0.1t.tar.gz

安装nginx 为了简单安装,直接走默认配置
tar -zxvf ./repo/nginx-1.6.2.tar.gz
mv nginx-1.6.2.tar.gz nginx
cd nginx
./configure
make
make install

cd /usr/local/nginx
./sbin/nginx  默认启动

7.3 nginx代理kibana

添加单独的配置文件
mkdir ./conf.d
vim ./conf.d/kibana.conf

修改nginx主配置文件导入配置
vim /usr/local/nginx/conf/nginx.conf
添加 include /usr/local/nginx/conf/conf.d/*.conf;

配置登录验证

yum install -y httpd-tools

htpasswd -bc/usr/local/nginx/conf/htpasswd.users admin admin

cat /usr/local/nginx/conf/htpasswd.users

重启nginx

 /usr/local/nginx/sbin/nginx -t

/usr/local/nginx/sbin/nginx -s reload

访问

结束