Flume1.7.0+Elasticsearch1.7.5+Kibana4.11日志收集分析系统环境搭建

Flume1.7.0+Elasticsearch1.7.5+Kibana4.11日志收集分析系统环境搭建

我的环境是三台Ubuntu14.04 LTS Server版虚拟机

- Ubuntu1 : 192.168.10.1

- Ubuntu2 : 192.168.10.2

- Ubuntu3 : 192.168.10.3

1.安装Elasticsearch1.7.5

下载elasticsearch-1.7.5.tar.gz

解压elasticsearch-1.7.5.tar.gz

tar -zxvf elasticsearch-1.7.5.tar.gz

进入config目录，编辑elasticsearch.yml,添加如下配置

cluster.name: elasticsearch  #集群的名称,所有节点配置成相同的名称构成一个集群
node.name: "ubuntu1"  #节点的名称,在集群中唯一
transport.tcp.port: 9300  #数据传输端口
http.port: 9200   #http访问端口

进入bin目录,编辑elasticsearch.in.sh文件，在最后一行添加

JAVA_OPTS="$JAVA_OPTS -Des.insecure.allow.root=true"

安装head插件,elasticsearch管理和可视化的插件

bin/plugin -install mobz/elasticsearch-head

如果下不下来，可以直接下载我的插件，解压到ES的根目录即可：http://download.csdn.net/download/upshi/9739976

复制elasticsearch文件夹到另外2台机器上,修改一下node.name

分别启动elasticsearch

bin/elasticsearch

后台启动：

bin/elasticsearch -d

访问Head插件: http://ubuntu3:9200/_plugin/head/

2.安装Flume1.7.0

前天Flume刚刚更新了新的发布版本1.7.0，正好使用一下。首先去官网下载apache-flume-1.7.0-bin.tar.gz

解压文件

tar -zxvf apache-flume-1.7.0-bin.tar.gz

进入conf目录，复制一份配置文件

cp flume-conf.properties.template flume-conf.properties

编辑配置文件

vi flume-conf.properties

# Define source,channel,sink

agent.sources = s1
agent.channels = c1
agent.sinks = k1

# Describe/configure the source

agent.sources.s1.type = TAILDIR
agent.sources.s1.filegroups = f1
agent.sources.s1.filegroups.f1 = /opt/tomcat-8.0.32/logs/.*.*
agent.sources.s1.channels = c1

# Describe the sink

agent.sinks.k1.type = elasticsearch
agent.sinks.k1.hostNames = 127.0.0.1:9300
agent.sinks.k1.indexName = flume
agent.sinks.k1.indexType = tomcat
agent.sinks.k1.clusterName = elasticsearch
agent.sinks.k1.batchSize = 500
agent.sinks.k1.ttl = 5d
agent.sinks.k1.serializer = org.apache.flume.sink.elasticsearch.ElasticSearchDynamicSerializer
agent.sinks.k1.channel = c1

# Use a channel which buffers events in memory

agent.channels.c1.type = memory
agent.channels.c1.capacity = 10000
agent.channels.c1.transactionCapacity = 10000
agent.channels.c1.byteCapacityBufferPercentage = 20
agent.channels.c1.byteCapacity = 800000

拷贝elasticsearch-1.7.5/lib下的elasticsearch-1.7.5.jar和lucene-core-4.10.4.jar到flume-1.7.0/lib下。

启动flume

bin/flume-ng agent -n agent -f conf/flume-conf.properties

3.安装Kibana4.11

下载kibana-4.1.11-linux-x64.tar.gz

解压kibana-4.1.11-linux-x64.tar.gz

tar -zxvf kibana-4.1.11-linux-x64.tar.gz

运行

bin/kibana

访问Ubuntu3:5601

Kibana具体使用还在学习中

Elasticsearch 中查询到收集到的日志信息：