ELK学习指南（二）- ELK安装

ELK安装文档
前置条件：■  软件需求
    ● yum and rpm (CentOS)
    ●  scp, curl, unzip, tar■  JDK需求：要求使用 Oracle JDK 1.8 64-bit 或以上版本的JDK■  编辑

/etc/hosts

文件，添加需要的机器名与ip的映射    ●  这里以机器名datastory4为例■  配置iptables    ●  最简单的方式是禁用iptables：

chkconfig iptables off

    ●  或者暂时关闭：/etc/init.d/iptables stop■  安装包准备（适用于无网络连接情况下的安装）：    ●  https://artifacts.elastic.co/downloads/logstash/logstash-5.3.0.tar.gz    ●  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar.gz    ●  https://artifacts.elastic.co/downloads/kibana/kibana-5.3.0-linux-x86_64.tar.gz 一、ElasticSearch1.  基本概念Elasticsearch：开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。
特点：
    1）实时分析
    2）分布式实时文件存储，并将每一个字段都编入索引
    3）文档导向，所有的对象全部是文档
    4）高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas）。
    5）接口友好，支持 JSON 2.  安装步骤
    1）上传安装包到安装目录
    2）解压安装包：
        ●  tar –zxvf elasticsearch-5.3.0.tar.gz
    3）配置：
        ●  cd /opt/package/elasticsearch-5.3.0/config/
        ●  vim elasticsearch.yml
        ●  添加以下配置项：cluster.name: test-cluster

path.data: /tmp/elasticsearch/data

path.logs: /tmp/elasticsearch/logs

network.host: 0.0.0.0

http.port: 9200    4）启动服务
        ●  cd /opt/package/elasticsearch-5.3.0/bin
        ●  ./elasticsearch 或./elasticsearch–d
    5）浏览器访问：
        ●  http://datastory4:9200/
    6）启动elasticsearch-head,,并访问:
        ●  grunt server
        ●  http://datastory4:9100/
 
3.常见错误处理
    1）    


    解决：更改jdk版本1.8
    2）    


    解决：Linux版本过低，使用新版本的Linux系统。其实不影响使用
    3）    

    解决：最大虚拟内存太小。切换到root用户下，修改配置文件sysctl.conf      ●  vi /etc/sysctl.conf    添加下面配置：vm.max_map_count=655360      并执行命令：      ● sysctl -p      然后重新启动elasticsearch，即可启动成功。    4）
    


    解决：这是在因为Centos6不支持SecComp，而ES5.2.0默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。
    在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false
二、Logstash
1.  基本概念
Logstash：是一个具有实时渠道能力的数据收集引擎。它可以对你的日志进行收集、分析，并将其存储供以后使用（如搜索）。
特点：
    1）几乎可以访问任何数据
    2）可以和多种外部应用结合
    3）支持弹性扩展
主要部分组成：    1）Shipper－发送日志数据    2）Broker－收集数据，缺省内置 Redis    3) Indexer－数据写入
 
2.  安装步骤
    1）上传安装包到指定目录
    2）解压
        ●  tar –zxvfelasticsearch-5.3.0.tar.gz
    3）启动服务，并验证测试
        ●  cd /opt/package/logstash-5.3.0
        ●  ./bin/logstash -e 'input { stdin { } } output { stdout {} }'        

        ●  如果结果如上图，表明可以正常使用。
    4)配置Logstash 管道文件
        ●  cd /opt/package/logstash-5.3.0/config/
        ●  vim log_to_es.conf
5)启动服务，后面加“&”是后台启动
        ●  ./bin/logstash agent -f config/log_to_es.conf & 三、Kibana1.  基本概念Kibana 是一款基于 Apache开源协议，使用 JavaScript 语言编写，为Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度的表图。Kibana既为 Logstash 和 ElasticSearch 提供友好的日志分析Web 界面，也可以帮助用户汇总、分析和搜索重要数据日志。    2.  安装步骤    1）上传安装包    2）解压        ●  tar –zxvf kibana-5.3.0-linux-x86_64.tar.gz    3）配置         ●  cd /opt/package/kibana-5.3.0-linux-x86_64/config/        ●  vim kibana.yml        ●  server.host: "0.0.0.0"        ●  elasticsearch.url:"http://datastory:9200"    4）启动kibana服务        ●  ./kibana & 3.  常见错误处理    1)    

    解决：版本不匹配。更换兼容版本即可。