CentOS7下搭建多节点Elasticsearch集群
CentOS7下搭建多节点Elasticsearch集群
三个CentOS服务器主机与IP地址映射为:
kafka1 10.177.33.45
kafka2 10.177.33.46
kafka3 10.177.33.47
ELK系统:Elasticserach和filebeat分别部署在三台服务器上,Elasticsearch-head,logstash,Kibana部署在kafka3上,可以把kafka1和kafka2看作生产服务器,file beat负责采集数据,传输到应用服务器kafka3上对数据进行过滤存储展示,kafka3上的filebeat同样可以采集数据。分为生产服务器和应用服务器是因为filebeat占用内存少,而logstash占用内存大,这样部署可以减轻生产服务器的压力。
CentOS7下安装Elasticsearch-7.3.2搭建方法:
https://blog.csdn.net/zhengzaifeidelushang/article/details/102482562
重要注意事项:搭建时候遇到的坑,必须在每个虚拟服务器上解压Elasticsearch压缩包安装,不能在一个服务器安装成功后,直接通过scp发送Elasticsearch安装包到另外两个服务器,因为目录中data和log会保存数据信息,造成节点无法自动加入es集群
Elasticsearch配置文件
10.177.33.45节点Elasticsearch配置文件
cluster.name: AAC-esuser node.name: kafka1 node.master: true node.data: true network.host: 10.177.33.45 http.port: 9200 transport.tcp.port: 9300 discovery.seed_hosts: ["10.177.33.45:9300", "10.177.33.46:9300", "10.177.33.47:9300"] cluster.initial_master_nodes: ["kafka1", "kafka2", "kafka3"] discovery.zen.minimum_master_nodes: 2 discovery.zen.ping_timeout: 1m http.cors.enabled: true http.cors.allow-origin: "*"
10.177.33.46节点Elasticsearch配置文件
cluster.name: AAC-esuser node.name: kafka2 node.master: true node.data: true network.host: 10.177.33.46 http.port: 9200 transport.tcp.port: 9300 discovery.seed_hosts: ["10.177.33.45:9300", "10.177.33.46:9300", "10.177.33.47:9300"] cluster.initial_master_nodes: ["kafka1", "kafka2", "kafka3"] discovery.zen.minimum_master_nodes: 2 discovery.zen.ping_timeout: 1m http.cors.enabled: true http.cors.allow-origin: "*"
10.177.33.47节点Elasticsearch配置文件
cluster.name: AAC-esuser node.name: kafka3 node.master: true node.data: true network.host: 10.177.33.47 http.port: 9200 transport.tcp.port: 9300 discovery.seed_hosts: ["10.177.33.45:9300", "10.177.33.46:9300", "10.177.33.47:9300"] cluster.initial_master_nodes: ["kafka1", "kafka2", "kafka3"] discovery.zen.minimum_master_nodes: 2 discovery.zen.ping_timeout: 1m http.cors.enabled: true http.cors.allow-origin: "*"
启动es集群
1.修改elasticsearch-head配置文件
修改如下内容
this.base_uri = this.config.base_uri || this.prefs.get(“app-base_uri”) || “http://10.177.33.47:9200”
vim _site/app.js services.Cluster = ux.Class.extend({ defaults: { base_uri: null }, init: function() { this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.177.33.47:9200"; },
2.搭建成功后,分别在三台服务器elasticsearch的bin目录下启动elasticsearch
./elasticsearch
3.kafka3上启动elasticsearch-head
grunt server
启动成功后如图所示
kafka3被选为主节点,kafka1、kafka2、kafka3都为数据节点可以存储数据
- 基于CentOS 7系统的Hadoop-2.7.7版本双节点集群搭建
- Elasticsearch5.2.1集群搭建,动态加入节点,并添加监控诊断插件
- CentOS7下基于hadoop2.7.7环境搭建hadoop集群
- 一.Zookeeper三节点集群环境搭建(centOS)
- Centos7下FastDFS 集群配置及添加storage节点+nginx
- 01-搭建一个4个节点的CentOS集群
- CentOS 7下Redis5集群的搭建和使用
- centos7 搭建elastic search 集群 (三节点)
- 一.Zookeeper三节点集群环境搭建(centOS)
- linux CentOS 7下zookeeper集群环境搭建
- centos7下elasticsearch 集群安装、配置及示例
- Linux系统下 centos7下搭建ElasticSearch中间件及常用接口演示
- ElasticSearch基于单机多节点下的集群搭建
- CentOS7下搭建redis集群
- 在centos7下搭建redis集群
- Elasticsearch5.2.1集群搭建,动态加入节点,并添加监控诊断插件
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:4.安装Oracle RAC FAQ-4.3.Oracle 集群节点间连通失败
- CentOS环境下elasticsearch集群搭建
- centos7下hbase0.98.12集群搭建
- centos7下Elasticsearch5.2.2和head 插件环境搭建