elasticsearch集群安装部署、监控以及架设sql引擎

官网下载es（时间点：2016-07-06，版本：2.3.3）

下载地址https://www.elastic.co/downloads

解压
配置文件修改
配置文件在config下elasticsearch.yml，日志配置文件在config下logging.yml

修改elasticsearch.yml（node.name需要每个节点不同），内容为：

# 集群名称

cluster.name: "taurus"

# 节点名称

node.name: "taurus01"

# 节点标签

node.tag: "es01"

# 节点是否存储数据

node.data: true

# 索引分片数

index.number_of_shards: 6

# 索引副本数

index.number_of_replicas: 1

# 数据目录存放位置

path.data: /home/xxx/xxx/es/data

# 日志数据存放位置

path.logs: /home/xxx/xxx/es/log

# 去除内存swap，提高性能（该项设置可能无效，需要ulimit -l unlimited）

bootstrap.mlockall: true

# 索引缓存

index.cache.field.max_size: 500000

# 索引缓引过期时间

index.cache.field.expire: 5m

# 网络绑定

network.host: 192.168.xx.xx,127.0.0.1

# 其它节点和该节点交互的ip地址

network.publish_host: 192.168.xx.xxx

# 集群中可能称为master的节点, 放置脑裂出现

discovery.zen.ping.unicast.hosts: ["192.168.xx.xxx","192.168.xx.xx","192.168.xx.xx"]

PS：data和log的文件夹需要手动创建
修改logging.yml，内容为：

rootLogger: INFO, console, file

logger:

# log action execution errors for easier debugging

action: DEBUG

# reduce the logging for aws, too much is logged under the default INFO

com.amazonaws: WARN

# gateway

#gateway: DEBUG

#index.gateway: DEBUG

# peer shard recovery

#indices.recovery: DEBUG

# discovery

#discovery: TRACE

index.search.slowlog: TRACE, index_search_slow_log_file

additivity:

index.search.slowlog: false

appender:

console:

type: console

layout:

type: consolePattern

conversionPattern: "[%d{ISO8601}][%-5p][%-25c] %m%n"

file:

type: dailyRollingFile

file: ${path.logs}/${cluster.name}.log

datePattern: "'.'yyyy-MM-dd"

layout:

type: pattern

conversionPattern: "[%d{ISO8601}][%-5p][%-25c] %m%n"

index_search_slow_log_file:

type: dailyRollingFile

file: ${path.logs}/${cluster.name}_index_search_slowlog.log

datePattern: "'.'yyyy-MM-dd"

layout:

type: pattern

conversionPattern: "[%d{ISO8601}][%-5p][%-25c] %m%n"

设置IK分词
下载github上的es-ik分词插件

git clone https://github.com/medcl/elasticsearch-analysis-ik.git
插件配置

cd elasticsearch-analysis-ik

mvn clean package

在ES_HOME下新建plugins/ik，并将打包生成的target/releases/elasticsearch-analysis-ik-1.9.3.zip拷贝至此处并解压以及删除原始zip文件

集群配置

将上述配置好的es文件夹拷贝至其他服务器，并修改相应的内容

集群启动

cd ES_HOME/bin

修改elasticsearch.in.sh，设置jvm相关参数

if [ "x$ES_MIN_MEM" = "x" ]; then

ES_MIN_MEM=20g

fi

if [ "x$ES_MAX_MEM" = "x" ]; then

ES_MAX_MEM=20g

fi

JAVA_OPTS="$JAVA_OPTS -Xmn2g"

JAVA_OPTS="$JAVA_OPTS -Xss256k"

启动，bin/elasticsearch -d（集群中每台机器都要启动）

安装监控（仅一个月免费，线上无需安装）

marvel，好像有个license，有过期时间，不免费？该版本变为agent，需要再安装kibana才能访问
安装kibana

下载，地址：https://www.elastic.co/downloads/kibana

bin/kibana plugin --install elasticsearch/marvel/2.3.3

nobup bin/kibana &
安装marvel

当前版本作为了agent，所以每个节点都需要安装

bin/plugin install license

bin/plugin install marvel-agent

访问http://192.168.xx.xx:5601/app/marvel

es架设sql引擎

./bin/plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/2.3.3.0/elasticsearch-sql-2.3.3.0.zip
查询：http://192.168.xx.xx:9200/_sql?sql=SELECT count(*) FROM xx WHERE xx = 'xx' AND xx = 'xx'
参考：https://github.com/NLPchina/elasticsearch-sql