Elasticsearch - 快速入门

Elasticsearch是基于Apache 2.0开源的实时、分布式、分析搜索引擎，相比Lucene，Elasticsearch的上手比较容易，这篇文章主要纪录Elasticsearch的基本概念和基本API。

官方对Elasticsearch的定义:



你可能已经在Elasticsearch的文档中看过如下词汇:

NRT: 近实时(Near Realtime)，当一个文档保存至index，短暂的延迟后就可以被搜索。

Node: 指单个实例，存储文档并参与所在集群的索引和搜索，一台机器可以运行多个实例，每个实例启动时都有自己的唯一标识。

Cluster: 指多个实例组成的集群，集群中的节点有相同的cluster.name（默认为"elasticsearch"），用户可以通过集群对多个节点的所有数据进行索引和搜索。

Index: 索引在Elasticsearch中有两种含义。作为名词，索引可以指文档的集合，作为动词，可以说"对某个文档进行索引"，也就是把文档存储到索引。一个index的名称即为其标识，名称必须为小写。如果和RDBMS相比的话，index的概念可能和database比较相似。

Type: 用于对同一个index中的数据进行逻辑分类。例如，有个存储了sns数据的index，这个index中可能存在多个类型，例如用户资料数据、评论数据、聊天数据...

Document: 文档以JSON格式存储，文档中包含多个字段，每个文档都有自己的类型并存储于index中。

Shards: index可以切分成多个shard，每个shard分布到不同的节点上。通过shard可以在存储还是搜索上缓解单个节点的压力。

Replicas: 对shard进行复制，通过副本不仅保证了可用性，也提高了搜索效率。

一个index可以分为多个shard，默认配置下，每个index有5个primary shards和1个副本（也就是5个replica shards），也就是说这个index有10个shards。

为了进一步说明，这里简单说明一下安装过程。

首先需要确认机器上是否已经安装了Java，这里建议使用java 8:

java -version
echo $JAVA_HOME

根据自己需要，可以选择使用

apt-get

、

yum

进行安装，或者直接运行docker容器(docker.elastic.co/elasticsearch/elasticsearch:5.3.1)，
参考https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html。

这里我们用TAR包进行安装

cd
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.1.tar.gz cp elasticsearch-5.2.1.tar.gz /usr/local ; cd $_
tar xzvf elasticsearch-5.2.1.tar.gz

启动时可以指定集群名称和节点名称:

elasticsearch-5.2.1/bin/elasticsearch -Ecluster.name=cluster0 -Enode.name=node0

Elasticsearch的web接口的默认端口为9200，或者可以根据自己的情况，在bin/elasticsearch.yml中对

http.port

进行修改。

最后查看响应结果，参考:

$ curl http://localhost:9200/ {
"name" : "F16Po5W",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "gDEP8ViaSVuQkCADjMkWHg",
"version" : {
"number" : "5.2.1",
"build_hash" : "db0d481",
"build_date" : "2017-02-09T22:05:32.386Z",
"build_snapshot" : false,
"lucene_version" : "6.4.1"
},
"tagline" : "You Know, for Search"
}

下面检查一下集群的状态，参考:

$ curl http://localhost:9200/_cat/health?v epoch      timestamp cluster  status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1488018007 12:00:00  cluster0 green           1         1      0   0    0    0        0             0                  -                100.0%

输出显示，名为"elasticsearch"的状态为"green"，状态分三种，green(健康)、yellow(服务可用，尚未分配副本)、red(不可用)。

red也并不是完全不可用，部分功能还是可以用的，例如搜索请求还是可以在部分shards中进行。

上面用到的

_cat

API，可以参考https://www.elastic.co/guide/en/elasticsearch/reference/current/cat.html，参数

v

代表verbose。

如果需要JSON格式，则去掉_cat即可，参考:

curl http://localhost:9200/_cluster/health?pretty[/code] 
health只反映集群的大体情况，更详细的信息，比如版本、节点、metadata等可以通过state获得:

curl http://localhost:9200/_cluster/state?pretty[/code] 
另外，还有一个stats，和state不同的是，stats返回的是和性能相关的信息，比如各项字节数、OS、fs、jvm等。

类似地，检查节点状态:

$ curl http://localhost:9200/_cat/nodes?v ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1            7          90   5    0.00    0.01     0.05 mdi       *      node0


由于启动时指定了节点名称，这里节点的名称为node0。

检查index状态:

$ curl http://localhost:9200/_cat/indices?v health status index uuid pri rep docs.count docs.deleted store.size pri.store.size


注意不是index的复数为indices，由于尚未创建任何index，这里没有输出。

但这并不妨碍试试analyze:

curl -X POST http://localhost:9200/_analyze?pretty -d '{"analyzer" : "standard", "text" : "Kavlez.Kim@gmail.com"}'


下面开始是Elasticsearch各个单位的基本API使用介绍。

Index
接下来创建一个index，注意不是POST，是PUT，参考:

$ curl -X PUT http://localhost:9200/province?pretty {
"acknowledged" : true,
"shards_acknowledged" : true
}


重新确认下index状态:

$ curl http://localhost:9200/_cat/indices?v health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   province Ks7940k5QYKp9t7AEntbBA   5   1          0            0       650b           650b


如之前所说，默认有5个primary shards和1个replicas，尽管还没有任何文档。

第一个字段，健康状态显示为yellow，这是因为尚未分配副本，而我们只有一个节点。

创建index时也可以指定其他属性，比如:

curl -X PUT -d '
{
"settings" : {
"number_of_shards" : 3
},
"mappings" : {
"type1" : {
"_source" : { "enabled" : false }, "properties" : {
"name" : { "type" : "string" }, "code" : {"type":"string"}
}
}
},
"aliases" : {
"alias_1" : {
"filter" : {
"term" : {"subdivision" : "Municipality" }
}
}
}
}' http://localhost:9200/province


至于GET，不只是用于察看index:

curl http://localhost:9200/province curl http://localhost:9200/province/_settings curl http://localhost:9200/province/_stats curl http://localhost:9200/province/_flush curl http://localhost:9200/province/_refresh[/code] 
删除一个index可以通过DELETE，如果并不打算删除index，但又希望无法访问该index，此时可以close。

可以通过POST 
/{index}/_close
和
/{index}/_open
对index进行开关，当用户访问已关闭的index时会提示错误。

也可以通过
_all
或通配符对所有的index批量操作，但考虑到风险，可以通过在配置文件修改
action.destructive_requires_name
项禁用批量指定。

已关闭的index也会消耗一定的磁盘空间，开关操作可以通过
cluster.indices.close.enable
项禁用，该项默认为true。

Document
文档相关操作，先在
province
 index中添加两个文档:

$ curl -X PUT -d '{"name": "Hong Kong", "code": "CN-91", "native": "香港"}' http://localhost:9200/province/special/1?pretty {
"_index" : "province",
"_type" : "special",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"created" : true
}

$ curl -X PUT -d  '{"name": "Beijing", "code": "CN-11", "native": "北京"}' http://localhost:9200/province/municipality/1?pretty {
"_index" : "province",
"_type" : "municipality",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"created" : true
}


请求中的
special
、
municipality
指的就是文档的类型，尽管两个文档在同一个index，但类型不同。

后面的
1
就是文档的id，可以对特定的
index/type/id
重新PUT，如果用同一个id提交多次，每次提交时
_version
会自动+1。

如果希望指定操作类型，则加上
op_type
参数，例如下面的例子会触发versionconflictengine_exception，而不是version+1:

curl -X PUT -d '{"name": "Hong Kong", "code": "CN-91", "native": "香港"}' http://localhost:9200/province/special/1?op_type=create[/code] 
如果希望添加文档时自动生成id，则使用POST，此时就不能指定op_type了。

添加操作时不小心写错了index的名称，但还是成功了，列出indices(
GET _cat/indices
)发现有几个写错名称的index。

Elasticsearch默认允许向不存在的index添加文档，不存在则自动创建，该设置可以通过action.autocreateindex项进行修改，比如:

action.auto_create_index: +kav*,-da*


允许名称以"kav"开头的index自动创建，禁止以"da"开头的。

如果想全部禁止，则设置
-*
。

如果我想在已有的文档中添加字段，相比重新将整个文档重新PUT，不如用脚本进行更新，参考:

$ curl -X POST http://localhost:9200/province/special/1/_update -d '
{
"script":{
"inline": "ctx._source.dc = params.dial_code", "params":{
"dial_code": 852
}
}
}'
{"_index":"province","_type":"special","_id":"1","_version":5,"result":"updated","_shards":{"total":2,"successful":1,"failed":0}}


至于GET，基本用法如下:

$ curl  http://10.69.201.47:9200/province/special/1?pretty {
"_index" : "province",
"_type" : "special",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"name" : "Hong Kong",
"code" : "CN-91",
"native" : "香港"
}
}


另外，可以用
_source
进行过滤

$ curl  http://localhost:9200/province/special/1/_source=name,code?pretty {
"_index" : "province",
"_type" : "special",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"name" : "Hong Kong",
"code" : "CN-91"
}
}


如果想一次请求多个文档，可以使用
_mget
，参考:

curl -X POST http://localhost:9200/_mget -d '
{
"docs":[
{
"_index":"province", "_type": "special", "_id": "1"
},
{
"_index":"province", "_type":"municipality", "_id": "1"
}
]
}'


docs数组的第二项并不存在，于是返回
{"_index" : "province", "_type" : "municipality", "_id" : "1", "found" : false }
。

删除文档用DELETE方法，删除时可以加上其他参数，例如:

$ curl -X delete  http://localhost:9200/province/special/1?version=1 {
"_index": "province",
"_type": "special",
"_id": "1",
"_version": 1,
"found": true,
"_source": {
"name": "Hong Kong",
"code": "CN-91",
"native": "香港"
}
}


Search
search API提供两种方式:

URI Search: GET的URL后面带上query string

Request Body Search: 也就是将Query DSL作为body请求

至于搜索的对象，可以是多个index，也可以是某个index下的多个type。

search API默认为跨多个index和type，搜索的范围需要在请求时指定。

对多个index，比如

curl http://localhost:9200/province,country/_search?q=name:Hong*[/code] 
对多个type，比如

curl http://localhost:9200/province/special,municipality/_search?q=name:Shang*[/code] 
下面是GET搜索时用到的一些常见的参数

Name
Description
q
基本的query string，例如q=name:Hong*
df
即default field
analyzer
指定要使用的analyzer
analyze_wildcard
是否对通配符进行分析，默认为false
default_operator
可选值为AND和OR，默认为OR
lenient
true时忽略数据格式警告，默认为false
_source
改项为false时结果将不包含文档内容, 也可以通过sourceinclude & sourceexclude对返回字段进行筛选(逗号分隔)
stored_fields
对返回字段进行筛选(逗号分割)
sort
指定排序策略，格式为 fieldName:asc/fieldName:desc
timeout
超时时长
from
响应结果起始索引，默认为0
size
响应结果数，默认为10
search_type
可以为dfsquerythenfetch或者querythen_fetch，默认为后者
URL参数难以表述复杂的搜索，Elasticsearch提供了基于JSON格式的Query DSL来进行搜索。

虽然Query DSL提供了丰富的查询类型，但就整体而言，提供不外乎两种:

leaf query: 例如match,term,range，也就是匹配特定字段的特定值

compound query: 将其它leaf聚合到一起或者多个查询聚合到一起。

由于DSL相关的内容过多，这里只简单列举几种常用用法以作参考。

match all: match_all用于返回所有score为1.0内容

$ curl -X post http://10.69.201.47:9200/province/_search -d '{
"query":{
"match_all":{}
}
}'


match: 根据字段和值的匹配进行搜索

$ curl -X post http://10.69.201.47:9200/province/_search -d '{
"query":{
"match":{
"name":"Hong Kong"
}
}
}'


multi match: 用多个字段进行匹配，比如下面的例子中"CN-91"是香港的code，而这里却用name和native字段进行搜索，因此没有结果

curl -X post http://10.69.201.47:9200/province/_search -d '{
"query":{
"multi_match":{
"query":"CN-91",
"fields":["name","native"]
}
}
}'


query string: 如果我想multi match所有字段呢？ 可以用query string

curl -X post http://10.69.201.47:9200/province/_search -d '
{
"query":{
"query_string":{
"query":"Hong"
}
}
}'


term: term搜索属于低级(low-level)搜索，也就是直接查询倒排索引(inverted index)，而不经过分析过程。 在倒排索引中不存在则无结果。 下面的例子中，用"Hong"来搜索是没有结果的，需要用"hong"

curl -X post http://10.69.201.47:9200/province/_search -d '
{
"query":{
"term":{"name":"hong"}
}
}
'


range: 也属于term搜索的一种，根据比较来限制值的范围，支持的操作有gte,gt,lte,lt，例如

curl -X POST http://10.69.201.47:9200/province/_search -d '{
"query":{
"range":{
"code":{
"gt":100
}
}
}
}'


type: 搜索对应type的文档，属于term level，因此type要严格匹配，例如

curl -X POST http://10.69.201.47:9200/province/_search -d '{
"query":{
"type":{
"value":"special"
}
}
}'