elasticsearch的doc_values

    Doc Values 是什么

其实大部分

NoSQL

在创建多个索引的时候也采用这种方式，就是再使用另一种方式存储一份文本，使得可以增强搜索。

Docvalues

通过转置两者间的关系来解决这个问题。倒排索引将词项映射到包含它们的文档，

Docvalues

将文档映射到它们包含的词项：

Doc      Terms-----------------------------------------------------------------Doc_1 | brown, dog, fox, jumped, lazy, over, quick, the
Doc_2 | brown, dogs, foxes, in, lazy, leap, over, quick, summer
Doc_3 | dog, dogs, fox, jumped, over, quick, the-----------------------------------------------------------------

当数据被转置之后，想要收集到每个文档行，获取所有的词项就非常简单了。所以搜索使用倒排索引查找文档，聚合操作收集和聚合

DocValues

里的数据，这就是

ElasticSearch

。

    深入理解 ElasticSearch Doc Values

DocValues

是在索引时与倒排索引同时生成。也就是说

DocValues

和

倒排索引

一样，基于

Segement

生成并且是不可变的。同时

DocValues

和

倒排索引

一样序列化到磁盘，这样对性能和扩展性有很大帮助。

DocValues

通过序列化把数据结构持久化到磁盘，我们可以充分利用操作系统的内存，而不是

JVM

的

Heap

。 当

workingset

远小于系统的可用内存，系统会自动将

DocValues

保存在内存中，使得其读写十分高速； 不过，当其远大于可用内存时，操作系统会自动把

DocValues

写入磁盘。很显然，这样性能会比在内存中差很多，但是它的大小就不再局限于服务器的内存了。如果是使用

JVM

的

Heap

来实现那么只能是因为

OutOfMemory

导致程序崩溃了。

     Doc Values 压缩

从广义来说，

DocValues

本质上是一个序列化的 列式存储，这个结构非常适用于聚合、排序、脚本等操作。而且，这种存储方式也非常便于压缩，特别是数字类型。这样可以减少磁盘空间并且提高访问速度。下面来看一组数字类型的

DocValues

：

Doc      Terms  -----------------------------------------------------------------
  Doc_1 | 100
  Doc_2 | 1000
  Doc_3 | 1500
  Doc_4 | 1200
  Doc_5 | 300
  Doc_6 | 1900
  Doc_7 | 4200
  -----------------------------------------------------------------

你会注意到这里每个数字都是 100 的倍数，

DocValues

会检测一个段里面的所有数值，并使用一个 最大公约数 ，方便做进一步的数据压缩。我们可以对每个数字都除以 100，然后得到：

[1,10,15,12,3,19,42]

。现在这些数字变小了，只需要很少的位就可以存储下，也减少了磁盘存放的大小。

DocValues

在压缩过程中使用如下技巧。它会按依次检测以下压缩模式:

• 如果所有的数值各不相同（或缺失），设置一个标记并记录这些值

• 如果这些值小于 256，将使用一个简单的编码表

• 如果这些值大于 256，检测是否存在一个最大公约数

• 如果没有存在最大公约数，从最小的数值开始，统一计算偏移量进行编码

当然如果存储

String

类型，其一样可以通过顺序表对

String

类型进行数字编码，然后再把数字类型构建

DocValues

。

        禁用 Doc Values

DocValues

默认对所有字段启用，除了

analyzed strings

。也就是说所有的数字、地理坐标、日期、IP 和不分析（

not_analyzed

）字符类型都会默认开启。

analyzed strings

暂时还不能使用

DocValues

，是因为经过分析以后的文本会生成大量的

Token

，这样非常影响性能。

虽然

DocValues

非常好用，但是如果你存储的数据确实不需要这个特性，就不如禁用他，这样不仅节省磁盘空间，也许会提升索引的速度。

要禁用

DocValues

，在字段的映射（mapping）设置

doc_values:false

即可。例如，这里我们创建了一个新的索引，字段

"session_id"

禁用了

DocValues

：

PUT my_index{
  "mappings": {
    "my_type": {
      "properties": {
        "session_id": {
          "type":       "string",
          "index":      "not_analyzed",
          "doc_values": false 
        }
      }
    }
  }}

通过设置

doc_values:false

，这个字段将不能被用于聚合、排序以及脚本操作

同样可以禁用倒排索引，使它不能被正常搜索，但是可以排序，例如：

PUT my_index{
  "mappings": {
    "my_type": {
      "properties": {
        "customer_token": {
          "type":       "string",
          "index":      "not_analyzed",
          "doc_values": true, 
          "index": "no" 
        }
      }
    }
  }}

通过设置

doc_values:true

和

index:no

，我们得到一个只能被用于聚合/排序/脚本的字段。