搜索引擎倒排索引表压缩：gamma编码、Golomb编码

搜索引擎的倒排索引表所占的空间很大，对倒排索引表进行压缩显得非常必要。由于倒排索引表中存储的全部都是数字，对其进行压缩有着专门的方法，Gamma编码就是其中之一。

当你每天打开电脑，在百度搜索框中输入你要搜索的内容，按下回车之后，你可能不会意识到，有无数台主机在飞速运转，对比了数百万条记录，经过初步结果集生成、相关度打分、结果排序、摘要生成之后，才最终在你的屏幕上打出了你想要的结果。这一切仅仅发生在几毫秒之间。

是什么保证了如此迅速的检索速度呢？良好的索引构建是其中的要素之一。通常情况下，搜索引擎内部会为每个网页或文章分配一个数字id，用这个id代表这个网页或者文章。构建索引的时候，采用分词工具将这些网页或者文章分成一个个词，并网页id存储在称为倒排索引表的数据结构中。



由于网络空间巨大，对应的倒排索引表所占的空间也很大，对倒排索引表进行压缩显得非常必要。由于倒排索引表中存储的全部都是数字，对其进行压缩有着专门的方法，Gamma和Golomb编码就是其中的两种。

1、Gamma编码

Gamma编码是一种基于位的变长编码，介绍它之前先说一下一元编码。

一元编码：将 n 表示成 n 个1和最后一个0，，

比如： 3的一元码是 1110

40的一元码是 11111111111111111111111111111111111111110

Gamma将数G字表示成长度（length）和偏移（offset）两部分；

offset部分对应G的二进制编码，只不过将首部的1去掉。

例如 13 → 1101 → 101 = 偏移；

length部分采用一元编码，表示偏移部分的位数。

例如G=13(偏移101)，偏移长度为3，一元编码1110

G的编码就是将长度部分和偏移部分两者联接起来得到的结果。



2、Golomb编码

使用Golomb编码对整数x（x≥0）进行编码时，通过参数m(m≥1)将x分解为:

[align=center]x=q*m+r[/align]

其中，q为x除以m的商，r为余数。Golomb编码即有q和r两部分组成，q用上面提到的一元编码表示，如，3表示为1110；如果用b=log2(m),对b向上取整；t=2^b-m，r的表示分两种情况：

（1）当0≤ r< t时，用b-1位二进制编码表示r；

（2）当t≤ r< m时，用b位二进制编码表示r+t；

例如：取整数18，m=5，18=3*5+3；q=3,r=3

b=log2(5)，向上取整为3，t=2^3-m=3=r,选第二种情况编码r，

故x可编码为1110：110.