文件名搜索分词设计

期望目标：能够实现String.contains操作。

举例：”sd.mp4” 不管是搜”s”、”m”、”.”、”d.m”、”mp”都应该可以搜出该关键词。核心难度在于倒排索引的关键词覆盖。

参考内部IM的搜索机制如下：



由于IM搜索主要用于群名、人名，垃圾数据少，并且多为中文，因此可以对中文进行拼音提取，对英文进行多段冗余。

这样做有两个好处，第一，开发量低；第二，可以省去搜索补全的部分功能，直接按拼音或缩写进行查询。

但是也有一些缺点，第一，汉字的拼音冗余（相对于搜索补全功能单独做）；第二，英文高度冗余（相对于对英文单个字母进行分词）

但是由于人名、群名数据的固有特点，缺点非常非常不明显（英文少，汉字重复率低）。

但是对于文件搜索，这种方式并不适合，原因如下：

第一，不同于人名，文件名重复的内容非常多，会有大量无用拼音产生。

第二，不同于人名，文件名有非常多的“英文”，高度冗余会造成索引内容过多（排队握手问题，指数级增长）。

在这个场景下，更合适的方法是每个字符进行倒排索引，每个字符都作为一个词。然后搜索时使用和顺序相关的“match_phrase”。

那如何对每个字符进行分词呢？

ik、ansj中并没有找到类似的Token化方法，于是有了自己写分词器的念头

但是在浏览ES相关标准的时候，发现了非常简单的自定义分词器的方法，定制后的分词器如下（原链接）：

{
"settings": {
"analysis": {
"tokenizer": {
"filename_tokenizer": {
"type":    "pattern",
"pattern": ".",
"group": "0"
}
},
"analyzer": {
"filename_analyzer": {
"type": "custom",
"tokenizer": "filename_tokenizer",
"filter": [
"standard",
"lowercase",
"stop"
]
}
}
}
}
}

⚠ 交付ES索引的数据已经能够保证合法性，所以不需要任何校验