排序模型

传统的排序模型主要分为相关性和重要性两大类
相关性：Bool model，VSM，Language model
重要性：PageRank、TrustRank

1.Bool model

Query为逻辑表达式，即“与/或/非”，相似性通过布尔代数运算判定，只有相关于不相关

2.VSM

是一种表示文档的代数模型。文档映射为t维特征向量，每维特征的权重主要有TF-IDF等多个变种。





相似度计算主要是余弦相似度



3.概率检索模型

BM25将Query分解成多个语素，综合考虑每个语素的二元独立模型（与IDF等价）、语素在文档中的权值、语素在Query中的权值，求和。



4.Language model

为每个文档建立不同的语言模型，判断由文档生成Query的可能性有多大，然后按照这种生成概率由高到低排序，作为搜索结果。

数据稀疏问题：很多查询词在文档中没有出现，导致概率为0，检索失效

解决：用背景概率做数据平滑，某个单次的背景概率就是这个单次出现的次数除以文档集合的单次总数

综上，文档生成查询概率的计算公式为每个查询词的文档语言模型+平滑的文档集合语言模型，求积



改进：HMM、相关模型、翻译模型

5.PageRank