搜索核心原理之网页和查询的相关性——TF-IDF

1.相关性的演进：

i.单文本词频TF（Term Frequency）
用关键词的出现的次数除以文章的总次数，做归一化处理得到TF，来屏蔽文章长度对用关键词出现次数来衡量相关性时的影响

ii.搜索关键词权重的度量IDF：

需要给每个此赋以权重，来区分查询中词的重要性：
a.一个词预测主题的能力越强，其权重越大
b.停止词（的 是 和这类无用词）的权重为0

逆文本频率指数IDF（Inverse Document Frequency）：公式为log(D/Dw)，其中一个关键词在Dw个网页中出现过，Dw越大，词w的权重越小

iii.相关性的度量（TF-IDF：Term Frequency/Inverse Document Frequency）：
词频的加权求和：∑TF(w)*IDF(w)

2.TF-IDF的信息量依据
i.查询中每个关键词w的权重应该反映这个词对这个查询提供了多少信息，用此的信息量来作为权重：
I(w)=-P(w)logP(w)=-(TF(w)/N)*log(TF(w)/N)
而语料库此的总数N是一定的，所以I(w)=-TF(w)*log(TF(w)/N)
漏洞：一个词在一篇文献中出现TF次和一个词在所有文献中出现TF次，信息量是一样的

ii.提出假设：
a.每篇文章的大小基本相同，均为M个词，M=N/D
b.假设在一篇文章中关键词出现的次数，与其贡献无关，那么一个词在一篇文献中出现的平均次数C(w)=TF(w)/D(w)，C(w)<M

则-TF(w)*log(TF(w)/N)=TF(w)*log(N/TF(w))=TF(w)*log(MD/C(w)D(w))=TF(w)*log(D/D(w))+TF(w)*log(M/C(w))
即I(w)=TF-IDF+TF(w)*log(M/C(w))，有TF-IDF=I(w)-TF(w)*log(M/C(w))
显然，IDF与词的信息量成正比，同时在w命中的文献中w出现的平均次数越多，C(w)越小，贡献越大