自然语言处理模型（一）：一文读懂TF-IDF

    假设我们手头有大量的文档（或网页）, 通常我们会比较关心以下几个问题：
        1. 每一个文档的关键词（或主题词）包括哪些？

        2. 给定一个（或一组）关键词，与这个（或组）词最相关的文档是哪一个？

        3. 给定一个文档，哪个（或哪些）文档与它具有最大的相似度呢？

    回答上述三个问题的关键是：对于一个给定的词和一个给定的文档，定义一个可以用来衡量该词对该文档相关性（或重要性）的指标。那么，如何定义这样的一个指标呢？

    本文将简要介绍词频-逆文档频度（Term Frequency - Inverse Document Frequency，TF-IDF）技术，它是一种用于资讯检索与文本挖掘的常用加权技术，可以用来评估一个词对于一个文档集或语料库中某个文档的重要程度。

概念

    TF-IDF（termfrequency–inversedocumentfrequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜寻引擎还会使用基于连结分析的评级方法，以确定文件在搜寻结果中出现的顺序。
    在一份给定的文件里，词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化（分子一般小于分母区别于IDF），以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否。）

　逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。

　某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。

    TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF-IDF实际上是：TF
* IDF，TF词频(TermFrequency)，IDF反文档频率(InverseDocumentFrequency)。TF表示词条在文档d中出现的频率（另一说：TF词频(Term
Frequency)指的是某一个给定的词语在该文件中出现的次数）。IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m，而其它类包含t的文档总数为k，显然所有包含t的文档数n=m+k，当m大的时候，n也大，按照IDF公式得到的IDF的值会小，就说明该词条t类别区分能力不强。（另一说：IDF反文档频率(Inverse
Document Frequency)是指果包含词条的文档越少，IDF越大，则说明词条具有很好的类别区分能力。）但是实际上，如果一个词条在一个类的文档中频繁出现，则说明该词条能够很好代表这个类的文本的特征，这样的词条应该给它们赋予较高的权重，并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处.

计算步骤

1.计算词频（TF）

             


   以上式子中，分母是该词在文件中的出现次数，而分母则是在文件中所有字词的出现次数之和。

2.计算逆文档频率（IDF）

           


    分母表示语料库中的文件总数，分子表示包含词语的文件数目，如果该词语不在语料库中，就会导致被除数为零，因此一般情况下使用时会+1.

3.计算词频-逆文档频率（TF-IDF） 

            


   某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。

 

示例

    一：有很多不同的数学公式可以用来计算TF-IDF。这边的例子以上述的数学公式来计算。词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (DF)的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是
log(10,000,000/ 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。

    二：根据关键字k1,k2,k3进行搜索结果的相关性就变成TF1*IDF1+
TF2*IDF2+
TF3*IDF3。比如document1的term总量为1000，k1,k2,k3在document1出现的次数是100，200，50。包含了k1,k2,k3的docuement总量分别是 1000， 10000，5000。document set的总量为10000。
TF1 = 100/1000 = 0.1 TF2 = 200/1000= 0.2 TF3= 50/1000 = 0.05 IDF1 = log(10000/1000)= log(10)= 2.3 IDF2= log(10000/100000)= log(1)= 0; IDF3= log(10000/5000)= log(2)= 0.69 这样关键字k1,k2,k3与docuement1的相关性=0.1*2.3
+ 0.2*0 + 0.05*0.69 = 0.2645 其中k1比k3的比重在document1要大，k2的比重是0.

    三：在某个一共有一千词的网页中“原子能”、“的”和“应用”分别出现了 2 次、35 次 和 5 次，那么它们的词频就分别是 0.002、0.035 和 0.005。我们将这三个数相加，其和 0.042 就是相应网页和查询“原子能的应用” 相关性的一个简单的度量。概括地讲，如果一个查询包含关键词w1,w2,...,wN,
它们在一篇特定网页中的词频分别是: TF1,
TF2, ...,
TFN。 （TF:
termfrequency)。 那么，这个查询和该网页的相关性就是:TF1 +
TF2 + ... +
TFN。

    在上面的例子中，词“的”站了总词频的 80% 以上，而它对确定网页的主题几乎没有用。我们称这种词叫“应删除词”（Stopwords)，也就是说在度量相关性是不应考虑它们的频率。在汉语中，应删除词还有“是”、“和”、“中”、“地”、“得”等等几十个。忽略这些应删除词后，上述网页的相似度就变成了0.007，其中“原子能”贡献了 0.002，“应用”贡献了 0.005。细心的读者可能还会发现另一个小的漏洞。在汉语中，“应用”是个很通用的词，而“原子能”是个很专业的词，后者在相关性排名中比前者重要。因此我们需要给汉语中的每一个词给一个权重，这个权重的设定必须满足下面两个条件：

    1.一个词预测主题能力越强，权重就越大，反之，权重就越小。我们在网页中看到“原子能”这个词，或多或少地能了解网页的主题。我们看到“应用”一次，对主题基本上还是一无所知。因此，“原子能“的权重就应该比应用大。

   2. 应删除词的权重应该是零。我们很容易发现，如果一个关键词只在很少的网页中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。反之如果一个词在大量网页中出现，我们看到它仍然不很清楚要找什么内容，因此它应该小。概括地讲，假定一个关键词
ｗ 在 Ｄｗ 个网页中出现过，那么
Ｄｗ 越大，ｗ的权重越小，反之亦然。在信息检索中，使用最多的权重是“逆文本频率指数” （Inverse document frequency 缩写为ＩＤＦ），它的公式为ｌｏｇ（Ｄ／Ｄｗ）其中Ｄ是全部网页数。比如，我们假定中文网页数是Ｄ＝１０亿，应删除词“的”在所有的网页中都出现，即Ｄｗ＝１０亿，那么它的ＩＤＦ＝log(10亿/10亿）=
log (1) = ０。假如专用词“原子能”在两百万个网页中出现，即Ｄｗ＝２００万，则它的权重ＩＤＦ＝log(500)=6.2。又假定通用词“应用”，出现在五亿个网页中，它的权重ＩＤＦ= log(2)则只有 0.7。也就只说，在网页中找到一个“原子能”的比配相当于找到九个“应用”的匹配。利用 IDF，上述相关性计算个公式就由词频的简单求和变成了加权求和，即TF1*IDF1+TF2*IDF2
＋... + TFN*IDFN。在上面的例子中，该网页和“原子能的应用”的相关性为 0.0161，其中“原子能”贡献了 0.0126，而“应用”只贡献了0.0035。这个比例和我们的直觉比较一致了。

利用余弦相似度和TF-IDF及分词技术计算两段语句的相似度

    余弦有这样的性质：余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，夹角等于0，即两个向量相等，这就叫”余弦相似性”。 那么该怎么利用余弦来计算文本的相似性了？首先来看一个例子。
        文本1：我们喜欢足球 

        文本2：我喜欢踢足球
   大致思路是：我们认为用词越相似，则文本的相似度越高，所以计算文本相似性主要按照以下步骤进行：
分词 

此处利用 ansj 分词工具进行分词，文本1和文本2的分词结果为： 

文本1：我/喜欢/足球 

文本2：我们/喜欢/踢/足球
列出所有的词 

我, 喜欢, 踢, 我们, 足球
计算词频 

文本1： 我：1，喜欢：1，踢：0，我们：0，足球：1 

文本2： 我：0，喜欢：1，踢：1，我们：1，足球：1
转化为向量 

文本1：[1, 1, 0, 0, 1] 

文本2：[0, 1, 1, 1, 1]
         5. 计算两个词向量的余弦相似度

     以上结果是0.5773502691896258，经验证结果是正确的。 

    注意：以上程序只符合简单的应用情况,不适用复杂的情况。另外，余弦相似性还可以用来判别文档的相似性，大致思路是：首先求出文档的关键词（可以利用TF-IDF 方法），以后可以按照以上2，3，4步骤进行计算。

TF-IDF不足之处

    TF-IDF算法是建立在这样一个假设之上的：对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以提现同类文档的特点，另外考虑到单词区别不同类别的能力，TF-IDF认为一个单词出现的文档频数越小，它区别不同类别文档的能力就越大。因此引入了逆文档频度IDF的概念，以TF和IDF的乘积作为特征空间坐标系的取值测度并用它完成对权值TF的调整，调整权值得目的在于突出重要单词，抑制次要单词。

    但是，本质上IDF是一种试图抑制噪声的加权，并且单纯地认为文档频率小的单词就越重要，文档频率大的单词就越无用，显然这并不是完全正确的（例如，对于一些生僻词，它们的文档频率小，但不一定有意义）。IDF的简单结构并不能有效反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，因此TF-IDF的精度并不是很高。

   此外，在TF-IDF算法中并没有体现出单词的位置信息，对于Web文档而言，权重的计算方法应该体现出HTML的结构特征，特征词在不同的标记符中对文章内容的反映程度不同，其权重的计算方法也不相同，因此应该对处于网页不同位置的特征词分别赋予不同的系数，然后乘以特征词的词频，以提高文本表示的效果。