NLP:主题模型LDA介绍
2018-02-11 09:34
239 查看
(一)LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少,如TF-IDF等,这种方法没有考虑到文字背后的语义关联,可能在两个文档共同出现的单词很少甚至没有,但两个文档是相似的。 举个例子,有两个句子分别如下: “乔布斯离我们而去了。” “苹果价格会不会降?” 可以看到上面这两个句子没有共同出现的单词,但这两个句子是相似的,如果按传统的方法判断这两个句子肯定不相似,所以在判断文档相关性的时候需要考虑到文档的语义,而语义挖掘的利器是主题模型,LDA就是其中一种比较有效的模型。 在主题模型中,主题表示一个概念、一个方面,表现为一系列相关的单词,是这些单词的条件概率。形象来说,主题就是一个桶,里面装了出现概率较高的单词,这些单词与这个主题有很强的相关性。 怎样才能生成主题?对文章的主题应该怎么分析?这是主题模型要解决的问题。 首先,可以用生成模型来看文档和主题这两件事。所谓生成模型,就是说,我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语”这样一个过程得到的。那么,如果我们要生成一篇文档,它里面的每个词语出现的概率为:
这个概率公式可以用矩阵表示:
其中”文档-词语”矩阵表示每个文档中每个单词的词频,即出现的概率;”主题-词语”矩阵表示每个主题中每个单词的出现概率;”文档-主题”矩阵表示每个文档中每个主题出现的概率。 给定一系列文档,通过对文档进行分词,计算各个文档中每个单词的词频就可以得到左边这边”文档-词语”矩阵。主题模型就是通过左边这个矩阵进行训练,学习出右边两个矩阵。
这个概率公式可以用矩阵表示:
其中”文档-词语”矩阵表示每个文档中每个单词的词频,即出现的概率;”主题-词语”矩阵表示每个主题中每个单词的出现概率;”文档-主题”矩阵表示每个文档中每个主题出现的概率。 给定一系列文档,通过对文档进行分词,计算各个文档中每个单词的词频就可以得到左边这边”文档-词语”矩阵。主题模型就是通过左边这个矩阵进行训练,学习出右边两个矩阵。
相关文章推荐
- LDA 主题模型(latent dirichlet allocation) 介绍
- LDA主题模型介绍
- NLP︱LDA主题模型的应用难题、使用心得及从多元统计角度剖析
- NLP:主题模型LDA+SVM进行文本分类
- 百度开源其NLP主题模型工具包,文本分类等场景可直接使用L——LDA进行主题选择本质就是降维,然后用于推荐或者分类
- NLP︱LDA主题模型的应用难题
- 自然语言处理--LDA主题聚类模型
- 文本主题模型之LDA(一) LDA基础
- 主题模型-LDA浅析
- lda主题模型
- 通俗理解LDA主题模型
- LDA, 文档主题生成模型 (undone)
- LDA主题模型学习笔记3:变分推断(E-step)
- 主题模型TopicModel:LDA编程实现
- 用R做中文LDA主题模型可视化分析
- LDA主题模型-方差推断
- NLP|Skip-Gram模型介绍(讲解十分详细)
- 机器学习 之 LDA主题模型
- LDA(文档主题生成模型)--零基础(一)
- 置顶] 主题模型-LDA浅析