什么时候用EM算法?topic model case
2013-10-03 09:27
295 查看
在mixture model中,
存在latent variable,可以factorize depending on the z, 即log-likelihood function中 log内有summation的形式或者integration形式
在topic model中有parameter 和 hyper parameter, 首先我们不要consider hyper parameter,只对parameter与observation 进行model,
即log-likelihood 是
ln p(x|theta) = sigma_ln p(x_i|theta) = sigma_ln sigma_i {p(x_i|z_i)p(z_i|theta)};
即将marginalise的z latent variable explicitly represent 出来了。
ln中有sigma,所以intractable.
要用EM 去model complete data p(x,z|theta);
存在latent variable,可以factorize depending on the z, 即log-likelihood function中 log内有summation的形式或者integration形式
在topic model中有parameter 和 hyper parameter, 首先我们不要consider hyper parameter,只对parameter与observation 进行model,
即log-likelihood 是
ln p(x|theta) = sigma_ln p(x_i|theta) = sigma_ln sigma_i {p(x_i|z_i)p(z_i|theta)};
即将marginalise的z latent variable explicitly represent 出来了。
ln中有sigma,所以intractable.
要用EM 去model complete data p(x,z|theta);
相关文章推荐
- TopicModel主题模型 - EM算法
- TopicModel主题模型 - LDA的编程实现
- 9-基于LDA的Topic Model变形
- Topic Model的分类和设计原则
- 9-基于LDA的Topic Model变形
- #Paper Reading# Robust Word-Network Topic Model for Short Texts
- Joint Sentiment/Topic Model & Aspect and Sentiment Unification Model
- Java--什么时候用if什么时候用switch case呢?
- 设计个案模型(Designing a Case Model)
- 话题模型(topic model)的提出及发展历史
- [翻译]A Topic Model for Melodic Sequences
- #Paper Reading# Mining Aspect-Specific Opinion using a Holistic Lifelong Topic Model
- 从主题模型(Topic Model)到隐语义模型(Latent Factor Model)
- Correlated Topic model 的Gibbs sampling
- 【论文阅读:LDA】The Author-Topic Model for Authors and Documents_2004(ATM经典论文)
- [学习笔记]学习主题模型(Topic Model)和PLSA( probabilistic latent semantic analysis)
- 统计中parameter estimation 的方法总结。Topic Model需要注意的
- 主题模型(topic model)的提出及发展历史
- Author Topic Model解析
- 其他TM:biterm topic model