LDA主题模型学习笔记3.5:变分参数推导
2015-06-12 16:53
369 查看
现在来推导一下得到变分参数更新式的过程,这一部分是在论文的附录中,为避免陷入过多细节而影响整体理解,可以在刚开始学习LDA的时候先不关注求解细节。首先要把L写成关于γ,ϕ\gamma,\phi函数。根据之前我们对L的定义:L(γ,ϕ;α,β)=Eq[logp(θ,z,w|α,β)]−Eq[logq(θ,z)]L(\gamma,\phi;\alpha,\beta)=E_q[logp(\theta,\mathbf
z,\mathbf w|\alpha,\beta)]-E_q[logq(\theta,\mathbf
z)]
(1)
再分别计算5个期望,可以得到如下式子:
(2)
上式中5个期望的计算要用到如下式子,这个是作者在附录中推导出来的式子:
5个期望的计算:
接下来分别对ϕ,γ\phi,\gamma 求偏导令导数为0,解出ϕ,γ\phi,\gamma 。
我们对(2)式中的L做简化,只留下与ϕ\phi 有关的项 :
求偏导:
解得:
对于γ\gamma,同样的步骤:
主要参考《Latent Dirichlet Allocation》
z,\mathbf w|\alpha,\beta)]-E_q[logq(\theta,\mathbf
z)]
(1)
再分别计算5个期望,可以得到如下式子:
(2)
上式中5个期望的计算要用到如下式子,这个是作者在附录中推导出来的式子:
5个期望的计算:
接下来分别对ϕ,γ\phi,\gamma 求偏导令导数为0,解出ϕ,γ\phi,\gamma 。
我们对(2)式中的L做简化,只留下与ϕ\phi 有关的项 :
求偏导:
解得:
对于γ\gamma,同样的步骤:
主要参考《Latent Dirichlet Allocation》
相关文章推荐
- const在c/c++中的区别
- JQuery的Ajax跨域请求的
- 缓存的常见问题
- CDbConnection failed to open the DB connection: SQLSTATE[28000] [1045] Access denied for user 'root'@'localhost' (using password: YES)
- 构建之法的第十、十一、十二章读书笔记
- 最小的K个数
- linux 终端全局代理设置
- 二叉树解析实现逆波兰公式算法
- android listview 解决数据重复
- 关于const变量的思考
- 基于QTcpSocket和QTcpServer的Tcp通讯以及QDataStream序列化数据
- 利用IIS应用请求转发ARR实现IIS和tomcat整合共用80端口
- 代理模式学习笔记
- CABasicAnimation - 上下滑动动画
- 解决MVC 时间序列化的方法
- Delphi中Variant/OleVariant转换为接口
- BEX错误记录
- Qt Runtime Error ! R6025 - pure virtual function call
- 逆波兰表示法
- PHP 数组操作方法