LDA主题模型学习笔记3.5:变分參数推导
2015-12-28 14:03
417 查看
如今来推导一下得到变分參数更新式的过程。这一部分是在论文的附录中,为避免陷入过多细节而影响总体理解。能够在刚開始学习LDA的时候先不关注求解细节。首先要把L写成关于γ,ϕ\gamma,\phi函数。依据之前我们对L的定义:L(γ,ϕ;α,β)=Eq[logp(θ,z,w|α,β)]−Eq[logq(θ,z)]L(\gamma,\phi;\alpha,\beta)=E_q[logp(\theta,\mathbf
z,\mathbf w|\alpha,\beta)]-E_q[logq(\theta,\mathbf
z)]
(1)
再分别计算5个期望。能够得到例如以下式子:
(2)
上式中5个期望的计算要用到例如以下式子,这个是作者在附录中推导出来的式子:
5个期望的计算:
接下来分别对ϕ,γ\phi,\gamma 求偏导令导数为0,解出ϕ,γ\phi,\gamma 。
我们对(2)式中的L做简化,仅仅留下与ϕ\phi 有关的项 :
求偏导:
解得:
对于γ\gamma。相同的步骤:
主要參考《Latent Dirichlet Allocation》
z,\mathbf w|\alpha,\beta)]-E_q[logq(\theta,\mathbf
z)]
(1)
再分别计算5个期望。能够得到例如以下式子:
(2)
上式中5个期望的计算要用到例如以下式子,这个是作者在附录中推导出来的式子:
5个期望的计算:
接下来分别对ϕ,γ\phi,\gamma 求偏导令导数为0,解出ϕ,γ\phi,\gamma 。
我们对(2)式中的L做简化,仅仅留下与ϕ\phi 有关的项 :
求偏导:
解得:
对于γ\gamma。相同的步骤:
主要參考《Latent Dirichlet Allocation》
相关文章推荐
- 《转》用C#通过反射实现动态调用WebService 告别Web引用
- UVA-514 Rails (栈)
- CTE 2.0 已发布
- CTE 2.0 更新内容预览(重写所有功能,并且开放源码)(即将发布)
- Unity水效果
- 自定义颜色控件の颜色采集View
- Win7 Touch API说明
- CTE(Custom Terrain Editor)使用说明
- CTE(CustomTerrainEditor) 自定义地形编辑器(已上传视频, 并更新版本到CTE1.3)
- Unity3D 自定义地形插件(支持FBX导入模型的编辑)
- selenium+python 遍历select下拉框获取value值
- iOS开发必收藏】详解iOS应用程序内使用IAP/StoreKit付费、沙盒(SandBox)测试、创建测试账号流程!【2012-6-25日更新iap恢复详解】
- 智能家居网络系统设计(二)
- 从头认识java-15.2 Collection的常用方法(2)-注意点
- mysql 索引
- 【git系列】git的安装与配置-1
- 小玩OpenSURF图像识别
- 基于CPU实现的Shadow Map(阴影图)技术--(Cg语言实现)
- 【引用】 Cg标准函数库之纹理映射函数,偏导函数,与调试函数
- 【引用】 Cg(C for Graphic)标准函数库之数学函数与几何函数