深度学习论文阅读笔记（三）之深度信念网络DBN

深度神经网络

12.《受限波尔兹曼机简介》

（1）主要内容：主要介绍受限玻尔兹曼机（RBM）的基本模型、学习算法、参数设置、评估方法、变形算法等，探讨了RBM在未来值得研究的方向。

（2）RBM的基本模型和学习算法（描述比较清楚）：对比散度学习算法（Gibbs采样），

（3）RBM参数设置（叙述比较详细）：1）小批量数据处理，将数据集分为既是或者几百个小的数据集。2)学习速率调整：做权重更新和权重的直方图，令权重更新量为权重的倍左右。3）权重和偏置的初始值：初始化为正态分布的随机数，偏差初始化为0，。4）动量学习率：k初始值为0.5,稳定后取0.9。5)权衰减：取值0.01至0.0001之间任意数。6）隐含层单元个数：先估算一下用一个好的模型描述一个数据（一个样本）所需的比特数，用其乘上训练集容量。基于所得的数，选择比其低一个数量级的值作为隐元个数。如果训练数据是高度冗余的（比如数据集容量非常大），则可以使用更少一些的隐元。

（4）RBM的评估方法：重构误差，退火式重要性采样。

（5）基于RBM变形算法：稀疏RBM，稀疏组RBM，分类RBM，条件RBM。

（6）下一步工作：探索如何提高RBM在无监督学习场景下所提取特征的辨别能力？在不增加隐单元个数的情况下，只利用RBM能量函数的非参数化形式能否提高其逼近性能？RBM能否用于图像分割、高维数据的聚类、缺失数据的重构等更广泛的实际应用？

（7）值得注意的地方：

13.《玻尔兹曼机研究进展》

（1）主要内容：概述了玻尔兹曼机（BM）的相关概念；详细描述了玻尔兹曼机的学习过程和几种典型学习算法。最后指出了玻尔兹曼机中有待进一步研究解决的问题

（2）玻尔兹曼机概述：1）BM是由Hinton和Sejnowski提出的一种随机递归神经网络，可以看作是一种随机生成的Hopfield网络；样本分布服从玻尔兹曼分布；由二值神经元构成，取值0或1。 2）分类（拓扑结构）：一般玻尔兹曼机，半受限玻尔兹曼机，受限玻尔兹曼机。

（3）玻尔兹曼机学习过程（比较详细）：1)预训练：获得良好初始值；避免过拟合。2）微调：加快网络训练速度，避免过拟合。

（4）玻尔兹曼机学习算法：吉布斯采样法，平行会火法，变分近似法，随机近似法，对比离差算法，持续对比离差算法，快速对比离差算法。

（5）深度玻尔兹曼机构建和训练（比较详细）：

（6）玻尔兹曼机的优点：通过学习建立单元之间的高阶相关模型，用基于模型的能量函数中隐单元和可见单元来得到具有更高表示模型的能力，能对复杂层次结构数据进行建模。 缺点是：BM的推理学习算法过程算法复杂性过高，无法有效地应用于大规模学习问题。

（7）下一步需要解决的问题：1）如何有效的减少计算复杂性。2）进一步开发新的能有效学习的网络拓扑结构，对现有的模型的拓扑结构进行简化。3）深入研究DBN结构的特点和规律，将现有的社会网络，稀疏化建模原理以及压缩传感原理运用与BM中，寻找更好的方法用深结构建立数据的模型。4)探索参数改变对学习性能的影响，寻找特定有效的参数调整规则。5）寻找有效的可拓展的并行学习算法来训练深度网络模型。6）将交叉熵，自适应抽样等技术应用于BM中。

（8）值得注意的地方：

14.《DEEP BELIEF NETWORKS USING DISCRIMINATIVE FEATURES FOR PHONE RECOGNITION》

（1）主要内容：选择深度信念网络（DBN）代替传统的GMM方法，选用网络说话者的自适应特性和区分特性进行电话语音识别。

（2）采用方法：采用深度神经网络进行特征提取。

（3）特点：1）反向调整时可以用正向计算得出的权重快速准确的估计隐含层节点的状态。2）每一次都会学到新的特性加入到DBN网络中，值得新的变量约束比以前的更好。

（4）优点：1）对马尔科夫模型（HMM）的概率估计不需要对输入数据做详细的假设和。2）易于多种特性组合，包括连续的和离散的。3）使用更多的数据来约束每一个参量，因为每一个样本的的输出都与大量的权重相关联。 缺点：

（5）结果：区分效果高于目前最好的GMM方法一致，且实现更简单

（6）下一步工作：采用不同的特征来优化DBN的参数，以取得更好的效果。

（7）值得注意的地方：

类似的文章：Coustic Modeling Using Deep Belief Networks

与前一篇文章相比的两个突出点：1）从权值传递（直接观点）和基于能量的观点（间接观点），解释了深度模型建模用于语音建模的有效性。2）给出了深度网络进行语音建模的预训练和微调的具体过程。

15.《Convolutional Deep Belief Networks on CIFAR-10》

（1）主要内容：改进深度神经网络而得到卷积深度神经网络，并证明其非常适用于各种图像识别应用。

（2）改进原因：DBN不适合于图片处理：1）图像时高维度的，当处理大图片时，DBN不能有效降低图片的规模和进行计算。2）提取特征可能会出现图片任意位置。相比卷积深度神经网络有两大优势：1）概率最大池技术-有效降低图片维数。2）转移不变性（权值共享）-全局采样。

（3）特点：概率最大池技术，转移不变性技术。

（4）优点：卷积深度神经网络是一种用于提取高维度，复杂数据特征的高效算法。 缺点：

（5）结果：

（6）下一步工作：

（7）值得注意的地方：1）本文实验设计的三层网络，分别用与学习边缘特性，部分物体，整个物体。2）本文给出卷积深度神经网络建立的详细过程。

类似文章：《Convolutional Deep Belief Networks on CIFAR-10》 ：给出了一个关于卷积深度神经网络的具体应用，详细叙述了模型建立，参数训练的具体过程。

16.《Sparse Feature Learning for Deep Belief Networks》

（1）主要内容：1）提出了一种新的无监督学习算法，稀疏编码平衡机（SESM），并从理论和实验两个角度与RBM进行对比。2）提出一种新的均衡稀疏编码方法。3）基于对重构误差，均方误差和熵，提出了一种简单的标准用于比较和选择不同的无监督学习机；并通过手写数字图像识别和自然图像块识别两个实验验证这种方法。

（2）采用方法：稀疏编码平衡机（SESM）

（3）特点：

（4）优点： 缺点：

（5）结果：取得最好分类效果的机器，往往能在重构误差和熵之间达到一个最好的平衡。

（6）下一步工作：下一步的工作就是深入探索这种情况出现的原因，找出这两种策略之间存在的深层次的联系。

（7）值得注意的地方：

1）无监督学习的两种方法：（1）损失函数拥有对比项，在训练过程中逐渐减小；（2）约束内部结构，很好的重构输入训练样本。RBM属于第一类，对于信道噪声具有很好的稳定性，可以达到很小的均方误差和很高的识别率。

2）解码/编码：无监督学习的主要目的是为了使模型更高的代表输入的数据，以便进一步用于探测，识别，预测和可视化。无监督学习的最好系统是解码—编码结构，原因如下：1）计算速度快，因为在训练完成之后，程序的计算只需要通过来编码器来计算输入。2)通过解码来重构输入可以检查程序是否获取了输入的相关特性。一些算法只有解码器没有编码器，故需要通过马尔科夫链来重构输入（RBM），需要大量的计算。一些算法缺少编码器，需要很多资源来运行优化算法，以找到代码与输入样本之间的关系。