受限玻尔兹曼机（Restricted Boltzmann Machines,RBM）

受限玻尔兹曼机（Restricted Boltzmann Machines,RBM）

最近，看了几篇关于RBM的论文，有关RBM的理论公式真心很难理解，尤其是一些涉及概率论的公式推导，但是RBM的具体原理其实还是很简单的。目前本人还在学习中，先简单总结一下自己的理解：

RBM产生的背景：

玻尔兹曼机是Hinton在1986年提出的一种根植于统计力学的随机神经网络，这种网络中的神经元是随机神经元，神经元的输出只有两种状态：未激活、激活，一般用二进制的0和1表示，状态的取值根据概率统计法则决定。

BM具有强大的无监督学习能力，能够学习数据中复杂的规则。但是，拥有这种学习能力的代价是其训练（学习）时间非常长。此外，不仅无法确切地计算BM所表示的分布，甚至得到服从BM所表示分布的随机样本也很困难。为了克服这些困难，RBM正式诞生。RBM的结构很类似二分网络，层内无连接,层间全连接。

RBM基本理论：

间的链接权重，

学习RBM的任务就是求参数的值，以拟合给定的训练数据。传统做法通过最大似然概率来求参数，但是由于归一化因子

的存在，该分布很难求。

为了解决这个问题，2002年Hinton提出了RBM的一个快速算法，即对比散度（CD）。