Ladder network 优势与实现步骤

ladder network的优势

1、与监督学习兼容，能够增加到现有的向前神经网络中，比如MLP或者CNN，论文证明了通过对监督学习的方法作为起点，增加了非监督的仿真算法，提高了目前最高的算法的准确率。

2、从局部学习中的学习结果的可扩展性，除了有监督的的在顶层的目标之外，次模型在每一层都有一个学习的目标，对于非常深的神经网络是有效的。【防治梯度消失，与highway network一致】，本文用了两个深度神经网络的结构进行了验证。

3、计算有效性：模型的编码部分与一般的监督学习有关。增加一个编码，近似使得训练时间变为三倍。然而如果可以更加充分的提取信息的话，这个过程是不必要的，同样的结果可以更快的得到。

如第二章中提到的，跳跃网络和基于层的非监督学习的目标函数有效的把自动编码转化为了级联的隐形变量模型，这种模型适合用于半监督学习。实际上，我们在MNIST数据集上达到了state of the art的效果。除此之外，我们也在全标记集上达到了了最好的效果。

实现的一般步骤

1、训练一般的神经网络或者MLP

2、分析上下层之间的条件概率关系

3、利用decoder上一层的结果与当前层的有损的结果去重构逼近干净的特征（去掉noise之后的）。