深度学习一些亟待研究问题整理

亟待研究的一些问题

自己整理的问题：

1.深度结构是如何对输入进行表达的。

2.寻找更好的输入特征向量（需要提取的特征）和更好的深度组合结构；

3.比较降噪编码器和RBM在预训练和微调时，预测能力的差别，分析产生的原因。

4.分析RBM在无监督训练时如何提取输入数据的特征。

5.进一步探索新的网络拓扑结构，对现有的模型的拓扑结构进行简化。

6.将现有的社会网络，稀疏化建模原理以及压缩传感原理运用与玻尔兹曼机或者自动编码器中，寻找更好的方法来建立深度结构模型。

7.探索网络参数改变对学习性能的影响，寻找特定有效的参数调整规则。

8.寻找有效的可拓展的并行学习算法来训练深度网络模型。

9.对下抽样技术进行改进，使其能够自动的根据采样到特征不同，自动变换抽样核的结构和大小。

Lengon提出的一下问题：

10.在预训练过程中，对比差异算法中的Gibbs采样的可调吗？

11.局部极小值问题的出现对于RBM的训练影响大吗？

12.在不增加隐含层节点数量的情况下，RBM的能量函数采用非参数形式是否能增强RBM的能力。

13.在表达式里面增加稀疏惩罚项能增加RBM和自动编码器的能力吗？最好的方式是什么？

14.单一的降噪编码器是一种生成模型，是否对于堆叠自动编码其或堆叠降噪自动编码器存在概率模型。

15.从最大化似然函数来说，逐层贪心算法训练深度信念网络的效率有多高？

16.除了深度信念网络，堆叠自动编码器和深度玻尔兹曼机之外，是否还有其他有效，可训练的深度网络结构？

17.训练深度网络结构的一些方法和规则是否适用于训练回归网络和动态信念网络。

18.深度网络学习时，采用逐层连续传递的优化策略是否有效提高了深度网络结构的训练效果？

19.当有标记样本存在时，为什么要把有监督和无监督训练方法相结合去训练网络来近似网络的输入？

20.在深度结构中，由于变量很多且结构复杂（树，图），采用向量来进行表达输入是很不容易的，那么深度网络结构又是如何表达输入数据的呢？

21.尽管深度信念网络适用于半监督或自学习的情况，但是怎么样最好的把深度学习算法运用到半监督和自学习情况中？与现有的半监督学习算法相比，深度学习算法的缺陷是什么？

22.真正的神经元不仅仅只是前向传播，它们还会反向传播，一方面是为了学习（RBM），另一方面是为了整合前面神经元的视觉信息。那么，在深度结构中，什么样的能实现这种前后的相互作用，并采用这种相互作用来学习输入的特征？

23.在深度信念网络与训练时能否获得更小的对数似然函数梯度偏差，采用无监督的方式，同时预训练所有的隐含层？

24.理论上说，无监督逐层预训练有助于深度结构的训练，但实际实验发现网络的训练任然会陷入明显的局部极小值；在大量训练集存在时，训练也不能提取输入的所有信息。这是真的吗？我们能否对深度结构采取更为有效的优化策略来克服这些问题？

25.采用对比差异算法时，如何缩短运算时间？需要进一步研究。

26.除了重构误差以外，是否还有其他更好的指标用于监控RBM和DBN的训练过程？同样的，是否有更好的好计算的函数用于替换条件分布函数用于训练RBM和DBN。

27.为什么采用随机初始化参数后，采用梯度下降法训练深度神经网络总是失败？

28.是否可以采用算法来替代RBM和自动编码器，这种算法能更高效的对输入数据进行近似，同时优化问题更加简单，甚至可能是一个凸优化问题？

29.采用对比差异算法训练的RBM能很好的保留输入的信息吗（因为它们不是像自动编码其那样训练的，导致它们会丢失输入数据的部分重要信息）？如果不行，如何才能保留？

30.目前的深度训练算法有很多步骤（逐层训练，最后整体微调）。这一方法在实际实时应用中并不适用，因为一旦我们进行微调就有可能陷入明显的局部极小值。那么，能否找出完全实时的方法去训练深度结构，同时该方法也是无监督的。