深度学习研究和进展

1.研究背景和理论基础

1958年，Rosenblatt提出感知机模型（ANN）

1986年，Hinton提出多隐层构造深层神经网络（MNN）

2006年，Hinton提出深度置信网络（DBN），成为深度学习的主要框架

然后，此算法的高效性由Bengio实验验证成功

2.深度学习的3类模型

2.1 生成深层模型

以DBN为代表详细介绍。DBN模型是一种深层混合网络，以RBN为基本单元串联堆叠而成。DBN的训练是通过先逐层训练RBN，在使用传统学习算法进行微调。







2.2 判别深层模型

判别深层网络包括深层堆叠网络，卷积神经网络等。以CNN为代表介绍。

1962年，Hubel研究猫视觉原理，提出感受野的概念，1984年，Fukushima基于感受野提出神经感知机，这是第一个成功的CNN模型。





2.3 混合深层模型

略

3.深度学习研究的新进展

4.深度学习的实际应用及面对的挑战

应用：语音识别，图像识别，NLP（自然语言处理）

挑战：理论，建模，工程上的挑战