复旦大学吴立德《深度学习》课程总结
2015-03-05 15:07
141 查看
对深度学习一直没找到系统的中文资料,在优酷找到了吴立德老师2013年开的深度学习课程视频。花三天简单看了一下,做一个简单总结,供没看过的人士参考要不要看及要看哪几集。此课程一共十四个课时
视频地址:http://www.youku.com/playlist_show/id_21508721.html
Part1 基础知识(1-3节)
1 概述
讲了ML的问题的三个基本方面:数据、模型和准则。准则可以理解为模型的优化目标。
此后全文对每个模型的讲解都是从这三个方面来讲。
深度学习(DL)的最大困难:可训练参数太多,非凸优化,解释困难(可以通过可视化手段改善)。
深度学习成功的运用场景:语音识别和目标识别。在NLP中达到了传统方法的效果。
解决DL学习问题的三种手段:卷积(褶积)神经网络(CNN),限制玻尔兹曼机(RBM)和自动编码机(AE)
2 前馈神经网BP算法
主要讲解了传统神经网络的训练方法,对梯度下降法进行了详细说明。对BP算法进行了细致的推倒。
3 学习优化问题&稀疏编码
前半部学习优化问题主要搭建了多层神经网络的框架。
后半部介绍了稀疏编码的思想和相对应的准则。
Part2 深度学习理论(4-9节)
4 DN&&DL
DN是一个深度的前馈神经网络(FNN)+分类器。
先讲了线性回归、logistic回归和SVM分类器三种分类手段。
DL面临的主要问题:参数多、非凸、梯度弥散。
5 自编码器&&逐层学习
DL的第一种实现方法:自编码器。每层使用一个三层的前馈神经网络,令输入和输出相同来实现自编码器。
步骤:先利用自编码器做预学习,再利用监督学习做微调。
6 自编码器&&RBM
本文基本是按照课上所说文章《Reducing the dimensionality with neural networks》来讲的
限制玻尔兹曼机的概率分布计算方法。
7 基于RBM的DL方法
基于RBM的深度学习网络的构建。
8 CNN卷积神经网络
这一课主要是图解,没有复杂的公式,也没有讲参数的推导方法。
9 复习总结
Part3 应用
10-12 自然语言处理
10 神经概率语言模型
使用神经网络做自然语言处理的方法,只用到一般的神经网络。
11 几乎无需语言知识的自然语言处理
窗口方法,与第12节的句子方法相对应。
12 句子模型方法
13-14 图像识别,其中13为有监督识别,14为无监督识别
13 深度褶积网
14 大规模无监督高层特征构建
视频地址:http://www.youku.com/playlist_show/id_21508721.html
Part1 基础知识(1-3节)
1 概述
讲了ML的问题的三个基本方面:数据、模型和准则。准则可以理解为模型的优化目标。
此后全文对每个模型的讲解都是从这三个方面来讲。
深度学习(DL)的最大困难:可训练参数太多,非凸优化,解释困难(可以通过可视化手段改善)。
深度学习成功的运用场景:语音识别和目标识别。在NLP中达到了传统方法的效果。
解决DL学习问题的三种手段:卷积(褶积)神经网络(CNN),限制玻尔兹曼机(RBM)和自动编码机(AE)
2 前馈神经网BP算法
主要讲解了传统神经网络的训练方法,对梯度下降法进行了详细说明。对BP算法进行了细致的推倒。
3 学习优化问题&稀疏编码
前半部学习优化问题主要搭建了多层神经网络的框架。
后半部介绍了稀疏编码的思想和相对应的准则。
Part2 深度学习理论(4-9节)
4 DN&&DL
DN是一个深度的前馈神经网络(FNN)+分类器。
先讲了线性回归、logistic回归和SVM分类器三种分类手段。
DL面临的主要问题:参数多、非凸、梯度弥散。
5 自编码器&&逐层学习
DL的第一种实现方法:自编码器。每层使用一个三层的前馈神经网络,令输入和输出相同来实现自编码器。
步骤:先利用自编码器做预学习,再利用监督学习做微调。
6 自编码器&&RBM
本文基本是按照课上所说文章《Reducing the dimensionality with neural networks》来讲的
限制玻尔兹曼机的概率分布计算方法。
7 基于RBM的DL方法
基于RBM的深度学习网络的构建。
8 CNN卷积神经网络
这一课主要是图解,没有复杂的公式,也没有讲参数的推导方法。
9 复习总结
Part3 应用
10-12 自然语言处理
10 神经概率语言模型
使用神经网络做自然语言处理的方法,只用到一般的神经网络。
11 几乎无需语言知识的自然语言处理
窗口方法,与第12节的句子方法相对应。
12 句子模型方法
13-14 图像识别,其中13为有监督识别,14为无监督识别
13 深度褶积网
14 大规模无监督高层特征构建
相关文章推荐
- 复旦大学吴立德《数值优化》、《深度学习》和
- 上海复旦大学吴立德教授深度学习课程四
- 第28节--《深度学习基础介绍-机器学习》课程总结
- 对深圳大学选课系统中的课程学时计算问题总结
- 成长轨迹:数据库课程设计总结
- 《课程的反思与重建--我们需要什么样的课程观》学习心得体会与总结
- ASP.NET AJAX深入浅出系列课程(学习总结二)
- 数据库课程设计总结
- 课程设计开发总结
- 回顾课程总结
- Linux课程总结
- 02秘管课程设计总结
- 北京理工大学大三软件项目开发课程个人总结
- 数据库课程设计【5】-----答辩总结
- ATEN命令汇总(北大青鸟ATEN课程总结)
- C#课程设计总结
- 课程设计体会与总结
- 2007年10月14日课程总结
- 北大青鸟BENET课程---ENBM知识点总结
- 数据库课程设计【5】-----答辩总结