[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
2017-06-06 23:00
936 查看
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
**那么除了ReLU有没有别的activation function了呢？
所以我们用 Maxout来根据training data自动生成activation function**
ReLU is a special cases of Maxout
所以，加了momentum后：
| VIDEO |
|---|
Recipe of Deep Learning
在 training data上的performance不好
Deeper usually does not imply better
Vanishing Gradient Problem
ReLU（Rectified Linear Unit）
ReLU - variant
**那么除了ReLU有没有别的activation function了呢？
所以我们用 Maxout来根据training data自动生成activation function**
ReLU is a special cases of Maxout
Maxout
ReLU is a special cases of Maxout
More than ReLU
Maxout - Training
Adaptive Learning Rate
RMSProp
Hard to find optimal network parameters
Momentum（gradient descent 融入惯性作用）
所以，加了momentum后：
Adam
在testing data上performance不好
Early Stopping
Regularization
Regularization - Weight Decay
Dropout
Dropout- Intuitive Reason
Dropout is a kind of ensemble
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 台大李宏毅Machine Learning 2017Fall学习笔记 (10)Tips for Deep Learning
- [机器学习入门] 李宏毅机器学习笔记-37 (Deep Reinforcement Learning;深度增强学习入门)
- [机器学习入门] 李宏毅机器学习笔记-20 （Deep Generative Model-part 3：深度生成模型-part 3）
- [机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2）
- 深度学习论文阅读笔记--Deep Learning Face Representation from Predicting 10,000 Classes
- [深度学习论文笔记][Image Classification] Deep Residual Learning for Image Recognition
- Joint Deep Learning For Pedestrian Detection（论文笔记-深度学习：行人检测）
- [机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）
- [深度学习论文笔记][Scene Classification] Learning Deep Features for Scene Recognition using Places Database
- [深度学习]Deep Residual Learning for Image Recognition(ResNet,残差网络)阅读笔记
- [机器学习入门] 李宏毅机器学习笔记-21（Transfer Learning part 1 ; 迁移学习 part 1）
- 李宏毅机器学习课程笔记10：Ensemble、Deep Reinforcement Learning
- [机器学习入门] 李宏毅机器学习笔记-19 （Deep Generative Model-part 2：深度生成模型-part 2）
- 【深度学习】深度学习中监督优化入门(A Primer on Supervised Optimization for Deep Learning)
- 深度学习讲座笔记：Deep Learning for Computer Vision - Andrej Karpathy at Bay Area Deep Learning School
- 深度学习论文笔记-Deep Learning Face Representation from Predicting 10,000 Classes
- [机器学习入门] 李宏毅机器学习笔记-24（introduction of Structured Learning;结构化学习介绍）
- [机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1）
- 深度学习论文笔记 [图像处理] Deep Residual Learning for Image Recognition
- [机器学习入门] 李弘毅机器学习笔记-17（Unsupervised Learning: Deep Auto-encoder；无监督学习：深度自动编码器）