深度学习深理解(七)-改善深度神经网络-第三周
2017-10-20 22:18
302 查看
总结一下今天的学习过程
超采纳数的选择原则
学习率、或者采用衰减的学习率
hidden unit num 、 mini-batch-size
layers num、momentum β(默认0.9) Adam β1,β2 E(默认 0.9,0.999,10e-8)
采用随机均匀取值
根据机器的性能:采用一种照看一个模型、同时实验多中模型
Batch 归一化:将细长的图形装换为同心的圆中
有轻微的正则化效果
含有小量的噪音
不要将其作为规则看待
只能处理一个mini-batch数据
softmax回归
了解一些深度学习框架
学习了thesorflow的一个例子
观看两个访谈
知晓了一些问题
训练神经网络中的长期依赖问题
反向传播不需要光滑非线性算法、非线性校正算法
神经网络中的联合分布
用初始化解决深度网络训练的难点
基于注意力机制的神经网络机器翻译的研究
穗时序依赖型可塑性
信用分配
怎么利用时间编码
美好的一天,明天加油!
超采纳数的选择原则
学习率、或者采用衰减的学习率
hidden unit num 、 mini-batch-size
layers num、momentum β(默认0.9) Adam β1,β2 E(默认 0.9,0.999,10e-8)
采用随机均匀取值
根据机器的性能:采用一种照看一个模型、同时实验多中模型
Batch 归一化:将细长的图形装换为同心的圆中
有轻微的正则化效果
含有小量的噪音
不要将其作为规则看待
只能处理一个mini-batch数据
softmax回归
了解一些深度学习框架
学习了thesorflow的一个例子
观看两个访谈
知晓了一些问题
训练神经网络中的长期依赖问题
反向传播不需要光滑非线性算法、非线性校正算法
神经网络中的联合分布
用初始化解决深度网络训练的难点
基于注意力机制的神经网络机器翻译的研究
穗时序依赖型可塑性
信用分配
怎么利用时间编码
美好的一天,明天加油!
相关文章推荐
- 深度学习深理解(六)-改善深度神经网络-第二周
- 深度学习深理解(五)-改善深度神经网络
- 深度学习第二课 改善深层神经网络:超参数调试、正则化以及优化 第三周超参数调试+Batch normalization笔记和作业
- 关于深度学习中的Batch normalization的理解
- 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理1-深度学习基础
- 深度学习(二十七)可视化理解卷积神经网络-ECCV 2014
- Deep Learning(深度学习)学习笔记整理系列之LeNet-5卷积参数个人理解
- 吴恩达深度学习第一课第三周课后作业
- 深度学习中的batch size 以及learning rate参数理解
- 深度学习研究理解6:OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks
- 深度学习与神经网络-吴恩达(Part1Week4)-深度神经网络编程实现(python)-基础篇
- 【深度学习】入门理解ResNet和他的小姨子们(四)---WideResNet
- 你应该知道的9篇深度学习论文(CNNs 理解)
- 深度学习笔记1:神经网络理解
- 七步理解深度学习
- 深度学习(三十七)优化求解系列之(1)简单理解梯度下降
- 吴恩达团队最新成果:用深度学习预测死亡概率,改善临终关怀
- [DeeplearningAI笔记]改善深层神经网络1.4_1.8深度学习实用层面_正则化Regularization与改善过拟合
- 从业务角度理解深度学习及其应用
- Deep Learning(深度学习)学习笔记整理系列之LeNet-5卷积参数个人理解