Training Very Deep Networks
2016-01-08 20:08
375 查看
这篇文章提出一种训练深层网络的训练结构-highway,主要的来源于LSTM中的阀门开关的思想。highway的提出使得可以使用梯度下降可以直接训练较深的卷积神经网络。
plain网络前向过程为:
其中H为非线性激活函数。对于highway网络来说在上述的基础上又引入了两个非线性变换T和C,则highway为:
其中T为transform gate,C为carry gate,T和C实际上是定义了最终的输出分别是由多少变换和输入构成。为了简单,可以另C=1-T:
使用就卷积进行表达为:
特殊情况为:
需要注意的是highway的定义方式要求H,T,x,y具有相同的维度。
plain网络于highway结构比较如下:
实验结果说明:plain网络要比highway难优化。
plain网络前向过程为:
其中H为非线性激活函数。对于highway网络来说在上述的基础上又引入了两个非线性变换T和C,则highway为:
其中T为transform gate,C为carry gate,T和C实际上是定义了最终的输出分别是由多少变换和输入构成。为了简单,可以另C=1-T:
使用就卷积进行表达为:
特殊情况为:
需要注意的是highway的定义方式要求H,T,x,y具有相同的维度。
plain网络于highway结构比较如下:
实验结果说明:plain网络要比highway难优化。
相关文章推荐
- A. Saitama Destroys Hotel
- 关于baidu的页面
- 【转】NSBundle的使用,注意mainBundle和Custom Bundle的区别
- Bug收集:{ status code: 200, headers { "Content-Length" = 14; "Content-Type" = "text/plain;char
- Manual doesn't explain that max_connections is "autosized" when ulimit -n is low
- 关于Installation error: INSTALL_FAILED_INSUFFICIENT_STORAGE的报错的最有效的解决方法
- 【人工智能】A*算法
- 获取 BaiduMapSDKDemo SHA1 签名
- WinMain函数
- loadrunner---压力机 出现TIME_WAIT状态的解决方法
- RAID5数据应该如何恢复
- Failed to sync Gradle Project "xxx"解决方案
- Layout in Rails
- 个人对container_of宏的理解
- 虚拟机Failed to start LSB: Bring up/down networking
- iPad Air越狱恢复教程 iPad Air越狱后怎么恢复
- AirDrop文件分享功能
- dll系统文件缺失修复工具-DirectX Repair
- Type mismatch: cannot convert from MainFragment to Fragment 报错
- 使用MegaCli工具,在线调整raid配置