斯坦福CS231n计算机视觉-神经网络的随机失活
2018-10-29 11:08
561 查看
具体操作:对于一个三层网络来说,就是每次每层计算输出,以一定概率乘以一个掩码0,一般为50%,从而让一半的输出无效化,对于被选中的节点,就相当于失活了。
那么为什么要随机失活?
解释一:
避免过拟合
一个猫的特征是多种的,但有时候某些特征过于明显导致其他特征不明显,从而抑制了其他特征的在网络中的表述,这就是对明显特征的过拟合,所以失活可以使你的表征对于图片的表示是冗余的,由于每一个特征都有可能失活,所以分类必须依赖于各种各样的特征。
实际使用时,有时候这个明显的特征获取不到,不明显的特征又没有训练好,就会造成分类错误,所以说随机失活可以防止过拟合,其实和人的学习过程也挺像。
解释二:
随机失活相当于把很多小网络组合大网络,相当于多个网络的混合,之前也说了,会有这样会有性能上的提高。失活不是把权值置零,只是暂时的让他输出不起作用,相当于输出乘以掩码0。想要更多的正则化,可以使用每次失活更多的神经元。
在测试的时候:
可以看到,由于P设置为0.5,所以训练时候的权值只有测试时候权值的一半。所以在测试的时候,不要忘记让激活函数乘以P。
有两种修正方式:
1、
在输出的时候*p
2、
或者在训练的时候/P
两种方式有什么不同?
阅读更多相关文章推荐
- 【神经网络与深度学习】【计算机视觉】RCNN- 将CNN引入目标检测的开山之作
- 【神经网络与深度学习】【计算机视觉】SPPNet-引入空间金字塔池化改进RCNN
- 【计算机视觉】【神经网络与深度学习】YOLO v2 detection训练自己的数据
- 【神经网络与深度学习】【计算机视觉】Fast R-CNN
- 【神经网络与深度学习】【计算机视觉】Faster R-CNN
- [置顶] 基于DL的计算机视觉(8)-- 神经网络是如何训练的
- 【神经网络与深度学习】【计算机视觉】图解YOLO
- 刷新神经网络新深度:ImageNet计算机视觉挑战赛微软中国研究员夺冠
- 【神经网络与深度学习】【计算机视觉】SSD
- [置顶] 基于DL的计算机视觉(9)--神经网络之动手实践
- CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总 梯度检验 参数更新 超参数优化 模型融合 等
- 【神经网络与深度学习】【计算机视觉】YOLO2
- cs231n 卷积神经网络与计算机视觉 5 神经网络基本结构 激活函数总结
- 【神经网络与深度学习】【计算机视觉】视频中行为识别公开数据库汇总
- 【计算机视觉】【神经网络与深度学习】深度学习在图像超分辨率重建中的应用
- 【计算机视觉】【神经网络与深度学习】论文阅读笔记:You Only Look Once: Unified, Real-Time Object Detection
- [计算机视觉][神经网络与深度学习]R-FCN、SSD、YOLO2、faster-rcnn和labelImg实验笔记
- 【计算机视觉】【神经网络与深度学习】YOLO v2 detection训练自己的数据2
- [神经网络与深度学习][计算机视觉]SSD编译时遇到了json_parser_read.hpp:257:264: error: ‘type name’ declared as function ret
- [计算机视觉][神经网络与深度学习]Faster R-CNN配置及其训练教程