【深度学习技术】LRN 局部响应归一化
2017-04-24 16:41
232 查看
LRN(Local Response Normalization) 局部响应归一化笔记
本笔记记录学习 LRN(Local Response Normalization),若有错误,欢迎批评指正,学习交流。1.侧抑制(lateral inhibition)
2.计算公式
Hinton在2012年的Alexnet网络中给出其具体的计算公式如下:公式看上去比较复杂,但理解起来非常简单。i表示第i个核在位置(x,y)运用激活函数ReLU后的输出,n是同一位置上临近的kernal map的数目,N是kernal的总数。参数K,n,alpha,belta都是超参数,一般设置k=2,n=5,aloha=1*e-4,beta=0.75。
3.后期争议
在2015年 Very Deep Convolutional Networks for Large-Scale Image Recognition.提到LRN基本没什么用。在Alexnet模型中首次提出这个概念。
参考文献:
[LRN]:ImageNet Classification with Deep Convolutional Neural Networks
相关文章推荐
- 深度学习的局部响应归一化LRN(Local Response Normalization)理解
- 深度学习: 局部响应归一化 (Local Response Normalization,LRN)
- tensorflow下的局部响应归一化函数tf.nn.lrn
- LRN ( Local Response Normalization) 局部响应归一化层
- 在AlexNet中LRN 局部响应归一化的理解
- LRN (Local Response Normalization,即局部响应归一化层)
- 深度学习技术在股票交易上的应用研究调查
- 深度学习与神经网络全局概览:核心技术的发展历程
- 深度学习的技术困难
- HPC技术趋势:HPDA、深度学习、软件定义和机柜即HPC
- 【转载】如何自学深度学习技术,大神Yann LeCun亲授建议
- [深度学习大讲堂]文化、进化与局部最小值
- 深度学习解决局部极值和梯度消失问题方法简析
- Facebook 人工智能实验室负责人这样看“深度学习”技术
- 聚焦CSDN技术主题月:深度学习框架的重构与思考专场回顾
- 深度学习技术系列(1):Mosaic Model — 不良图片检测开源模型
- 深度学习技术在股票交易上的应用研究调查
- 新一代人工智能发力:深度学习技术正在改变互联网
- MIT技术评论评选2013十大突破性技术:深度学习居首
- 深度学习之google deepmind的alphago AI人工智能算法技术演变历程