深度学习: 局部响应归一化 (Local Response Normalization,LRN)
2018-01-31 10:06
513 查看
Introduction
局部响应归一化(Local Response Normalization,LRN):提出于2012年的AlexNet中。
Principle
LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象(侧抑制)。好处有以下两点:
归一化有助于快速收敛;
对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。
API
tensorflow中LRN的API接口如下:tf.nn.lrn(input,depth_radius=None,bias=None,alpha=None,beta=None,name=None)
该接口具体实现如下:
sqr_sum[a, b, c, d] = sum(input[a,b, c, d - depth_radius : d + depth_radius + 1] ** 2) output = input / (bias +alpha * sqr_sum) ** beta
Test
具体实验可参照这位小哥的博客:Tensorflow的LRN是怎么做的,写得简洁明了。Postscript
局部响应归一化(Local Response Normalization,LRN)如今已很少有人在用了。相关文章推荐
- 深度学习的局部响应归一化LRN(Local Response Normalization)理解
- LRN ( Local Response Normalization) 局部响应归一化层
- LRN (Local Response Normalization,即局部响应归一化层)
- 【深度学习技术】LRN 局部响应归一化
- 局部响应归一化(Local Response Normalization)
- Local Response Normalization作用——感觉LRN也是解决的梯度消失和爆炸问题,统计机器学习中的一个经典假设是“源空间(source domain)和目标空间(target domain)的数据分布(distribution)是一致的
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.9_归一化normalization
- tensorflow下的局部响应归一化函数tf.nn.lrn
- caffe中的Local Response Normalization (LRN)有什么用,和激活函数区别
- 在AlexNet中LRN 局部响应归一化的理解
- Local Response Normalization (LRN)
- ImageNet中的LRN(Local Response Normalization)
- 深度学习算法之过拟合、局部最小值和梯度弥散·
- caffe+报错︱深度学习参数调优杂记+caffe训练时的问题+dropout/batch Normalization
- caffe+报错︱深度学习参数调优杂记+caffe训练时的问题+dropout/batch Normalization
- 学习笔记2:YII请求组件request和响应组件response
- Coursera deeplearning.ai 深度学习笔记2-3-Hyperparameter tuning, Batch Normalization and Programming Framew
- 深度学习算法之过拟合、局部最小值和梯度弥散·
- 基于局部学习的特征选择:Local-Learning-Based Feature Selecti
- 深度学习算法之过拟合、局部最小值和梯度弥散·