ImageNet中的LRN（Local Response Normalization）

LRN（Local Response Normalization）

神经网络初学者，没有什么理论基础，偶然看到个ImageNet，就准备从其入手，先弄懂每层的含义，其中这个LRN层真是让人百思不得其解，搜索了下，给出的介绍比较少。为什么会比较少呢，搜索到最后我得出的结论是，这货似乎没什么多少卵用。。。 

ImageNet中的LRN层是按下述公式计算的：



但似乎，在后来的设计中，这一层已经被其它种的Regularization技术，如drop out, batch normalization取代了。知道了这些，似乎也可以不那么纠结这个LRN了。
http://cs231n.github.io/convolutional-networks/ 是关于CNN的一篇很好的介绍。