A Theoretical Analysis of Feature Pooling in Visual Recognition(泛读)

一.文献名字和作者

      A Theoretical Analysis of Feature Pooling in Visual Recognition， Y-Lan Boureau, Jean Ponce, Yann LeCun
   

二.阅读时间

    2014年11月12日
 

三.文献的贡献点

   在这篇文章中，作者的贡献点主要有三个：1.研究不同pooling操作的分类能力；2.影响pooling操作的因素；3.不同类型的pooling的统一之处。
    作者主要提出了一些关于Pooling的理论说明，这部分主要集中在二值化的特征中进行的，并且进行了一些假设，然后在进行了少量的数学分析之后，作者就开始做实验证明自己的观点了(其实这篇文章中理论部分我没看懂，而且理论部分的内容其实很少的)。
    作者进行了不同的实验，分析采用不同的pooling操作之后，获得的统计信息是否有利于分类。
    作者通过简单的理论分析之后，认为：1.对于稀疏的特征，使用maxpooling效果比较好；2.使用所有的样本进行pooling并不能确定最好的效果；3.最优的pooling大小随着字典的增加而增加。
    作者进行的第一个实验是二值化特征的实验，通过实验，作者发现使用较小的maxpooling大小，在某些字典大小下能够取得较好的效果，而随着pooling大小的减少，averagepooling效果一直在下降。
    作者做的第二个实验是稀疏的连续特征值，实验表明，对于连续的编码，使用较大的pooling大小能够获得更好的结果。在Caltech-101数据集上面，maxpooling的效果比averagepooling的效果好。
    当然，作者也提到了使用空间金字塔，然后在金字塔的每一层中使用pooling，不过对比实验比较少。
    作者最后还通过几种增加参数的方法，连将maxpooling和averagepooling进行了统一，不明觉厉啊。
    
    总体来说，这篇文章读完之后，作者对于maxpooling和averagepooling的理论研究我没记得多少，就记得了一个结论：在特征比较稀疏的情况下，使用maxpooling的效果要比averagepooling的效果好。当然，作者提出的这个观点，“pooling的主要目的在与将联合特征转变为一个代表了更加重要信息的表示，同时忽略一些无关的细节}”，我还是很认同的。

版权所有，欢迎转载，转载请注明出处，谢谢