对卷积核的相关解释论文和实验

从通信理论与图像方面理解卷积：


https://www.analyticsvidhya.com/blog/2017/06/architecture-of-convolutional-neural-networks-simplified-demystified/

奇数相对于偶数，有中心点，对边沿、对线条更加敏感，可以更有效的提取边沿信息。

偶数也可以使用，但是效率比奇数低。在数以万计或亿计的计算过程中，每个卷积核差一点，累计的效率就会差很多。

因为奇数可以写成2*n+1的形式，偶数就不行在像素这个领域里，偶数框其实是没有一个“绝对的物理中心”的。

卷积核大小、卷积层数、每层map个数都是如何确定下来的呢？看到有些答案是刚开始随机初始化卷积核大小，卷积层数和map个数是根据经验来设定的，但这个里面应该是有深层次原因吧，比如下面的手写字卷积神经网络结构图1，最后输出为什么是12个map，即输出12个特征？然后图2又是输出10个特征了 https://www.cnblogs.com/Yu-FeiFei/p/6800519.html




https://www.zhihu.com/question/39022858

第一张图对应于第二张图的前5层部分.

第一张图输出12个特征，因为在卷积层和Pooling 层提取的特征为12维，这后面应该会接一个全连接层进行分类。

第二张图并不是输出10个特征，而是将手写字数字编码为10个输出。

https://pan.baidu.com/s/1jI8w5dc

1、目前主流网络的kernel的大小一般是1x1、3x3、5x5等等，不同尺寸的kernel有不同的用途，看你是想提取小局部特征还是较大局部特征；2、卷积层数和每层feature map的个数（也就是该层kernel的个数）间接决定了模型的复杂度，在CNN这种类黑盒的模型里通过调整网络结构来进行bias-variance trade-off ，目前发表的优秀结构也是基于成百上千次实验得出的，经验，作者：安被进三

链接：https://www.zhihu.com/question/38098038/answer/96232451

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

特征取决于某个pattern下对原图通过亚采样权和子区域提取; 每个pattern就是一种要提取的规律. 你可以这样想,如果有一个山区的地图, 每次亚采样和卷积等于提取某个极小区域的像素值的特征。然后小区域再重复一样的卷积和亚采样. 前面的图层提取小区域反应光线明暗和边界这些基本特征,越往后的层提取更深层次的特征,比如山的梯度， 植被的密度走向,建筑的平面图, 是否可能为恐怖分子的基地等更高级的特征. 图1是12种特征，每种特征是输入图经过权值收敛的结果. 实际上卷积核(convolution kernel)不是真的卷积,而是类似一个输入和输出之间的线性表达式.为什么叫做卷积呢, 因为两个次序上相邻的NxN卷积核有N-1的重叠. 本质上卷积核是一个线性过滤式, 比如输入时4x4的小宏块, 卷积核过滤的结果相当于一次线性计算. 卷积核之后的亚采样和池化都是为了把局部特征进行抽象化. 但从数据传播的方向上来讲,卷积核进行特征提取,然后亚采样和池化(sub-sampling and pooling)会突出/削弱一些主要的特征成分. 说简单点,问题中的这张图包含字母，字母的特征是什么呢？基本特征就是边界在灰度图上的映射. 通过卷积核进行每个局部特征的提取然后层层递进. 最接近输入层(即数据帧)的卷积核-亚采样-池化提取的是基本特征，比如边界，明暗, 简单的条纹(实际就是一阶的数学特征,比如明暗的梯度). 但越靠近输出提取的特征越抽象. 比如在前几层卷积核提取的是条纹- -纹理–分布边界–物体轮廓这样的分级递进关系, 后面就是宏观的特征了.比如这个物体是猫还是狗，如果是狗是哪个品种的狗．　因为卷积网络本身是个back propagation 网络, 他调整卷积核的权值是跟数据传播完全逆向的过程.对于某层的实际输出和目标输出的差值,即Error(),需要对这一层进行权值矩阵的导数求解,即雅各比行列式. 然后再逆向对上一层做同样的修正.(即训练) 所以层数决定调整的迭代次数. 另外如果层数太多会有个本地最优解的问题. 调整某一层的参数对它本身可能缩小了Error()，但可能导致全局偏差较大. 但如果层数太少呢, 可调整的平滑度又不理想. 实际到底有多少层对卷积网络是一个很tricky的问题.至于卷积核的大小. 取决于要提取的特征分布和区分度.如果本身要提取的特征很小那卷积核也应该很小,卷积核太大比如16x16 vs 4x4这样的差异可能导致丢失一些局部特征.