【论文笔记】Active Convolution: Learning the Shape of Convolution for Image Classification

Active Convolution: Learning the Shape of Convolution for Image Classification

主要思想

这篇论文的主要思想是在卷积神经网络中的卷积核的改进。论文提出近年来涌现出的网络，例如ResNet, Inception,都是对卷积神经网络结构的调整，提高网络的性能。卷积作为卷积神经网络的核心部分，改进的方法却不多。论文提出了一种可以自动学习卷积核（突触）在图像中的位置的算法。

算法描述

这篇论文的思想很简单。首先，传统的卷积操作都是与图像上的对应位置的像素的乘积求和，这些像素的位置是固定的，也就是说，卷积的形状是固定的。论文提出的方法是，这些像素的位置可以不是固定的，可以是在两个像素之间的。把离散的输入空间变成一个连续的，连续的空间位置对应确定的值，这些值是通过线性插值得到的。先给出论文最后学习到的卷积的形状，以便于理解。



从图中，可以看出，较低层的卷积的形状与传统标准的并没有太大的区别。但是高层次的卷积的形状则与标准的大不相同。卷积对应的位置与标准的相差较大。这样我们就可以理解论文的主要目的了，就是要通过学习过程，自动的找到卷积的位置。而且可以看出传统的方法是论文方法的特例（只需要将卷积的位置设置在像素中心就好）。



那么如何表示位置信息呢，论文提出了两个变量alpha,beta。表示水平移动和垂直移动。每个突触有两个变量，假设有K个突触，则会多出2XK个变量，但是与网络成千上万个参数来比，数目增加的不是很多。

前向传播

卷积的公式可以表示为如下形式：



对应位置的像素值通过插值得到

反向传播

W和b个传播过程与其他的方法基本相同，不同的是对alpha和beta的求导过程。



另外在进行alpha和beta更新的时候，对梯度进行归一化。另外学习率设置为0.001。那么1000的迭代，最多移动一个像素。这都是为了保证网络的稳定性的措施。另外，论文认为训练开始的时候，网络是极度的不稳定，那么会导致卷积位置的不断震荡，而且有可能陷入局部最小值。因此在训练的初期，卷积的形状固定，学习一个稳定的w和b,然后再进行形状的学习。

实验部分

论文在不同的网络结构上采用了ACU单元进行学习。可以发现分类精度都有一定的提高。




论文还将ACU单元应用到了AlexNet，ResNet 中，都得到了一定程度的提高。