空间映射网络--Spatial Transformer Networks

Spatial Transformer Networks

主要对目标在特征空间做不变性归一化 解决 角度、尺度等变形引入的影响

Code: https://github.com/skaae/transformer_network



首先我们从图像上有个感性认识，对于一个输入图像，我们首先将目标检测出来，用一个四边形框住，然后将这个四边形里的目标图像进行归一化，最后对归一化的目标分类。

原理图如下所示：



目标检测我们使用一个 定位网络， localisation network，这个网络可以是全链接网络也可以是一个卷积网络。但是最后应该有一个位置回归层，用于输出目标的空间参数信息。有了这个空间参数，我们通过坐标映射将目标进行归一化。得到标准大小的图像。最后使用这个归一化后的图像进行分类识别。

定位网络和采样映射机制定义了一个空间映射网络。

The combination of the localisation network and sampling mechanism defines a spatial transformer.