Maxout Networks及实现原理

maxout：http://arxiv.org/pdf/1302.4389v4.pdf

maxout出现在ICML2013上，作者Goodfellow(GAN的发明者)将maxout和dropout结合后，在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了stat-of-the-art的识别率（大概就是最先进最好的意思吧？）。

MAXOUT

论文中证明Maxout可以拟合任何凸函数，是一个通用的函数拟合器。

如下图二维函数（ReLU函数、V型函数、二次型函数）的拟合，
通过构造多个仿射变换来对其进行逼近，对分段函数每段取最大。

具体原理如下图：

输入层两维，隐层四维，输出一维。

对于一般卷积网络，直接得到h=conv(wx+b)

maxout，如下图中间又加一层（有的叫隐隐层…）五个神经元，

过程相当于

1 先conv（wx+b）得到五个z值，构成5层的featuremap
2 随后，再对以最大池化步长（max pooling stride）为5
进行maxpooling。

再一般化：

输入/特征图尺寸：

(minibatch_size, num_input_channels,
image_width, image_height)

filters ：

(num_filters, num_input_channels,
filter_width, filter_height)

output shape(stride=1)

(minibatch_size, num_filters,
image_width - filter_width + 1,
image_height - filter_height + 1)

在 num_filters 维度使用max-pooling(max-pooling stride=5):

(minibatch_size, num_filters / 5,
image_width - filter_width + 1,
image_height - filter_height + 1)

reference

http://blog.csdn.net/zhufenghao/article/details/52527047

https://github.com/benanne/kaggle-galaxies/issues/2