ImageNet classification with deep convolutional neural network

摘要

作者训练了一个巨大的神经网络将ImageNet LSVRC-2010 contest 集合里面的1.2million高清图像分为1000类。

在测试数据上，作者的top-1 错误率为37.5%， top-5错误率为17.0%。这两个优于同期的state-of-the-art。AlexNet 网络包含约6千万的参数和约65万神经元。网络架构由5个卷积层、3个全连结层和一个1000路的softmax组成。

为了使训练更快，作者使用了ReLU和 基于GPU的卷积实现。为了减少过拟合，作者使用了dropout方法。

亮点总结

1）ReLU 非线性

标准的激活函数为sigmoid，tanh函数。作者没有使用上述函数，而是采用Rectified Linear Units （ReLU）作为激活函数。作者测试发现使用ReLU函数，可以得到several times加速。

2）多GPU训练

作者当时使用的GPU是GTX580，显存3G。为了训练这样的大网络，作者使用了2个GPU并行。目前GPU已经发展到了K80，训练AlexNet网络在单GPU就可以实现。

3）Local Response Normalization

作者发现使用LRN可以提升2%性能。

4）Overlapping Pooling

作者使用s=2， z=3的max pooling方法。

5）reducing over-fitting

（a）使用平移，反转等方式制作更多的训练数据。

（b）通过“改变图象RGB值”的方式制作更多的训练数据。

6）dropout

作者使用0.5倍的dropout