论文笔记：ImageNet classification with deep convolution neural networks

1、此种模型参加了2010,2012的ILSVRC（ImageNet Large Scale Visual Recognition
Competition）比赛，错误率对比如下：





2、在train model时，利用GTX 580 3G的GPU训练了5,6天，作者放言，如果不是GPU硬件的话，可能效果会更好。

3,、在结构方面，5层卷积层，3层全连接层，其中C1，C2两层后面还有池化层，但是C3，C4，C5，均没有池化层，结构图如下：



4、在激活函数的选择方面，比较了三种常用函数：

ReLu（Rectified Linear Units），Sigmoid，tanh，经过实验比较，
4000
还是ReLu函数的效果最好。

5、LRN（Local Response Normalization）局部响应归一化，也能有效的降低错误率。

6、池化层的选择，为什么在选择池化层的核数以及步长时，一般设置核数更大一点，原因在于这样的话，在卷积核滑动得到特征图的过程中，特征图存在overlap，这样也能降低错误率。

7、此篇文章提到了避免过拟合的两种方法：一个是数据强化（data augmentation），这是针对训练模型的数据集来说的。另外一个是dropout。

8、作者在实验中得到一个启示，模型的“深度”对于实验效果来说还是很重要的，一般来说，在条件允许的情况之下，当然模型深度越深越好。

具体的如何操作以后有时间再添加，