论文：ImageNet Classification with Deep Convolutional Neural Networks

1简介：

我们的模型有五层卷积层和三个全连接层组成。移除每一层这个模型的性能就会下降。

2数据

ImageNet是一个拥有大约22000个类别，15百万的有标签的数据集。ILSVRC使用这个数据集的子集，大约包含1000个类，每一个类大约有1000个图片。总的来说，大约有1.2百万的训练数据，50000的检验数据和150000的测试数据。

ImageNet是一个可变分辨率的图片集，我们需要将图片改成256*256*的形式。首先对图片进行缩放，将短边变成256，然后在缩放后的图片中心剪裁出一个256*256的图片*。

3结构

3.1ReLu Nonlinearity

　使用ReLUs比使用sigmod和tanh的训练速度快，更快的学习在大数据训练下的模型具有好的表现。

3.2 Training on Multiple GPUs

使用两个GPU来跑。现如今的GPU可以快速的从另一个GPU的内存中读取数据。GPU只有在某几个层中交流。

3.3 Local Response Normalization

Relus并不需要输入必须是归一化后的来避免饱和，但是我们还是需要加入local normalization来generalization。这是一种正则化方法，这种方法受到神经科学的启发，激活的神经元会抑制其邻近的神经元的活动（侧抑制现象）

3.4 Overlapping Pooling

当步长小于pool的size时，就会出现overlap现象，这就是我们采用的结构。因为有重叠的pool比没有的难过拟合。

3.5 Overrall Architecture

一共有八层，前五层是卷积层，剩下的三层是全连接层，最后层全连接层是一个1000维的softmax，对应于1000个类标签。第二层，四层和五层的卷积层的kernal只和对应的GPU上的前一层相联系，第三层的卷积层和所有的第二层都联系。全连接层和前一层的所有神经元联系，归一化（normalization）层follow第一层和第二层卷基层，max-pooling层follow normaliazation和第五层卷积层。Relu应用在每一层卷积层和全连接层的输出。



第二层卷积层和输入是第一层卷积层lrn和pooled之后的输出。第三层，第四层，第五层卷基层直接和另一个连接，并没有pooling和normalization层。

4 Reducing Overfitting

4.1 Data Augmentation

人为的增加图片的数量。一共有两种方法，因为计算量比较小，所以不用存储在硬盘上，在训练过程中，直接在CPU中计算。

第一种方法：

第二种方法：

4.2 Dorpout

结合许多不同的网络的预测在减少错误方面很有用，但是训练许多个深度神经网络非常expensive。Drop可以实现这样的功能。将隐含层神经元以0.5的概率设置为零。被置零的神经元不会参与前向和后向传播过程。每一批输入，网络都会学习到一个不同的结构。但是这些结构共享权重。因为神经元不能以来其他神经元特定的存在，这个技术实际是减少了复杂的互适应的神经元，强制要学习那些在神经元的不同随机子集中更加健壮的特征。Dropout将收敛的迭代步数加倍。我们在全连接的前两层使用这个技术。

5 Detials of learning

batch:128

weight decay:0.0005

少量的weight decay是十分重要的，它可以减少模型的错误率。



第一层卷基层的96个kernels

每一层的学习速率都相同，然后在训练中进行调节，一个启发式的观点是，当验证集上的错误率在当前的学习速率下停止增长，我们应该将学习率除以10，学习速率初始设置为0.01。

6 Results

7 Discussion

移除任意一个层都会对精确度产生百分之二的下降，所以深度是非常重要的。