经典网络结构AlexNet《ImageNet Classification with Deep Convolutional Neural Networks》

论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
论文翻译：http://www.cnblogs.com/zf-blog/p/6432709.html2012年，Alex Krizhevsky发表了AlexNet，它是LeNet的一种更深更宽的版本，网络扩大（5个卷积层+3个全连接层+1个softmax层）并以显著的优势赢得了困难的ImageNet竞赛。
AlexNet 将LeNet的思想扩展到更大的能学习到更复杂的对象层次的神经网络上。这项工作的贡献：

1）使用修正的非线性单元（ReLU）；
2）训练时候使用Dropout技术有选择的忽视单个神经元，Data augmentation扩充数据，LRN归一化层从而避免过拟合；
3）覆盖进行最大池化，避免平均池化的平均化效果；
4）使用GPU NVIDIA GTX580减少训练时间；
注：LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

前后几层（对应位置的点）对中间这一层做一下平滑约束

 GPU比CPU提供更多数量的核，训练时间可以提升10倍。这又反过来允许使用更大的数据集和更大的图像。AlexNet的成功掀起了一场小革命。卷积神经网络现在是深度学习的骨干。它已经变成了现在能够解决有用任务的大型神经网络的代名词。