深度学习: AlexNet 网络
2017-12-21 20:04
204 查看
Introduce
AlexNet网络 提出于2012年,Hinton大神带领团队在ImageNet图像分类竞赛上夺魁,成为了深度学习的转入兴盛的拐点,因此2012年被称为“计算机视觉领域中的深度学习元年”。该网络证明了CNN在复杂模型下的有效性,CNN在计算机视觉领域迎来“井喷”式的大发展。
Structure
Improve
相比之前的 LeNet,改进如下:使用了 Data Augmentation (数据增强):防止过拟合。
使用了 Dropout:防止过拟合的。
使用了 ReLU激活函数:避免了正半轴的梯度消失。
使用了 局部响应归一化 (LRN):利用临近的数据做归一化。
使用了 GPU:使得训练在可接受的时间范围内得到结果。
使用了 海量数据 (ImageNet图像数据集):防止过拟合。
Code
BVLC/caffe/models/bvlc_alexnet/deploy.prototxt:name: "AlexNet" layer { name: "data" type: "Input" top: "data" input_param { shape: { dim: 10 dim: 3 dim: 227 dim: 227 } } } layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 96 kernel_size: 11 stride: 4 } } layer { name: "relu1" type: "ReLU" bottom: "conv1" top: "conv1" } layer { name: "norm1" type: "LRN" bottom: "conv1" top: "norm1" lrn_param { local_size: 5 alpha: 0.0001 beta: 0.75 } } layer { name: "pool1" type: "Pooling" bottom: "norm1" top: "pool1" pooling_param { pool: MAX kernel_size: 3 stride: 2 } } layer { name: "conv2" type: "Convolution" bottom: "pool1" top: "conv2" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 256 pad: 2 kernel_size: 5 group: 2 } } layer { name: "relu2" type: "ReLU" bottom: "conv2" top: "conv2" } layer { name: "norm2" type: "LRN" bottom: "conv2" top: "norm2" lrn_param { local_size: 5 alpha: 0.0001 beta: 0.75 } } layer { name: "pool2" type: "Pooling" bottom: "no c3f7 rm2" top: "pool2" pooling_param { pool: MAX kernel_size: 3 stride: 2 } } layer { name: "conv3" type: "Convolution" bottom: "pool2" top: "conv3" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 384 pad: 1 kernel_size: 3 } } layer { name: "relu3" type: "ReLU" bottom: "conv3" top: "conv3" } layer { name: "conv4" type: "Convolution" bottom: "conv3" top: "conv4" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 384 pad: 1 kernel_size: 3 group: 2 } } layer { name: "relu4" type: "ReLU" bottom: "conv4" top: "conv4" } layer { name: "conv5" type: "Convolution" bottom: "conv4" top: "conv5" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } convolution_param { num_output: 256 pad: 1 kernel_size: 3 group: 2 } } layer { name: "relu5" type: "ReLU" bottom: "conv5" top: "conv5" } layer { name: "pool5" type: "Pooling" bottom: "conv5" top: "pool5" pooling_param { pool: MAX kernel_size: 3 stride: 2 } } layer { name: "fc6" type: "InnerProduct" bottom: "pool5" top: "fc6" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 4096 } } layer { name: "relu6" type: "ReLU" bottom: "fc6" top: "fc6" } layer { name: "drop6" type: "Dropout" bottom: "fc6" top: "fc6" dropout_param { dropout_ratio: 0.5 } } layer { name: "fc7" type: "InnerProduct" bottom: "fc6" top: "fc7" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 4096 } } layer { name: "relu7" type: "ReLU" bottom: "fc7" top: "fc7" } layer { name: "drop7" type: "Dropout" bottom: "fc7" top: "fc7" dropout_param { dropout_ratio: 0.5 } } layer { name: "fc8" type: "InnerProduct" bottom: "fc7" top: "fc8" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 1000 } } layer { name: "prob" type: "Softmax" bottom: "fc8" top: "prob" }
相关文章推荐
- 深度学习网络模型AlexNet
- 深度学习网络Lenet Alexnet VGG GoogleNet 总结笔记
- 深度学习的几种常用网络LeNet、AlexNet、GoogLeNet、VGG、ResNet:
- TensorFlow实现经典深度学习网络(1):TensorFlow实现AlexNet
- 深度学习卷积神经网络——经典网络LeNet-5、AlexNet、ZFNet网络的搭建与实现
- 【神经网络与深度学习】学习笔记:AlexNet&Imagenet学习笔记
- 深度学习Alexnet网络对图像进行分类/预测(迁移学习)
- 【神经网络与深度学习】卷积神经网络-进化史:从LeNet到AlexNet
- 【深度学习论文】Alexnet 论文学习网络讲解
- [caffe]深度学习之图像分类模型AlexNet解读
- TensorFlow 深度学习框架 (1)-- 神经网络与前向传播
- 深度学习(六十五)移动端网络MobileNets
- 【学习日记】人脸识别FaceNet之深度卷积网络NN2解读
- 深度学习 vs. 大数据:神经网络权值的版权属于谁?
- TensorFlow 深度学习框架 (2)-- 反向传播优化神经网络
- 神经网络与深度学习编程练习(coursera 吴恩达 )(2)
- Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1
- 深度学习网络调参技巧2
- 深度学习概述:从感知机到深度网络
- 吴恩达《深度学习-神经网络和深度学习》1--深度学习概论