典型卷积神经网络结构总结

典型卷积神经网络结构总结

LeNet：最早用于数字识别的CNN

层关系如下：
Data layer：1*28*28
Convolutional layer(5*5)：20*24*24
Pooling(2*2, stride 2)：20*12*12
Convolutional layer(5*5)：50*8*8
Pooling(2*2, stride 2)：50*4*4
Inner Product：500*1
ReLuP：500*1
Inner Product：10*1
Soft Max：10*1

AlexNet：2012年ILSVRC比赛中远超第二名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层

层关系如下：
Input layer：227*227*3
Convolutional 1(96个11*11filters, strides 4, pad 0)：55*96
Max Pooling 1(3*3filters, stride 2)：27*27*96
Normalization 1：27*27*96
Convolutional 2(256个5*5filters, strides 1, pad 2)：27*27*256
Max Pooling 2(3*3filters, stride 2)：13*13*256
Normalization 2：13*13*256
Convolutional 3(384个3*3filters, stride 1, pad 1)：13*13*384
Convolutional 4(384个3*3filters, stride 1, pad 1)：13*13*384
Convolutional 5(256个3*3filters, stride 1, pad 1)：13*13*256
Max Pooling 3(3*3filters, stride 2)：6*6*256
Full Connect 6(4096 neurons)：4096
Full Connect 7(4096 neurons)：4096
Full Connect 8(1000 neurons, class socres)：1000

ZF Net：2013年ILSVRC比赛冠军

层关系如下：
Input layer：224*224*3
Convolutional 1(96个7*7filters, strides 2, pad 0)：110*96
Max Pooling 1(3*3filters, stride 2)：55*55*96
Normalization 1：55*55*96
Convolutional 2(256个5*5filters, strides 2, pad 0)：26*26*256
Max Pooling 2(3*3filters, stride 2)：13*13*256
Normalization 2：13*13*256
Convolutional 3(384个3*3filters, stride 1, pad 1)：13*13*384
Convolutional 4(384个3*3filters, stride 1, pad 1)：13*13*384
Convolutional 5(256个3*3filters, stride 1, pad 1)：13*13*256
Max Pooling 3(3*3filters, stride 2)：6*6*256
Full Connect 6(4096 neurons)：4096
Full Connect 7(4096 neurons)：4096
C class softmax(C neurons, class socres)：C

GoogleLeNet，2014年ILSVRC比赛中图像识别冠军

层关系如下：
Inception module(3个)
网中网结构，原来的节点也是一个网络。Inception一直在发展。
GoogleLeNet网络中参数越500万，它把所有的全连接层换成了小卷积。

VGGNet：2014年ILSVRC比赛中的模型，图像定位上冠军，但图像识别略差于GoogleLeNet，但是在很多图像转化学习问题（如object detection）上效果很好

层关系如下：
VGG-16, VGG-19, 下面介绍的是VGG-16的层次结构
INPUT：224*224*3
CONV3-64：224*224*64
CONV3-64：224*224*64
POOL2：112*112*64
CONV3-128：112*112*128
CONV3-128：112*112*128
POOL2：56*56*128
CONV3-256：56*56*256
CONV3-256：56*56*256
CONV3-256：56*56*256
POOL2：28*28*256
CONV3-512：28*28*512
CONV3-512：28*28*512
CONV3-512：28*28*512
POOL2：14*14*512
CONV3-512：14*14*512
CONV3-512：14*14*512
CONV3-512：14*14*512
POOL2：7*7*512
FC：1*1*4096
FC：1*1*4096
FC：1*1*1000

ResNet：2015年ILSVRC比赛冠军，结构修正（残差学习）以适应深层次CNN训练

共计152层，比VGG要深8倍，但比VGG好训练。
主要核心学习映射的残差，故为残差网络。
残差网络提出的本质是要解决层次比较深的时候无法训练的问题。
它借鉴了Highway Network思想，相当于在旁边专门开一个通道使得输入可以直达输出。
而优化的目标为由原来的你和输出H(x)变成输出和输入之差H(x)-x，
其中H(x)是某一层原始的期望映射输出，x是输入。