Caffe源码解读（十）：Caffe五种层的实现和参数配置

以mnist数据集的lenet_train_test.prototxt网络为例介绍

卷积层

输入为28*28的图像，经过5*5的卷积之后，得到一个(28-5+1)*(28-5+1) = 24*24的map。

map：就是一张图像经过一个卷积核之后的图像

layer {
name: "conv2"
type: "Convolution"
bottom: "pool1"
top: "conv2"
param {
lr_mult: 1             #学习率1，和权值更新相关
}
param {
lr_mult: 2             #学习率2，和权值更新相关
}
convolution_param {
num_output: 50   # 50个输出的map
kernel_size: 5      #卷积核大小为5*5
stride: 1               #卷积步长为1
weight_filler {       #权值初始化方式
type: “xavier"     #默认为"constant",值全为0，很多时候我们也可以用"xavier"或者”gaussian"来进行初始化
}
bias_filler {          #偏置值的初始化方式
type: "constant"     #该参数的值和weight_filler类似，一般设置为"constant"，值全为0
}
}

池化层

例子：

输入为卷积层1的输出，大小为24*24，对每个不重叠的2*2的区域进行降采样。对于max-pooling，选出每个区域中的最大值作为输出。而对于mean-pooling，需计算每个区域的平均值作为输出。最终，该层输出一个(24/2)*(24/2)的map

layer {
name: "pool1"
type: "Pooling"
bottom: "conv1"
top: "pool1"
pooling_param {
pool: MAX #Pool为池化方式，默认值为MAX，可以选择的参数有MAX、AVE、STOCHASTIC
kernel_size: 2  #池化区域的大小，也可以用kernel_h和kernel_w分别设置长和宽
stride: 2 #步长，即每次池化区域左右或上下移动的距离，一般和kernel_size相同，即为不重叠池化。也可以也可以小于kernel_size，即为重叠池化，Alexnet中就用到了重叠池化的方法
}
}

全连接层

50*4*4=800个输入结点和500个输出结点

#参数和卷积层表达一样
layer {
name: "ip1"
type: "InnerProduct"
bottom: "pool2"
top: "ip1"
param {
lr_mult: 1
}
param {
lr_mult: 2
}
inner_product_param {
num_output: 500
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}

激活函数层

激活函数作用：激活函数是用来引入非线性因素的。

激活函数一般具有以下性质：

- 非线性： 线性模型的不足我们前边已经提到。

- 处处可导：反向传播时需要计算激活函数的偏导数，所以要求激活函数除个别点外，处处可导。

- 单调性：当激活函数是单调的时候，单层网络能够保证是凸函数。

- 输出值的范围： 当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是无限的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的learning rate.

layer {
name: "relu1"
type: "ReLU"
bottom: "ip1"
top: "ip1"
}

softmax层

Softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，待分类的类别数量大于2，且类别之间互斥。

Softmax公式：



通常情况下softmax会被用在网络中的最后一层，用来进行最后的分类和归一化。