DL学习笔记【9】caffe参数调节-全连接层
2016-07-26 13:27
411 查看
转自:http://www.cnblogs.com/lutingting/p/5240714.html
在caffe中,网络的结构由prototxt文件中给出,由一些列的Layer(层)组成,常用的层如:数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等;本篇主要介绍全连接层
该层是对元素进行wise to wise的运算
下面首先给出全连接层的结构设置的一个小例子(定义在.prototxt文件中)
接下来,分别对全连接层的相关参数进行说明
(根据全连接层层的定义,它的学习参数应该为权值和bias,其他的相关参数都为hyper-paramers,在定义模型时是要给出的)
注:全链接层其实也是一种卷积层,只不过卷积核大小与输入图像大小一致
放置在param{}中
该系数用来控制学习率,在进行训练过程中,该层参数以该系数乘solver.prototxt配置文件中的base_lr的值为学习率
即学习率=lr_mult*base_lr
如果该层在结构配置文件中有两个lr_mult,则第一个表示权值学习率系数,第二个表示偏执项的学习率系数(一般情况下,偏执项的学习率系数是权值学习率系数的两倍)
放置在inner_product_param{}中
该部分对内积层的其他参数进行设置,有些参数为必须设置,有些参数为可选(因为可以直接使用默认值)
weight_filter{
type:"xavier" //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
}
bias_filter:偏执项初始化方法
bias_filter{
type:"xavier" //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
}
bias_term:是否使用偏执项,默认值为Ture
在caffe中,网络的结构由prototxt文件中给出,由一些列的Layer(层)组成,常用的层如:数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等;本篇主要介绍全连接层
该层是对元素进行wise to wise的运算
1. 全连接层总述
下面首先给出全连接层的结构设置的一个小例子(定义在.prototxt文件中) layer { name: "fc6" type: "InnerProduct" bottom: "pool5" top: "fc6" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2 decay_mult: 0 } inner_product_param { num_output: 4096 weight_filler { type: "gaussian" std: 0.005 } bias_filler { type: "constant" value: 0.1 } } }
2. 全连接层相关参数
接下来,分别对全连接层的相关参数进行说明(根据全连接层层的定义,它的学习参数应该为权值和bias,其他的相关参数都为hyper-paramers,在定义模型时是要给出的)
注:全链接层其实也是一种卷积层,只不过卷积核大小与输入图像大小一致
lr_mult:学习率系数
放置在param{}中该系数用来控制学习率,在进行训练过程中,该层参数以该系数乘solver.prototxt配置文件中的base_lr的值为学习率
即学习率=lr_mult*base_lr
如果该层在结构配置文件中有两个lr_mult,则第一个表示权值学习率系数,第二个表示偏执项的学习率系数(一般情况下,偏执项的学习率系数是权值学习率系数的两倍)
inner_product_param:内积层的其他参数
放置在inner_product_param{}中该部分对内积层的其他参数进行设置,有些参数为必须设置,有些参数为可选(因为可以直接使用默认值)
必须设置的参数
num_output:filter个数其他可选的设置参数
weight_filter:权值初始化方法,使用方法如下weight_filter{
type:"xavier" //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
}
bias_filter:偏执项初始化方法
bias_filter{
type:"xavier" //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
}
bias_term:是否使用偏执项,默认值为Ture
参考:caffe tutorial
相关文章推荐
- Some Notes of Caffe Installation
- Some Notes of Python Interfaces Pycaffe (Caffe)
- TensorFlow人工智能引擎入门教程之十二 Caffe转换tensorflow并 跨平台调用
- TensorFlow人工智能引擎入门教程所有目录
- 安装caffe过程记录
- py-faster-rcnn训练笔记(ubuntu14.04+cuda7.5+cuDNNv3+Python2.7)
- 准确率, 召回率,mAP
- ubuntu 14.04上配置无GPU的Caffe(A卡机适用)
- caffe term: epoch, itr
- Ubuntu14.04 安装Caffe(仅CPU)
- deep learning for face detection (caffe C++)
- caffe+ubuntu14.04
- caffe中的iteration,batch_size, epochs理解
- Mac下Caffe安装-无GPU
- caffe solver.prototxt文件
- caffe模型的使用
- 为 Caffe 添加新的 DataLayer
- error :No module named google.protobuf.internal
- Extract CNN features using Caffe
- 配置Caffe+VS2013+CUDA 6.5+Windows 8.1 64位系统