DL学习笔记【8】caffe参数调节-激活函数层

转自：http://www.cnblogs.com/lutingting/p/5240688.html

在caffe中，网络的结构由prototxt文件中给出，由一些列的Layer（层）组成，常用的层如：数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等；本篇主要介绍激活函数层

 

1. 激活函数层总述

下面首先给出激活函数层的结构设置的一个小例子（定义在.prototxt文件中） 

layer {
name: "relu1"  //该层名称
type: "ReLU"   //激活函数类型
bottom: "conv1" //该层输入数据blob
top: "conv1"  //该层输出数据blob
}

注意：activation是一种element-wise的操作，所以，可以做in-place来节约内存，通过给bottom blob和top blon相同的名字来实验

2. 可选激活函数类型

type:"Sigmoid":f(x)=1/(1+e(-x))

type:"ReLu":f(x)=max(x,0)

type:"AbsVal":f(x)=abs(x)

type:"TanH":f(x)=[e(x)-e(-x)]/[e(x)+e(-x)]

type:"BNLL":f(x)= (shift + scale * x) ^ power

type:"Power":f(x)=log(1 + exp(x))

 参考：caffe tutorial