在caffe中添加新的layer

深度学习交流QQ群：116270156


Caffe 中有很多的layer，最新版本的代码已经涵盖了很多种类型的layer，然而，有时候由于各种原因，其给定的layer不能满足我们的要求，这时候就要对其更改，以使其满足自己的需求，感谢作者开源代码以及众多的代码维护者。

由于Caffe 中的layer都是直接或者间接地继承Layer 基类，所以，在我们需要添加新的类型时，就需要选择好自己的基类，以使我们能够更好的利用基类已有的一些方法。我们新建的类可以基于 

1. 直接继承于Layer 

2. 继承于DataLayer 

3. 继承于NeuronLayer 

4. 继承于LossLayer 

5. 或者如果是直接想改进某个层的代码，可以直接继承该类，并做相对应的修改即可。

具体步骤：

第一步， 添加头文件.h ,可以自己新建一个头文件，或者追加到一个已有的头文件后面，比如include/DataLayer.hpp 等, 在里面定义一些类变量等。

包括

type

的内联实现方法覆盖

virtual
inline const char* type() const { return "YourLayerName"; }

，将

YourLayerName

替换为你的层名称。
实现

{*} Blobs()

方法来指定blob数量要求； 参阅

/caffe/include/caffe/layers.hpp

以使用内联

{*}
Blobs()

方法强制执行top和bottom Blob计数。
如果你只实现CPU代码，则省略

* _gpu声明

。

第二步，添加实现文件，创建类的实现函数，放在src/XXX.cpp 中，如果有cuda实现，则需要添加相对应的.cu文件实现，主要需要写LayerSetup ，reshape ，forward ，backup 函数。

（可选）用于一次性初始化的

LayerSetUp

：读取参数，固定大小的分配等。

Reshape

用于计算top blob的大小，分配缓冲区以及取决于bottom blob的形状的任何其它工作。

Forward_cpu

用于层的计算

Backward_cpu

用于其反向梯度传播（可选 - 图层可以是仅向前传播）
（可选）在

layers/your_layer.cu

中实现GPU版本

Forward_gpu

和

Backward_gpu

。

第三步， 注册类，我们可以通过以下两种方式来注册一个Layer：

只有一个构造函数

如果这个Layer只能通过它的构造函数来创建的话，在对应的src/XXX.cpp文件里面加入以下行就行：

INSTANTIATE_CLASS(MyLayer);

REGISTER_LAYER_CLASS(My);

 

有可选的构造函数

如果这个Layer还可以通过另外一个如下形式的构造函数构造：

template <typename Dtype>
Layer<Dtype*> GetMylaer(const LayerParameter& param) {
// your implementation
}

具体可以参考GetConvolutionLayer，Layer_factory.cpp。

这种情况下，我们在Layer_factory.cpp中可以通过注册构造函数的方式来进行Layer的注册：

REGISTER_LAYER_CREATOR(MyLayer, GetMyLayer)

以上是layer_factory要做的事情。

注意，应该将注册代码放在自己的cpp文件中，因此实现层是自包含的。

或者，如果您的图层有多个engines，也可以注册Creator。 示例见：

caffe/layer_factory.cpp

中的

GetConvolutionLayer

。

第四步，在src/caffe/proto/caffe.proto 文件中，添加对应的类以及类参数。 

在enum LayerType {}中添加一行

enum LayerType {
MYLAYER = ID
}
//其中MYLAYER 是新添加的类名，ID是类编号，注意不能跟之前的重复。

1
2
3
4

再添加类参数

optional MylayerParameter mylayer_param = ID2;
//其中MylayerParameter 是网络层参数，ID2 是ID

1
2

最后定义类参数

message MylayerParameter {
optional uint32 myparam1 = 1;
optional bool myparam2 = 2 [default = true];
}

1
2
3
4

第五步，写测试文件，这个是可选的，不过为了合并到github中，需要测试通过。

在

test/test_your_layer.cpp

中写入测试。 使用

test/test_gradient_check_util.hpp

来检查Forward和Backward。
参考：http://blog.csdn.net/happyflyy/article/details/54866037