Caffe源码解读（二）：Blob类的源码解读

Blob类定义在Include/Caffe/Blob.h中定义，而成员函数的实现在Src/Caffe/Blob.cpp中。

作用

Caffe 使用 blobs 结构来存储、交换和处理网络中正向和反向迭代时的数据和导数信息: blob 是 Caffe 的标准数组结构,它提供了一个统一的内存接口。blobs还具备在 CPU 与 GPU 之间具有同步处理能力。

Blob实现原理

blob本质上是一个连续存储的N维数组。blob为不同类型的数据提供统一的内存接口，比如批量图像数据、模型参数以及优化的导数。

以图像举例，blob 常规的维数为图像数量 N 通道数 K 图像高度 H *图像宽度 W。

Blob类的成员变量

protected:
shared_ptr<SyncedMemory> data_;//存储网络中传送的普通数据
shared_ptr<SyncedMemory> diff_;//存储通过计算得到的梯度
shared_ptr<SyncedMemory> shape_data_;//存储blob数据空间的维度，比如图像数据N、K、H、W。
vector<int> shape_;//作用同shape_data_，这里采用向量的形式
int count_;//Blob的数据大小，即shape_各个元素相乘。比如图像数据大小为N*K*H*W
int capacity_;//Blob的数据内存空间容量capacity_，必须大于等于count_

shared_ptr是C++11标准，shared_ptr的作用有如同指针，但会记录有多少个shared_ptrs共同指向一个对象，引用计数变为0时自动被销毁。SyncedMemory在 Syncedmem.cpp中定义。

data_和diff_共享了内存同步类智能指针。

Blob类的成员函数

Blob类常用的成员函数，那些简单易懂的就不列出了。

num_axes()

inline int num_axes() const { return shape_.size(); }

作用：是返回数据有几个维度，例如图像就是N、K、H、W四个维度，返回4。

axes是“轴”的意思。“轴”在这里可以理解为维度位置，比如H的轴为2。

count()

inline int count(int start_axis, int end_axis);

作用：计算从start_axis轴到end_axis轴的数据维度之积。比如图像数据count(1,3)就是计算K×H。

重载函数inline int count(int start_axis) ，是计算从start_axis轴到最后一个轴的维度之积。

CanonicalAxisIndex()

inline int CanonicalAxisIndex(int axis_index) const {
if (axis_index < 0) {
return axis_index + num_axes();
}
return axis_index;
}

作用：指定一个典范轴，以典范轴为单位处理数据。比如图像数据N*K*H*W，一般指定K为典范轴，因为图片要一张一张处理，而K*H*W就是一张图片的数据。

num() channels() height() width()

作用：分别返回N、K、H、W的大小。

offset()

作用：计算指定的位置举例数据起始位置的偏移量。

data() diff()

作用：返回data_和diff_

cpu_data()

template <typename Dtype>
const Dtype* Blob<Dtype>::cpu_data() const {
CHECK(data_);
return (const Dtype*)data_->cpu_data();//data
}

功能：返回data_的数据，data_是SyncedMemory类型的shared_ptr，不可变的数据，forward时使用。

const void* SyncedMemory::cpu_data() {
to_cpu();
return (const void*)cpu_ptr_;
}

set_cpu_data()

void Blob<Dtype>::set_cpu_data(Dtype* data) {
CHECK(data);
data_->set_cpu_data(data);
}

功能：把data设置为cpu_data的地址。

mutable_cpu_data()

Dtype* Blob<Dtype>::mutable_cpu_data() {
CHECK(data_);
return static_cast<Dtype*>(data_->mutable_cpu_data());
}

功能：返回mutable_cpu_data地址，可变的数据，在更新权值等操作时使用。

Update()

功能：实现了data=data-diff操作。在CNN更新权值时会用到。

CopyFrom()

void Blob<Dtype>::CopyFrom(const Blob& source, bool copy_diff, bool reshape);

功能：从source 拷贝数据 ， copy_diff控制是拷贝diff还是data

FromProto()

void Blob<Dtype>::FromProto(const BlobProto& proto, bool reshape);

功能：该函数主要是将权值矩阵从caffemodel中读出来。

ToProto()

void Blob<double>::ToProto(BlobProto* proto, bool write_diff) const;

功能：该函数定义了如何将网络训练的权值参数保存进caffemodel中，比如是否将diff_保存进caffemodel中。

blob.h中的头文件

caffe.pb.h：是google protocol buffer根据caffe.proto自动生成的，可以到src/caffe/proto/caffe.proto里看下caffe里面用到的各个数据的定义，比如BlobProto，Datum，NetParameter等。使用这个protocol buffer看起来确实方便，一方面可以用文本文件定义结构化的数据类型，另一方面可以生成查询效率更高、占空间更小的二进制文件

common.hpp：主要singleton化Caffe类，并封装了boost和CUDA随机数生成的函数，提供了统一的接口。

syncedmem.hpp：定义了以下的接口：

inline void CaffeMallocHost(void** ptr, size_t size)

inline void CaffeFreeHost(void* ptr)

主要是分配内存和释放内存的。而class SyncedMemory定义了内存分配管理和CPU与GPU之间同步的函数。