深度学习之Caffe（一） 用c++接口提取特征后用SVM分类

深度学习之Caffe（一） 用c++接口提取特征后用SVM分类

转载请私信联系博主，未经同意请勿转载。

最近因为老师的要求接触了一点深度学习和caffe的东西，其中一个task是用ResNet网络将数据集的特征提取出来然后用SVM做分类。作为一个刚接触深度学习和caffe而且编程能力超级薄弱的小白，真的是各种懵。借鉴了一些博客，下面也会贴出来。

目录如下：

准备工作之 现成的模型 和 网络

用caffe提供的c++接口提取特征

将提出的特征转换成Matlab的.mat格式

用SVM（LibSVM）做分类

准备工作之 现成的模型 和 网络

本次提特征用的是ResNet50层的网络（网址链接https://github.com/KaimingHe/deep-residual-networks）和已经训练好的模型（模型链接https://onedrive.live.com/?authkey=%21AAFW2-FVoxeVRck&id=4006CBB8476FF777%2117887&cid=4006CBB8476FF777）。

微软的网盘似乎上不了，要在host里面加路径啥的，这里就自行百度吧。

拿到的网络是deploy.prototxt，为了分别用它提取训练集和测试集的特征，需要在前面加上data layer，分别做两个.prototxt，以备提特征的时候用。

用caffe提供的c++接口提取特征

在caffe路径下，./examples/feature_extraction/文件夹下有个readme，给出了特征提取的使用示例：

./build/tools/extract_features.bin models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel examples/_temp/imagenet_val.prototxt fc7 examples/_temp/features 10 leveldb

'fc7'是提取特征的层，也是样例模型的最高层，也可以用其它层提取。

'leveldb'是存储特征的格式，本次实验我用的是lmdb格式。

'examples/_temp/features'是存储特征的路径，注意如果保存成lmdb格式的话，**路径必须事先不存在**，不然会报错。

'10'是batch number，和batch size相乘须为提取特征的总图片数，不然好像会重复之前的图片还是怎样，有博主写到，没有试过。batch size不能设置过大，不然会out of memory，这个根据自己的机子调整就ok。

'imagenet_val.prototxt'是提特征的网络，SVM需要训练集和测试集的特征，所以我们这里要分开求，要用两个网络。

提取lmdb类型的会得到这样的文件夹



里面是这样的



这一步就完成了。

将提出的特征转换成Matlab的.mat格式

这边是借鉴了这篇博客http://m.blog.csdn.net/article/details?id=48180331的方法，十分感谢这位博主！

参考 http://www.cnblogs.com/platero/p/3967208.html 和 lmdb的文档https://lmdb.readthedocs.org/en/release，读取lmdb文件，然后转换成mat文件，再用matlab调用mat进行可视化。
安装CAFFE的python依赖库，并使用以下两个辅助文件把lmdb转换为mat。

./feat_helper_pb2.py

# Generated by the protocol buffer compiler.  DO NOT EDIT!

from google.protobuf import descriptor
from google.protobuf import message
from google.protobuf import reflection
from google.protobuf import descriptor_pb2

# @@protoc_insertion_point(imports)

DESCRIPTOR = descriptor.FileDescriptor(
name='datum.proto',
package='feat_extract',
serialized_pb='\n\x0b\x64\x61tum.proto\x12\x0c\x66\x65\x61t_extract\"i\n\x05\x44\x61tum\x12\x10\n\x08\x63hannels\x18\x01 \x01(\x05\x12\x0e\n\x06height\x18\x02 \x01(\x05\x12\r\n\x05width\x18\x03 \x01(\x05\x12\x0c\n\x04\x64\x61ta\x18\x04 \x01(\x0c\x12\r\n\x05label\x18\x05 \x01(\x05\x12\x12\n\nfloat_data\x18\x06 \x03(\x02')

_DATUM = descriptor.Descriptor(
name='Datum',
full_name='feat_extract.Datum',
filename=None,
file=DESCRIPTOR,
containing_type=None,
fields=[
descriptor.FieldDescriptor(
name='channels', full_name='feat_extract.Datum.channels', index=0,
number=1, type=5, cpp_type=1, label=1,
has_default_value=False, default_value=0,
message_type=None, enum_type=None, containing_type=None,
is_extension=False, extension_scope=None,
options=None),
descriptor.FieldDescriptor(
name='height', full_name='feat_extract.Datum.height', index=1,
number=2, type=5, cpp_type=1, label=1,
has_default_value=False, default_value=0,
message_type=None, enum_type=None, containing_type=None,
is_extension=False, extension_scope=None,
options=None),
descriptor.FieldDescriptor(
name='width', full_name='feat_extract.Datum.width', index=2,
number=3, type=5, cpp_type=1, label=1,
has_default_value=False, default_value=0,
message_type=None, enum_type=None, containing_type=None,
is_extension=False, extension_scope=None,
options=No
4000
ne),
descriptor.FieldDescriptor(
name='data', full_name='feat_extract.Datum.data', index=3,
number=4, type=12, cpp_type=9, label=1,
has_default_value=False, default_value="",
message_type=None, enum_type=None, containing_type=None,
is_extension=False, extension_scope=None,
options=None),
descriptor.FieldDescriptor(
name='label', full_name='feat_extract.Datum.label', index=4,
number=5, type=5, cpp_type=1, label=1,
has_default_value=False, default_value=0,
message_type=None, enum_type=None, containing_type=None,
is_extension=False, extension_scope=None,
options=None),
descriptor.FieldDescriptor(
name='float_data', full_name='feat_extract.Datum.float_data', index=5,
number=6, type=2, cpp_type=6, label=3,
has_default_value=False, default_value=[],
message_type=None, enum_type=None, containing_type=None,
is_extension=False, extension_scope=None,
options=None),
],
extensions=[
],
nested_types=[],
enum_types=[
],
options=None,
is_extendable=False,
extension_ranges=[],
serialized_start=29,
serialized_end=134,
)

DESCRIPTOR.message_types_by_name['Datum'] = _DATUM

class Datum(message.Message):
__metaclass__ = reflection.GeneratedProtocolMessageType
DESCRIPTOR = _DATUM

# @@protoc_insertion_point(class_scope:feat_extract.Datum)

# @@protoc_insertion_point(module_scope)

./lmdb2mat.py

import lmdb
import feat_helper_pb2
import numpy as np
import scipy.io as sio
import time

def main(argv):
lmdb_name = sys.argv[1]
print "%s" % sys.argv[1]
batch_num = int(sys.argv[2]);
batch_size = int(sys.argv[3]);
window_num = batch_num*batch_size;

start = time.time()
if 'db' not in locals().keys():
db = lmdb.open(lmdb_name)
txn= db.begin()
cursor = txn.cursor()
cursor.iternext()
datum = feat_helper_pb2.Datum()

keys = []
values = []
for key, value in enumerate( cursor.iternext_nodup()):
keys.append(key)
values.append(cursor.value())

ft = np.zeros((window_num, int(sys.argv[4])))
for im_idx in range(window_num):
datum.ParseFromString(values[im_idx])
ft[im_idx, :] = datum.float_data

print 'time 1: %f' %(time.time() - start)
sio.savemat(sys.argv[5], {'feats':ft})
print 'time 2: %f' %(time.time() - start)
print 'done!'

if __name__ == '__main__':
import sys
main(sys.argv)

前面两个文档都不用改，直接贴到.py文件里，然后运行如下.sh就行了。

#!/usr/bin/env sh
LMDB=./examples/_temp/features_fc7 # lmdb文件路径
BATCHNUM=1
BATCHSIZE=10
# DIM=290400 # feature长度，conv1
# DIM=43264 # conv5
DIM=4096
OUT=./examples/_temp/features_fc7.mat #mat文件保存路径
python ./lmdb2mat.py $LMDB $BATCHNUM $BATCHSIZE $DIM $OUT

‘BATCHNUM’和‘BATCHSIZE’就是提特征的时候的batch的数目和大小。

‘DIM’是特征的维度，这个要自己计算，可以用命令查看某一层网络数据参数，然后第一位是batchsize，把剩下几位（一般还剩一位或三位）乘起来就ok了。

用SVM（LibSVM）做分类

终于来到了用SVM做分类，不过时间有限我还是没能学会用SVM做multilabel分类，于是我就只能分别对每个label分类求精度然后取平均值了，这样可能不太科学。
NUS-WIDE是81个concept所以算81次精度，代码贴在下面。

clear
clc

addpath D:\dpTask\NUS-WIDE\NUS-WIDE-Lite

TrainLabels=importdata('TrainLabels_Lite.mat');
TestLabels=importdata('TestLabels_Lite.mat');
trfeatures = importdata('train.mat');
trfeatures_sparse = sparse(trfeatures); % features must be in a sparse matrix
tefeatures = importdata('test.mat');
tefeatures_sparse = sparse(tefeatures); % features must be in a sparse matrix

for la=1:81
%获取libsvm格式数据
fprintf('iter=%d,processing data ...\n',la);
tic;
trlabel = TrainLabels(:,la);
telabel = TestLabels(:,la);
libsvmwrite('SVMtrain.txt', trlabel, trfeatures_sparse);
libsvmwrite('SVMtest.txt', telabel, tefeatures_sparse);
toc;

%用libsvm进行训练
fprintf('iter=%d,libsvm training ...\n',la);
tic;
[train_label,train_feature] = libsvmread('SVMtrain.txt');
model = svmtrain(train_label,train_feature,'-h 0');
fprintf('Model got!\n');
%model = svmtrain(train_label,train_feature,'-c 2.0 -g 0.00048828125');这个是带参数的
[test_label,test_feature] = libsvmread('SVMtest.txt');
[predict_label,accur,score] = svmpredict(test_label,test_feature,model);
fprintf('Prediction Done!\n');
toc;

label(:,la) = predict_label;
accuracy(la) = accur(1);
fprintf('iter=%d,acurracy=%d\n',la,accur(1));
name=sprintf('result/accuracy.txt');
fid = fopen(name,'at');
fprintf(fid,'No.%d\t%f\n',la,accur(1));
fclose(fid);
end

直接用的默认参数没有寻优，有需要的小伙伴可以grid.py寻优一下，或者直接easy.py跑整个实验。

可以参考的资料：

[1] http://m.blog.csdn.net/article/details?id=48180331

[2] http://www.cnblogs.com/jeffwilson/p/5122495.html?utm_source=itdadao&utm_medium=referral

这个是用matlab接口提特征的

[3] http://www.cnblogs.com/denny402/p/5686257.html

这个里面有查看各层参数的代码