LibLinear（SVM包）使用说明之（二）MATLAB接口

LibLinear（SVM包）使用说明之（二）MATLAB接口zouxy09@qq.comhttp://blog.csdn.net/zouxy09
一、介绍
LIBLINEAR是一个简单的求解大规模规则化线性分类和回归的软件包。本文介绍在Matlab中如何使用该软件包。(http://www.csie.ntu.edu.tw/~cjlin/liblinear)

二、安装
在Windows系统中，预编译好的可执行文件在..\windows目录下。但我们提供的是64bit的，如果你的电脑是32bit的，则需要按照下面的步骤重新编译：
我们建议使用make.m来编译。直接在MATLAB or Octave中运行make即可在当前目录生成四个文件：'libsvmread.mex', 'libsvmwrite.mex', 'train.mex', 和'predict.mex'。
On MATLAB or Octave:
>> make
如果在MATLAB中，make.m出错了，可以尝试运行'mex -setup'来给mex选择一个合适的编译器。需要先确定你的编译器是可用的。
在Unix系统，如果make.m和mex -setup都无效，请用Makefile。注意我们的MATLAB是安装在'/usr/local/matlab'中的。如果不是的话，需要在Makefile的MATLABDIR改为我们matlab的安装目录。

三、用法
1、训练
matlab> model = train(training_label_vector, training_instance_matrix [,'liblinear_options', 'col']);
参数如下：
-training_label_vector：
训练样本的标签，mx1向量。注意必须是double类型。
-training_instance_matrix：
训练样本，mxn矩阵。每个样本为n维。它必须是稀疏的，而且必须是double类型。
-liblinear_options:
字符串格式的训练选项，格式和LIBLINEAR 一样。
-col:
如果设置了'col'，training_instance_matrix的每一列是一个样本。否则每个行是一个样本。
注意：这里好像只接受两个字符串的参数。所以传多个参数的时候，要按以下的方式来传，例如：（predict函数同样）
train(train_Y, train_X, '-c 1 -v 5', ' col'); //正确
train(train_Y, train_X, '-c 1’, ‘ -v 5', ' col'); //错误
train(train_Y, train_X, ' col'); //错误
train(train_Y, train_X, ' ', ' col'); //正确

2、测试
matlab> [predicted_label, accuracy, decision_values/prob_estimates] = predict(testing_label_vector, testing_instance_matrix, model [, 'liblinear_options', 'col']);
参数如下：
-testing_label_vector:
测试样本的标签，mx1向量。如果未知，那么就简单使用随机值。注意必须是double类型。
-testing_instance_matrix:
训练样本，mxn矩阵。每个样本为n维。它必须是稀疏的，而且必须是double类型。
-model:
训练得到的模型。
-liblinear_options:
字符串格式的测试选项，格式和LIBLINEAR 一样。
-col:
如果设置了'col'，training_instance_matrix的每一列是一个样本。否则每个行是一个样本。

四、返回的模型结构
train函数会返回一个模型，这样我们可以用以未来的预测。模型是以结构形式保存的，组织为[Parameters, nr_class, nr_feature, bias, Label, w]:
-Parameters: 参数
-nr_class:类的个数，如果是回归，那么这个数是2.
-nr_feature: 训练数据的样本维数（不包括bias项）。
-bias: 如果bias >= 0，我们会在每个样本的最后添加一个额外的特征。
-Label: 每个类的标签，对回归来说，为空。
-w: 一个 nr_w x n权值矩阵。n是nr_feature（特征维数）或者nr_feature+1（存在bias项时）。如果nr_class=2，并且-s不是4（不是Crammer and Singer的多类SVM），那么nr_w是1，对于其他情况，nr_w等于nr_class。
如果指定了-v，那么就是交叉校验模式，返回的模型就是一个标量，对于分类器来说就是交叉校验的准确率，对回归来说，是均方误差。

五、预测结果
函数predict有三个输出。第一个是预测的标签构成的向量predicted_label。第二个输出是准确率，是一个包含准确率（对分类来说），均方误差和平方相关系数（对回归来说）的向量。第三个是一个包含决策值或者概率值（如果指定了'-b 1'）的矩阵。如果k是类的数目，k’是分类器的数目（如果 k=2那 k'=1，否则k'=k），那对决策值矩阵，每行包括k’个二分类器的结果。对概率值矩阵，每行包括k个值，分别表示测试样本为为各类的概率值。注意的是，类的序列在这里和模型结构中的'Label'的域是一样的。

六、其他工具
[label_vector, instance_matrix] = libsvmread('data.txt');
Libsvmread函数可以读LIBSVM格式的文件。两个输出分别是标签labels 和样本集 instances，它们可以作为svmtrain 或者 svmpredict的输入。

libsvmwrite('data.txt', label_vector, instance_matrix]
libsvmwrite可以将参数以LIBSVM的格式写到文件中。instance_matrix必须是个稀疏矩阵。类型必须是double型。对windows，`libsvmread.mexw64' 和 `libsvmwrite.mexw64' 经编译后已经躺在目录`..\windows'下了。

七、例子
我们提供了数据heart_scale供训练和测试。
matlab> [heart_scale_label, heart_scale_inst] = libsvmread('../heart_scale'); %读数据
matlab> model = train(heart_scale_label, heart_scale_inst, '-c 1'); %训练
matlab> [predict_label, accuracy, dec_values] = predict(heart_scale_label, heart_scale_inst, model); %测试
对概率估计，需要在测试阶段加上选项'-b 1'：
matlab> [predict_label, accuracy, prob_estimates] = predict(heart_scale_label, heart_scale_inst, model, '-b 1');
需要注意的是，上面的指令的运行需要我们确认我们所在的目录，和那些mex文件所在的目录。我们也可以在Matlab目录下新建一个test_heart_scale.m 文件：
clear; clc;
tic;
[heart_scale_label, heart_scale_inst] = libsvmread('../heart_scale'); %读数据
model = train(heart_scale_label, heart_scale_inst, '-c 1'); %训练
[predict_label, accuracy, dec_values] = predict(heart_scale_label, heart_scale_inst, model); %测试
toc;
运行上述文件，输出：
.......*
optimization finished, #iter = 71
Objective value = -121.108744
nSV = 194
Accuracy = 84.0741% (227/270)
Elapsed time is 0.006373 seconds.
好快啊！！！