opencv2-支持向量机之SVM引导
2015-10-19 17:01
295 查看
opencv2-支持向量机之SVM引导
分类器，分类器是一种计算机程序。
他的设计目标是在通过学习后，可自动将数据分到已知类别。
平面线性分类器
一个简单的分类问题，如图有一些圆圈和一些正方形，如何找一条最优的直线将他们分开？
我们可以找到很多种方法画出这条直线，但怎样的直线才是最优的呢？
距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。 因此我们的目标是找到一条直线，离最近的点距离最远。
怎么寻找距离最远的直线？枚举所有直线，然后计算其样本最小距离？这样显然不是一个好办法，这将产生大量的计算开销。
我们利用另一种方法，对直线的正负偏移量1，这样就产生了一个区域（下图的Maximum margin覆盖的区域），区域边界上的点到直线的距离是固定的，现在的问题是最近的点是否刚好在边界上或者在边界外。
还记得点到线的公式么？对于直线Ax＋By＋C＝0，点（x0, y0）到直线的距离：
distance = |Ax0+By0+C| / (A2 + B2)1/2
那么区域边缘到直线的距离：
distance = (|Ax+By+C| + 1)/ (A2 + B2)1/2 = 1/ (A2 + B2)1/2。
并需要满足对于所有样本类别yi 满足：yi (Ax+By+C) > = 1，也就是所有样本都不在该区域以内。
于是我们可以找到适当的A、B、C，从而得到：
Maximum margin = 2/ (A2 + B2)1/2。
超平面推广
同理，我们将这一定理推广到任意维度。其超平面表达式为：
f(x) = \beta_{0} + \beta^{T} x,
一维是线、二维是面、三维是体……四维呢？五维呢？好吧统称超平面吧……
其中 \beta 叫做 权重向量 ， \beta_{0} 叫做 偏置向量。
用这种表达式来表达线Ax+By+C = 0的话，可以这么表示：
f(x) = (C, 0) + (A, B)T (x, y);
其中(C, 0) 是偏置向量 \beta_{0}，(A, B)是权重向量 \beta。
由于最优超平面可以有很多种表达方式，我们定义：
β0 + βTx = 0，
为最优超平面表达式。于是我们可以得到他的Maximum margin区域边界表达式应该为：
|\beta_{0} + \beta^{T} x| = 1
我们称在这边界上的点为：支持向量（Supper Vector）。
因为点到超平面距离公式为：
\mathrm{distance} = \frac{|\beta_{0} + \beta^{T} x|}{||\beta||}.
在边界上，即支持向量到超平面距离：
\mathrm{distance}_{\text{ support vectors}} = \frac{|\beta_{0} + \beta^{T} x|}{||\beta||} = \frac{1}{||\beta||}.
所以Maximum margin为两倍距离，即：
M = \frac{2}{||\beta||}
将M求倒数1/M 则可将求最大转换成求最小。于是有：
\min_{\beta, \beta_{0}} L(\beta) = \frac{1}{2}||\beta||^{2} \text{ subject to } y_{i}(\beta^{T} x_{i} + \beta_{0}) \geq 1 \text{ } \forall i,
其中 y_{i} 表示样本的类别标记。
这是一个拉格朗日优化问题，可以通过拉格朗日乘数法得到最优超平面的权重向量 \beta 和偏置 \beta_{0} 。
什么是SVM
支持向量机 (SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。 换句话说，给定一些标记好的训练样本 （监督式学习），SVM算法输出一个最优化的分隔超平面。
1995年Cortes和Vapnik于首先提出SVM，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
下面是一个应用程序。
//-----------------------------------【ShowHelpText( )函数】----------------------------------
// 描述：输出一些帮助信息
//----------------------------------------------------------------------------------------------
void ShowHelpText()
{
//输出欢迎信息和OpenCV版本
printf("\n\n\t\t\t非常感谢购买《OpenCV3编程入门》一书！\n");
printf("\n\n\t\t\t此为本书OpenCV2版的第12个配套示例程序\n");
printf("\n\n\t\t\t 当前使用的OpenCV版本为：" CV_VERSION );
printf("\n\n ----------------------------------------------------------------------------\n");
}
//-----------------------------------【main( )函数】--------------------------------------------
// 描述：控制台应用程序的入口函数，我们的程序从这里开始
//-------------------------------------------------------------------------------------------------
int main()
{
// 视觉表达数据的设置（Data for visual representation）
int width = 512, height = 512;
Mat image = Mat::zeros(height, width, CV_8UC3);
//建立训练数据（ Set up training data）
float labels[4] = {1.0, -1.0, -1.0, -1.0};
Mat labelsMat(3, 1, CV_32FC1, labels);
float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };
Mat trainingDataMat(3, 2, CV_32FC1, trainingData);
ShowHelpText();
//设置支持向量机的参数（Set up SVM's parameters）
CvSVMParams params;
params.svm_type = CvSVM::C_SVC;
params.kernel_type = CvSVM::LINEAR;
params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);
// 训练支持向量机（Train the SVM）
CvSVM SVM;
SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
Vec3b green(0,255,0), blue (255,0,0);
//显示由SVM给出的决定区域 （Show the decision regions given by the SVM）
for (int i = 0; i < image.rows; ++i)
for (int j = 0; j < image.cols; ++j)
{
Mat sampleMat = (Mat_<float>(1,2) << i,j);
float response = SVM.predict(sampleMat);
if (response == 1)
image.at<Vec3b>(j, i) = green;
else if (response == -1)
image.at<Vec3b>(j, i) = blue;
}
//显示训练数据 （Show the training data）
int thickness = -1;
int lineType = 8;
circle( image, Point(501, 10), 5, Scalar( 0, 0, 0), thickness, lineType);
circle( image, Point(255, 10), 5, Scalar(255, 255, 255), thickness, lineType);
circle( image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType);
circle( image, Point( 10, 501), 5, Scalar(255, 255, 255), thickness, lineType);
//显示支持向量 （Show support vectors）
thickness = 2;
lineType = 8;
int c = SVM.get_support_vector_count();
for (int i = 0; i < c; ++i)
{
const float* v = SVM.get_support_vector(i);
circle( image, Point( (int) v[0], (int) v[1]), 6, Scalar(128, 128, 128), thickness, lineType);
}
imwrite("result.png", image); // 保存图像
imshow("SVM Simple Example", image); // 显示图像
waitKey(0);
}
前面，我有3篇关于svm的博文，做了很详细的解说。现在，是结合opencv的应用。
（1）设置SVM的参数：
首先，是关于CvSVMParams这个结构体。
struct CV_EXPORTS_W_MAP CvSVMParams
{
CvSVMParams();
CvSVMParams( int _svm_type, int _kernel_type,
double _degree, double _gamma, double _coef0,
double Cvalue, double _nu, double _p,
CvMat* _class_weights, CvTermCriteria _term_crit );
CV_PROP_RW int svm_type;
CV_PROP_RW int kernel_type;
CV_PROP_RW double degree; // for poly
CV_PROP_RW double gamma; // for poly/rbf/sigmoid
CV_PROP_RW double coef0; // for poly/sigmoid
CV_PROP_RW double C; // for CV_SVM_C_SVC, CV_SVM_EPS_SVR and CV_SVM_NU_SVR
CV_PROP_RW double nu; // for CV_SVM_NU_SVC, CV_SVM_ONE_CLASS, and CV_SVM_NU_SVR
CV_PROP_RW double p; // for CV_SVM_EPS_SVR
CvMat* class_weights; // for CV_SVM_C_SVC
CV_PROP_RW CvTermCriteria term_crit; // termination criteria
};
svm_type –指定SVM的类型，下面是可能的取值：
CvSVM::C_SVC C类支持向量分类机。 n类分组 (n \geq 2)，允许用异常值惩罚因子C进行不完全分类。
CvSVM::NU_SVC \nu类支持向量分类机。n类似然不完全分类的分类器。参数为 \nu 取代C（其值在区间【0，1】中，nu越大，决策边界越平滑）。
CvSVM::ONE_CLASS 单分类器，所有的训练数据提取自同一个类里，然后SVM建立了一个分界线以分割该类在特征空间中所占区域和其它类在特征空间中所占区域。
CvSVM::EPS_SVR \epsilon类支持向量回归机。训练集中的特征向量和拟合出来的超平面的距离需要小于p。异常值惩罚因子C被采用。
CvSVM::NU_SVR \nu类支持向量回归机。 \nu 代替了 p。
可从 [LibSVM] 获取更多细节。
kernel_type –SVM的内核类型，下面是可能的取值：
CvSVM::LINEAR 线性内核。没有任何向映射至高维空间，线性区分（或回归）在原始特征空间中被完成，这是最快的选择。K(x_i, x_j) = x_i^T x_j.
CvSVM::POLY 多项式内核： K(x_i, x_j) = (\gamma x_i^T x_j + coef0)^{degree}, \gamma > 0.
CvSVM::RBF 基于径向的函数，对于大多数情况都是一个较好的选择： K(x_i, x_j) = e^{-\gamma ||x_i - x_j||^2}, \gamma > 0.
CvSVM::SIGMOID Sigmoid函数内核：K(x_i, x_j) = \tanh(\gamma x_i^T x_j + coef0).
degree – 内核函数（POLY）的参数degree。
gamma – 内核函数（POLY/ RBF/ SIGMOID）的参数\gamma。
coef0 – 内核函数（POLY/ SIGMOID）的参数coef0。
Cvalue – SVM类型（C_SVC/ EPS_SVR/ NU_SVR）的参数C。
nu – SVM类型（NU_SVC/ ONE_CLASS/ NU_SVR）的参数 \nu。
p – SVM类型（EPS_SVR）的参数 \epsilon。
class_weights – C_SVC中的可选权重，赋给指定的类，乘以C以后变成 class\_weights_i * C。所以这些权重影响不同类别的错误分类惩罚项。权重越大，某一类别的误分类数据的惩罚项就越大。
term_crit – SVM的迭代训练过程的中止条件，解决部分受约束二次最优问题。您可以指定的公差和/或最大迭代次数。
默认构造函数如下：
CvSVMParams::CvSVMParams() : svm_type(CvSVM::C_SVC), kernel_type(CvSVM::RBF), degree(0),
gamma(1), coef0(0), C(1), nu(0), p(0), class_weights(0)
{
term_crit = cvTermCriteria( CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON );
}
（2）opencv的SVM
class CvSVM：向量支持机
CvSVM::CvSVM
训练构造函数。
C++: CvSVM::CvSVM()
C++: CvSVM::CvSVM(const Mat& trainData, const Mat& responses, const Mat& varIdx=Mat(), const Mat& sampleIdx=Mat(), CvSVMParamsparams=CvSVMParams() )
C++: CvSVM::CvSVM(const CvMat* trainData, const CvMat* responses, const CvMat* varIdx=0, const CvMat* sampleIdx=0, CvSVMParamsparams=CvSVMParams() )
trainData — 训练数据，必须是CV_32FC1 （32位浮点类型，单通道）。数据必须是CV_ROW_SAMPLE的，即特征向量以行来存储。
responses — 响应数据，通常是1D向量存储在CV_32SC1 （仅仅用在分类问题上）或者CV_32FC1格式。
varIdx — 指定感兴趣的特征。可以是整数(32sC1)向量，例如以0为开始的索引，或者8位(8uC1)的使用的特征或者样本的掩码。用户也可以传入NULL指针，用来表示训练中使用所有变量／样本。
sampleIdx — 指定感兴趣的样本。描述同上。
params — SVM参数。
CvSVM::train
训练一个SVM。
C++: bool CvSVM::train(const Mat& trainData, const Mat& responses, const Mat& varIdx=Mat(), const Mat& sampleIdx=Mat(), CvSVMParamsparams=CvSVMParams() )
C++: bool CvSVM::train(const CvMat* trainData, const CvMat* responses, const CvMat* varIdx=0, const CvMat* sampleIdx=0, CvSVMParamsparams=CvSVMParams() )
参数参考构造函数。
CvSVM::train_auto
根据可选参数训练一个SVM。
C++: bool CvSVM::train_auto(const Mat& trainData, const Mat& responses, const Mat& varIdx, const Mat& sampleIdx, CvSVMParamsparams, int k_fold=10, CvParamGrid Cgrid=CvSVM::get_default_grid(CvSVM::C), CvParamGridgammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA),
CvParamGrid pGrid=CvSVM::get_default_grid(CvSVM::P), CvParamGridnuGrid=CvSVM::get_default_grid(CvSVM::NU), CvParamGrid coeffGrid=CvSVM::get_default_grid(CvSVM::COEF), CvParamGriddegreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE), bool balanced=false)
C++: bool CvSVM::train_auto(const CvMat* trainData, const CvMat* responses, const CvMat* varIdx, const CvMat* sampleIdx, CvSVMParams params, int kfold=10, CvParamGrid Cgrid=get_default_grid(CvSVM::C), CvParamGrid gammaGrid=get_default_grid(CvSVM::GAMMA),
CvParamGrid pGrid=get_default_grid(CvSVM::P), CvParamGrid nuGrid=get_default_grid(CvSVM::NU), CvParamGridcoeffGrid=get_default_grid(CvSVM::COEF), CvParamGrid degreeGrid=get_default_grid(CvSVM::DEGREE), bool balanced=false )
k_fold – 交叉验证参数。训练集被分成k_fold的自子集。其中一个子集是用来测试模型，其他子集则成为训练集。所以，SVM算法复杂度是执行k_fold的次数。
*Grid – 对应的SVM迭代网格参数。
balanced – 如果是true则这是一个2类分类问题。这将会创建更多的平衡交叉验证子集。
这个方法根据CvSVMParams中的最佳参数C, gamma, p, nu, coef0, degree自动训练SVM模型。参数被认为是最佳的交叉验证，其测试集预估错误最小。
如果没有需要优化的参数，相应的网格步骤应该被设置为小于或等于1的值。例如，为了避免gamma的优化，设置gamma_grid.step = 0，gamma_grid.min_val， gamma_grid.max_val 为任意数值。所以params.gamma 由gamma得出。
最后，如果参数优化是必需的，但是相应的网格却不确定，你可能需要调用函数CvSVM::get_default_grid()，创建一个网格。例如，对于gamma，调用CvSVM::get_default_grid(CvSVM::GAMMA)。
该函数为分类运行 (params.svm_type=CvSVM::C_SVC 或者 params.svm_type=CvSVM::NU_SVC) 和为回归运行 (params.svm_type=CvSVM::EPS_SVR 或者 params.svm_type=CvSVM::NU_SVR)效果一样好。如果params.svm_type=CvSVM::ONE_CLASS，没有优化，并指定执行一般的SVM。
CvSVM::predict
预测样本的相应数据。
C++: float CvSVM::predict(const Mat& sample, bool returnDFVal=false ) const
C++: float CvSVM::predict(const CvMat* sample, bool returnDFVal=false ) const
C++: float CvSVM::predict(const CvMat* samples, CvMat* results) const
sample – 需要预测的输入样本。
samples – 需要预测的输入样本们。
returnDFVal – 指定返回值类型。如果值是true，则是一个2类分类问题，该方法返回的决策函数值是边缘的符号距离。
results – 相应的样本输出预测的响应。
这个函数用来预测一个新样本的响应数据(response)。在分类问题中，这个函数返回类别编号；在回归问题中，返回函数值。输入的样本必须与传给trainData的训练样本同样大小。如果训练中使用了varIdx参数，一定记住在predict函数中使用跟训练特征一致的特征。
后缀const是说预测不会影响模型的内部状态，所以这个函数可以很安全地从不同的线程调用。
CvSVM::get_default_grid
生成一个SVM网格参数。
C++: CvParamGrid CvSVM::get_default_grid(int param_id)
param_id –
SVM参数的IDs必须是下列中的一个：
CvSVM::C
CvSVM::GAMMA
CvSVM::P
CvSVM::NU
CvSVM::COEF
CvSVM::DEGREE
网格参数将根据这个ID生成。
CvSVM::get_params
返回当前SVM的参数。
C++: CvSVMParams CvSVM::get_params() const
这个函数主要是在使用CvSVM::train_auto()时去获得最佳参数。
CvSVM::get_support_vector
检索一定数量的支持向量和特定的向量。
C++: int CvSVM::get_support_vector_count() const
C++: const float* CvSVM::get_support_vector(int i) const
参数 i – 指定支持向量的索引。
该方法可以用于检索一组支持向量。
CvSVM::get_var_count
返回变量的个数。
C++: int CvSVM::get_var_count() const
程序创建了一张图像，在其中显示了训练样本，其中一个类显示为白色圆圈，另一个类显示为黑色圆圈。训练得到SVM，并将图像的每一个像素分类。 分类的结果将图像分为蓝绿两部分，中间线就是最优分割超平面。最后支持向量通过灰色边框加重显示。
分类器，分类器是一种计算机程序。
他的设计目标是在通过学习后，可自动将数据分到已知类别。
平面线性分类器
一个简单的分类问题，如图有一些圆圈和一些正方形，如何找一条最优的直线将他们分开？
我们可以找到很多种方法画出这条直线，但怎样的直线才是最优的呢？
距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。 因此我们的目标是找到一条直线，离最近的点距离最远。
怎么寻找距离最远的直线？枚举所有直线，然后计算其样本最小距离？这样显然不是一个好办法，这将产生大量的计算开销。
我们利用另一种方法，对直线的正负偏移量1，这样就产生了一个区域（下图的Maximum margin覆盖的区域），区域边界上的点到直线的距离是固定的，现在的问题是最近的点是否刚好在边界上或者在边界外。
还记得点到线的公式么？对于直线Ax＋By＋C＝0，点（x0, y0）到直线的距离：
distance = |Ax0+By0+C| / (A2 + B2)1/2
那么区域边缘到直线的距离：
distance = (|Ax+By+C| + 1)/ (A2 + B2)1/2 = 1/ (A2 + B2)1/2。
并需要满足对于所有样本类别yi 满足：yi (Ax+By+C) > = 1，也就是所有样本都不在该区域以内。
于是我们可以找到适当的A、B、C，从而得到：
Maximum margin = 2/ (A2 + B2)1/2。
超平面推广
同理，我们将这一定理推广到任意维度。其超平面表达式为：
f(x) = \beta_{0} + \beta^{T} x,
一维是线、二维是面、三维是体……四维呢？五维呢？好吧统称超平面吧……
其中 \beta 叫做 权重向量 ， \beta_{0} 叫做 偏置向量。
用这种表达式来表达线Ax+By+C = 0的话，可以这么表示：
f(x) = (C, 0) + (A, B)T (x, y);
其中(C, 0) 是偏置向量 \beta_{0}，(A, B)是权重向量 \beta。
由于最优超平面可以有很多种表达方式，我们定义：
β0 + βTx = 0，
为最优超平面表达式。于是我们可以得到他的Maximum margin区域边界表达式应该为：
|\beta_{0} + \beta^{T} x| = 1
我们称在这边界上的点为：支持向量（Supper Vector）。
因为点到超平面距离公式为：
\mathrm{distance} = \frac{|\beta_{0} + \beta^{T} x|}{||\beta||}.
在边界上，即支持向量到超平面距离：
\mathrm{distance}_{\text{ support vectors}} = \frac{|\beta_{0} + \beta^{T} x|}{||\beta||} = \frac{1}{||\beta||}.
所以Maximum margin为两倍距离，即：
M = \frac{2}{||\beta||}
将M求倒数1/M 则可将求最大转换成求最小。于是有：
\min_{\beta, \beta_{0}} L(\beta) = \frac{1}{2}||\beta||^{2} \text{ subject to } y_{i}(\beta^{T} x_{i} + \beta_{0}) \geq 1 \text{ } \forall i,
其中 y_{i} 表示样本的类别标记。
这是一个拉格朗日优化问题，可以通过拉格朗日乘数法得到最优超平面的权重向量 \beta 和偏置 \beta_{0} 。
什么是SVM
支持向量机 (SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。 换句话说，给定一些标记好的训练样本 （监督式学习），SVM算法输出一个最优化的分隔超平面。
1995年Cortes和Vapnik于首先提出SVM，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
下面是一个应用程序。
//-----------------------------------【ShowHelpText( )函数】----------------------------------
// 描述：输出一些帮助信息
//----------------------------------------------------------------------------------------------
void ShowHelpText()
{
//输出欢迎信息和OpenCV版本
printf("\n\n\t\t\t非常感谢购买《OpenCV3编程入门》一书！\n");
printf("\n\n\t\t\t此为本书OpenCV2版的第12个配套示例程序\n");
printf("\n\n\t\t\t 当前使用的OpenCV版本为：" CV_VERSION );
printf("\n\n ----------------------------------------------------------------------------\n");
}
//-----------------------------------【main( )函数】--------------------------------------------
// 描述：控制台应用程序的入口函数，我们的程序从这里开始
//-------------------------------------------------------------------------------------------------
int main()
{
// 视觉表达数据的设置（Data for visual representation）
int width = 512, height = 512;
Mat image = Mat::zeros(height, width, CV_8UC3);
//建立训练数据（ Set up training data）
float labels[4] = {1.0, -1.0, -1.0, -1.0};
Mat labelsMat(3, 1, CV_32FC1, labels);
float trainingData[4][2] = { {501, 10}, {255, 10}, {501, 255}, {10, 501} };
Mat trainingDataMat(3, 2, CV_32FC1, trainingData);
ShowHelpText();
//设置支持向量机的参数（Set up SVM's parameters）
CvSVMParams params;
params.svm_type = CvSVM::C_SVC;
params.kernel_type = CvSVM::LINEAR;
params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);
// 训练支持向量机（Train the SVM）
CvSVM SVM;
SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
Vec3b green(0,255,0), blue (255,0,0);
//显示由SVM给出的决定区域 （Show the decision regions given by the SVM）
for (int i = 0; i < image.rows; ++i)
for (int j = 0; j < image.cols; ++j)
{
Mat sampleMat = (Mat_<float>(1,2) << i,j);
float response = SVM.predict(sampleMat);
if (response == 1)
image.at<Vec3b>(j, i) = green;
else if (response == -1)
image.at<Vec3b>(j, i) = blue;
}
//显示训练数据 （Show the training data）
int thickness = -1;
int lineType = 8;
circle( image, Point(501, 10), 5, Scalar( 0, 0, 0), thickness, lineType);
circle( image, Point(255, 10), 5, Scalar(255, 255, 255), thickness, lineType);
circle( image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType);
circle( image, Point( 10, 501), 5, Scalar(255, 255, 255), thickness, lineType);
//显示支持向量 （Show support vectors）
thickness = 2;
lineType = 8;
int c = SVM.get_support_vector_count();
for (int i = 0; i < c; ++i)
{
const float* v = SVM.get_support_vector(i);
circle( image, Point( (int) v[0], (int) v[1]), 6, Scalar(128, 128, 128), thickness, lineType);
}
imwrite("result.png", image); // 保存图像
imshow("SVM Simple Example", image); // 显示图像
waitKey(0);
}
前面，我有3篇关于svm的博文，做了很详细的解说。现在，是结合opencv的应用。
（1）设置SVM的参数：
首先，是关于CvSVMParams这个结构体。
struct CV_EXPORTS_W_MAP CvSVMParams
{
CvSVMParams();
CvSVMParams( int _svm_type, int _kernel_type,
double _degree, double _gamma, double _coef0,
double Cvalue, double _nu, double _p,
CvMat* _class_weights, CvTermCriteria _term_crit );
CV_PROP_RW int svm_type;
CV_PROP_RW int kernel_type;
CV_PROP_RW double degree; // for poly
CV_PROP_RW double gamma; // for poly/rbf/sigmoid
CV_PROP_RW double coef0; // for poly/sigmoid
CV_PROP_RW double C; // for CV_SVM_C_SVC, CV_SVM_EPS_SVR and CV_SVM_NU_SVR
CV_PROP_RW double nu; // for CV_SVM_NU_SVC, CV_SVM_ONE_CLASS, and CV_SVM_NU_SVR
CV_PROP_RW double p; // for CV_SVM_EPS_SVR
CvMat* class_weights; // for CV_SVM_C_SVC
CV_PROP_RW CvTermCriteria term_crit; // termination criteria
};
svm_type –指定SVM的类型，下面是可能的取值：
CvSVM::C_SVC C类支持向量分类机。 n类分组 (n \geq 2)，允许用异常值惩罚因子C进行不完全分类。
CvSVM::NU_SVC \nu类支持向量分类机。n类似然不完全分类的分类器。参数为 \nu 取代C（其值在区间【0，1】中，nu越大，决策边界越平滑）。
CvSVM::ONE_CLASS 单分类器，所有的训练数据提取自同一个类里，然后SVM建立了一个分界线以分割该类在特征空间中所占区域和其它类在特征空间中所占区域。
CvSVM::EPS_SVR \epsilon类支持向量回归机。训练集中的特征向量和拟合出来的超平面的距离需要小于p。异常值惩罚因子C被采用。
CvSVM::NU_SVR \nu类支持向量回归机。 \nu 代替了 p。
可从 [LibSVM] 获取更多细节。
kernel_type –SVM的内核类型，下面是可能的取值：
CvSVM::LINEAR 线性内核。没有任何向映射至高维空间，线性区分（或回归）在原始特征空间中被完成，这是最快的选择。K(x_i, x_j) = x_i^T x_j.
CvSVM::POLY 多项式内核： K(x_i, x_j) = (\gamma x_i^T x_j + coef0)^{degree}, \gamma > 0.
CvSVM::RBF 基于径向的函数，对于大多数情况都是一个较好的选择： K(x_i, x_j) = e^{-\gamma ||x_i - x_j||^2}, \gamma > 0.
CvSVM::SIGMOID Sigmoid函数内核：K(x_i, x_j) = \tanh(\gamma x_i^T x_j + coef0).
degree – 内核函数（POLY）的参数degree。
gamma – 内核函数（POLY/ RBF/ SIGMOID）的参数\gamma。
coef0 – 内核函数（POLY/ SIGMOID）的参数coef0。
Cvalue – SVM类型（C_SVC/ EPS_SVR/ NU_SVR）的参数C。
nu – SVM类型（NU_SVC/ ONE_CLASS/ NU_SVR）的参数 \nu。
p – SVM类型（EPS_SVR）的参数 \epsilon。
class_weights – C_SVC中的可选权重，赋给指定的类，乘以C以后变成 class\_weights_i * C。所以这些权重影响不同类别的错误分类惩罚项。权重越大，某一类别的误分类数据的惩罚项就越大。
term_crit – SVM的迭代训练过程的中止条件，解决部分受约束二次最优问题。您可以指定的公差和/或最大迭代次数。
默认构造函数如下：
CvSVMParams::CvSVMParams() : svm_type(CvSVM::C_SVC), kernel_type(CvSVM::RBF), degree(0),
gamma(1), coef0(0), C(1), nu(0), p(0), class_weights(0)
{
term_crit = cvTermCriteria( CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON );
}
（2）opencv的SVM
class CvSVM：向量支持机
CvSVM::CvSVM
训练构造函数。
C++: CvSVM::CvSVM()
C++: CvSVM::CvSVM(const Mat& trainData, const Mat& responses, const Mat& varIdx=Mat(), const Mat& sampleIdx=Mat(), CvSVMParamsparams=CvSVMParams() )
C++: CvSVM::CvSVM(const CvMat* trainData, const CvMat* responses, const CvMat* varIdx=0, const CvMat* sampleIdx=0, CvSVMParamsparams=CvSVMParams() )
trainData — 训练数据，必须是CV_32FC1 （32位浮点类型，单通道）。数据必须是CV_ROW_SAMPLE的，即特征向量以行来存储。
responses — 响应数据，通常是1D向量存储在CV_32SC1 （仅仅用在分类问题上）或者CV_32FC1格式。
varIdx — 指定感兴趣的特征。可以是整数(32sC1)向量，例如以0为开始的索引，或者8位(8uC1)的使用的特征或者样本的掩码。用户也可以传入NULL指针，用来表示训练中使用所有变量／样本。
sampleIdx — 指定感兴趣的样本。描述同上。
params — SVM参数。
CvSVM::train
训练一个SVM。
C++: bool CvSVM::train(const Mat& trainData, const Mat& responses, const Mat& varIdx=Mat(), const Mat& sampleIdx=Mat(), CvSVMParamsparams=CvSVMParams() )
C++: bool CvSVM::train(const CvMat* trainData, const CvMat* responses, const CvMat* varIdx=0, const CvMat* sampleIdx=0, CvSVMParamsparams=CvSVMParams() )
参数参考构造函数。
CvSVM::train_auto
根据可选参数训练一个SVM。
C++: bool CvSVM::train_auto(const Mat& trainData, const Mat& responses, const Mat& varIdx, const Mat& sampleIdx, CvSVMParamsparams, int k_fold=10, CvParamGrid Cgrid=CvSVM::get_default_grid(CvSVM::C), CvParamGridgammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA),
CvParamGrid pGrid=CvSVM::get_default_grid(CvSVM::P), CvParamGridnuGrid=CvSVM::get_default_grid(CvSVM::NU), CvParamGrid coeffGrid=CvSVM::get_default_grid(CvSVM::COEF), CvParamGriddegreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE), bool balanced=false)
C++: bool CvSVM::train_auto(const CvMat* trainData, const CvMat* responses, const CvMat* varIdx, const CvMat* sampleIdx, CvSVMParams params, int kfold=10, CvParamGrid Cgrid=get_default_grid(CvSVM::C), CvParamGrid gammaGrid=get_default_grid(CvSVM::GAMMA),
CvParamGrid pGrid=get_default_grid(CvSVM::P), CvParamGrid nuGrid=get_default_grid(CvSVM::NU), CvParamGridcoeffGrid=get_default_grid(CvSVM::COEF), CvParamGrid degreeGrid=get_default_grid(CvSVM::DEGREE), bool balanced=false )
k_fold – 交叉验证参数。训练集被分成k_fold的自子集。其中一个子集是用来测试模型，其他子集则成为训练集。所以，SVM算法复杂度是执行k_fold的次数。
*Grid – 对应的SVM迭代网格参数。
balanced – 如果是true则这是一个2类分类问题。这将会创建更多的平衡交叉验证子集。
这个方法根据CvSVMParams中的最佳参数C, gamma, p, nu, coef0, degree自动训练SVM模型。参数被认为是最佳的交叉验证，其测试集预估错误最小。
如果没有需要优化的参数，相应的网格步骤应该被设置为小于或等于1的值。例如，为了避免gamma的优化，设置gamma_grid.step = 0，gamma_grid.min_val， gamma_grid.max_val 为任意数值。所以params.gamma 由gamma得出。
最后，如果参数优化是必需的，但是相应的网格却不确定，你可能需要调用函数CvSVM::get_default_grid()，创建一个网格。例如，对于gamma，调用CvSVM::get_default_grid(CvSVM::GAMMA)。
该函数为分类运行 (params.svm_type=CvSVM::C_SVC 或者 params.svm_type=CvSVM::NU_SVC) 和为回归运行 (params.svm_type=CvSVM::EPS_SVR 或者 params.svm_type=CvSVM::NU_SVR)效果一样好。如果params.svm_type=CvSVM::ONE_CLASS，没有优化，并指定执行一般的SVM。
CvSVM::predict
预测样本的相应数据。
C++: float CvSVM::predict(const Mat& sample, bool returnDFVal=false ) const
C++: float CvSVM::predict(const CvMat* sample, bool returnDFVal=false ) const
C++: float CvSVM::predict(const CvMat* samples, CvMat* results) const
sample – 需要预测的输入样本。
samples – 需要预测的输入样本们。
returnDFVal – 指定返回值类型。如果值是true，则是一个2类分类问题，该方法返回的决策函数值是边缘的符号距离。
results – 相应的样本输出预测的响应。
这个函数用来预测一个新样本的响应数据(response)。在分类问题中，这个函数返回类别编号；在回归问题中，返回函数值。输入的样本必须与传给trainData的训练样本同样大小。如果训练中使用了varIdx参数，一定记住在predict函数中使用跟训练特征一致的特征。
后缀const是说预测不会影响模型的内部状态，所以这个函数可以很安全地从不同的线程调用。
CvSVM::get_default_grid
生成一个SVM网格参数。
C++: CvParamGrid CvSVM::get_default_grid(int param_id)
param_id –
SVM参数的IDs必须是下列中的一个：
CvSVM::C
CvSVM::GAMMA
CvSVM::P
CvSVM::NU
CvSVM::COEF
CvSVM::DEGREE
网格参数将根据这个ID生成。
CvSVM::get_params
返回当前SVM的参数。
C++: CvSVMParams CvSVM::get_params() const
这个函数主要是在使用CvSVM::train_auto()时去获得最佳参数。
CvSVM::get_support_vector
检索一定数量的支持向量和特定的向量。
C++: int CvSVM::get_support_vector_count() const
C++: const float* CvSVM::get_support_vector(int i) const
参数 i – 指定支持向量的索引。
该方法可以用于检索一组支持向量。
CvSVM::get_var_count
返回变量的个数。
C++: int CvSVM::get_var_count() const
程序创建了一张图像，在其中显示了训练样本，其中一个类显示为白色圆圈，另一个类显示为黑色圆圈。训练得到SVM，并将图像的每一个像素分类。 分类的结果将图像分为蓝绿两部分，中间线就是最优分割超平面。最后支持向量通过灰色边框加重显示。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 每天一个linux命令目录
- 每天一个linux命令（31）: /etc/group文件详解
- 每天一个linux命令（30）: chown命令
- Linux下查找包含BOM头的文件和清除BOM头命令 2014-08-16 12:30:50
- 每天一个linux命令（29）:chgrp命令
- 每天一个linux命令（28）：tar命令
- 每天一个linux命令（27）：linux chmod命令
- 每天一个linux命令（26）：用SecureCRT来上传和下载文件
- CentOS6.5下添加epel源
- CentOS安装GlassFish4.0 配置JDBC连接MySQL
- devstack apache2/keystone 没有启动
- nginx之访问静态文件
- 每天一个linux命令(25)：linux文件属性详解
- 每天一个linux命令(24)：Linux文件类型与扩展名
- 每天一个linux命令（23）：Linux 目录结构
- centos安装tomcat
- 集合类 并发集合类 ConcurrentHashMap 和 CopyOnWriteArrayList, HashMap, HashSet, HashTable, ArrayList, ArraySet
- shell常识总结
- 每天一个linux命令（22）：find 命令的参数详解
- Linux服务器管理常用命令整理