SVM三种寻优方法matlab代码 grid search、GA、PSO

文章转自：http://www.matlabsky.com/thread-12414-1-1.html

基于GridSearch的svm参数寻优

http://www.matlabsky.com/thread-12411-1-1.html

基于GA的svm参数寻优

http://www.matlabsky.com/thread-12412-1-1.html

====================================================

在这里使用启发式算法PSO来进行参数寻优，用网格划分(grid search)来寻找最佳的参数c和g，虽然采用网格搜索能够找到在CV意义下的最高的分类准确率，即全局最优解，但有时候如果想在更大的范围内寻找最佳的参数c和g会很费时，采用启发式算法就可以不必遍历网格内的所有的参数点，也能找到全局最优解。

关于粒子群优化算法这里不打算过多介绍，想要学习的朋友可以自己查看相关资料。

使用PSO来进行参数寻优在在libsvm-mat-2.89-3[FarutoUltimate3.0]工具箱中已经实现psoSVMcgForClass.m（分类问题参数寻优）、psoSVMcgForRegress.m（回归问题参数寻优）。

函数使用接口：

利用PSO参数寻优函数(分类问题):psoSVMcgForClass

[bestCVaccuracy,bestc,bestg,pso_option]=

psoSVMcgForClass(train_label,train,pso_option)

输入：

train_label:训练集的标签，格式要求与svmtrain相同。

train:训练集，格式要求与svmtrain相同。

pso_option:PSO中的一些参数设置，可不输入，有默认值，详细请看代码的帮助说明。

输出：

bestCVaccuracy:最终CV意义下的最佳分类准确率。

bestc:最佳的参数c。

bestg:最佳的参数g。

pso_option:记录PSO中的一些参数。

==========================================================

利用PSO参数寻优函数(回归问题):psoSVMcgForRegress

[bestCVmse,bestc,bestg,pso_option]=

psoSVMcgForRegress(train_label,train,pso_option)

其输入输出与psoSVMcgForClass类似，这里不再赘述。

复制代码
psoSVMcgForClass源代码：

function [bestCVaccuarcy,bestc,bestg,pso_option] = psoSVMcgForClass(train_label,train,pso_option)

% psoSVMcgForClass

%%

% by faruto

%Email:patrick.lee@foxmail.com QQ:516667408 http://blog.sina.com.cn/faruto BNU

%last modified 2010.01.17

%% 若转载请注明：

% faruto and liyang , LIBSVM-farutoUltimateVersion

% a toolbox with implements for support vector machines based on libsvm, 2009.

%

% Chih-Chung Chang and Chih-Jen Lin, LIBSVM : a library for

% support vector machines, 2001. Software available at

% http://www.csie.ntu.edu.tw/~cjlin/libsvm
%% 参数初始化

if nargin == 2

pso_option = struct('c1',1.5,'c2',1.7,'maxgen',200,'sizepop',20, ...

'k',0.6,'wV',1,'wP',1,'v',5, ...

'popcmax',10^2,'popcmin',10^(-1),'popgmax',10^3,'popgmin',10^(-2));

end

% c1:初始为1.5,pso参数局部搜索能力

% c2:初始为1.7,pso参数全局搜索能力

% maxgen:初始为200,最大进化数量

% sizepop:初始为20,种群最大数量

% k:初始为0.6(k belongs to [0.1,1.0]),速率和x的关系(V = kX)

% wV:初始为1(wV best belongs to [0.8,1.2]),速率更新公式中速度前面的弹性系数

% wP:初始为1,种群更新公式中速度前面的弹性系数

% v:初始为3,SVM Cross Validation参数

% popcmax:初始为100,SVM 参数c的变化的最大值.

% popcmin:初始为0.1,SVM 参数c的变化的最小值.

% popgmax:初始为1000,SVM 参数g的变化的最大值.

% popgmin:初始为0.01,SVM 参数c的变化的最小值.

Vcmax = pso_option.k*pso_option.popcmax;

Vcmin = -Vcmax ;

Vgmax = pso_option.k*pso_option.popgmax;

Vgmin = -Vgmax ;

eps = 10^(-3);

%% 产生初始粒子和速度

for i=1:pso_option.sizepop

% 随机产生种群和速度

pop(i,1) = (pso_option.popcmax-pso_option.popcmin)*rand+pso_option.popcmin;

pop(i,2) = (pso_option.popgmax-pso_option.popgmin)*rand+pso_option.popgmin;

V(i,1)=Vcmax*rands(1,1);

V(i,2)=Vgmax*rands(1,1);

% 计算初始适应度

cmd = ['-v ',num2str(pso_option.v),' -c ',num2str( pop(i,1) ),' -g ',num2str( pop(i,2) )];

fitness(i) = svmtrain(train_label, train, cmd);

fitness(i) = -fitness(i);

end

% 找极值和极值点

[global_fitness bestindex]=min(fitness); % 全局极值

local_fitness=fitness; % 个体极值初始化

global_x=pop(bestindex,:); % 全局极值点

local_x=pop; % 个体极值点初始化

% 每一代种群的平均适应度

avgfitness_gen = zeros(1,pso_option.maxgen);

%% 迭代寻优

for i=1:pso_option.maxgen

for j=1:pso_option.sizepop

%速度更新

V(j,:) = pso_option.wV*V(j,:) + pso_option.c1*rand*(local_x(j,:) - pop(j,:)) + pso_option.c2*rand*(global_x - pop(j,:));

if V(j,1) > Vcmax

V(j,1) = Vcmax;

end

if V(j,1) < Vcmin

V(j,1) = Vcmin;

end

if V(j,2) > Vgmax

V(j,2) = Vgmax;

end

if V(j,2) < Vgmin

V(j,2) = Vgmin;

end

%种群更新

pop(j,:)=pop(j,:) + pso_option.wP*V(j,:);

if pop(j,1) > pso_option.popcmax

pop(j,1) = pso_option.popcmax;

end

if pop(j,1) < pso_option.popcmin

pop(j,1) = pso_option.popcmin;

end

if pop(j,2) > pso_option.popgmax

pop(j,2) = pso_option.popgmax;

end

if pop(j,2) < pso_option.popgmin

pop(j,2) = pso_option.popgmin;

end

% 自适应粒子变异

if rand>0.5

k=ceil(2*rand);

if k == 1

pop(j,k) = (20-1)*rand+1;

end

if k == 2

pop(j,k) = (pso_option.popgmax-pso_option.popgmin)*rand + pso_option.popgmin;

end

end

%适应度值

cmd = ['-v ',num2str(pso_option.v),' -c ',num2str( pop(j,1) ),' -g ',num2str( pop(j,2) )];

fitness(j) = svmtrain(train_label, train, cmd);

fitness(j) = -fitness(j);

cmd_temp = ['-c ',num2str( pop(j,1) ),' -g ',num2str( pop(j,2) )];

model = svmtrain(train_label, train, cmd_temp);

if fitness(j) >= -65

continue;

end

%个体最优更新

if fitness(j) < local_fitness(j)

local_x(j,:) = pop(j,:);

local_fitness(j) = fitness(j);

end

if abs( fitness(j)-local_fitness(j) )<=eps && pop(j,1) < local_x(j,1)

local_x(j,:) = pop(j,:);

local_fitness(j) = fitness(j);

end

%群体最优更新

if fitness(j) < global_fitness

global_x = pop(j,:);

global_fitness = fitness(j);

end

if abs( fitness(j)-global_fitness )<=eps && pop(j,1) < global_x(1)

global_x = pop(j,:);

global_fitness = fitness(j);

end

end

fit_gen(i) = global_fitness;

avgfitness_gen(i) = sum(fitness)/pso_option.sizepop;

end

%% 结果分析

figure;

hold on;

plot(-fit_gen,'r*-','LineWidth',1.5);

plot(-avgfitness_gen,'o-','LineWidth',1.5);

legend('最佳适应度','平均适应度',3);

xlabel('进化代数','FontSize',12);

ylabel('适应度','FontSize',12);

grid on;

% print -dtiff -r600 pso

bestc = global_x(1);

bestg = global_x(2);

bestCVaccuarcy = -fit_gen(pso_option.maxgen);

line1 = '适应度曲线Accuracy[PSOmethod]';

line2 = ['(参数c1=',num2str(pso_option.c1), ...

',c2=',num2str(pso_option.c2),',终止代数=', ...

num2str(pso_option.maxgen),',种群数量pop=', ...

num2str(pso_option.sizepop),')'];

% line3 = ['Best c=',num2str(bestc),' g=',num2str(bestg), ...

% ' CVAccuracy=',num2str(bestCVaccuarcy),'%'];

% title({line1;line2;line3},'FontSize',12);

title({line1;line2},'FontSize',12);