MATLAB中的函数理解（二）：minFunc工具包（不定期更新）

fminunc试图找到一个多变量函数的最小值，从一个估计的初试值开始，这通常被认为是无约束非线性优化问题。
x =fminunc(fun,x0)      试图从x0附近开始找到函数的局部最小值，x0可以是标量，向量或矩阵
x =fminunc(fun,x0,options)      根据结构体options中的设置来找到最小值，可用optimset来设置options
x =fminunc(problem)         为problem找到最小值,而problem是在Input Arguments中定义的结构体

Create thestructure problem by exporting a problem from Optimization Tool, as describedin Exporting Your Work.

[x,fval]= fminunc(...)    返回目标函数fun在解x处的函数值
[x,fval,exitflag]= fminunc(...)     返回一个描述退出条件的值exitflag
[x,fval,exitflag,output]= fminunc(...)       返回一个叫output的结构体，它包含着优化的信息
[x,fval,exitflag,output,grad]= fminunc(...)     返回函数在解x处的梯度的值，存储在grad中
[x,fval,exitflag,output,grad,hessian]= fminunc(...)            返回函数在解x处的Hessian矩阵的值，存储在hessian中

对这些说明理解的不是很透彻，然后做了几个简单的实验，如下：

定义函数fun1
function y = fun1(x)
y = (x - 2)^2;
end
显然fun1在x=2处取得最小值0

clear all;
x0 = 1.5
[x,fval,exitflag,output,grad,hessian] =fminunc(@fun1,x0)

运行结果是：
x =2.0000     fval =1.2490e-16
exitflag =  1
output =
iterations: 1
funcCount: 6
stepsize: 0.5000
firstorderopt: 7.4506e-09
algorithm: 'medium-scale: Quasi-Newtonline search'
message: [1x436 char]
grad  = 7.4506e-09                hessian =  2

再做一个多变量实验，定义函数fun2
function y = fun2(x)
y = (x(1)^2)+(x(2)^2);
end

显然，fun2在x1=0,x2=0处取得最小值0

clear all;
x0 = [2;2];
[x,fval,exitflag,output,grad,hessian]= fminun
a177
c(@fun2,x0)

运行结果是：
x =
0
0
fval =0
exitflag =1
output =
iterations: 2
funcCount: 9
stepsize: 1
firstorderopt: 1.4901e-08
algorithm: 'medium-scale: Quasi-Newtonline search'
message: [1x436 char]
grad =
1.0e-07 *
0.1490
0.1490
hessian =
NaN  NaN
NaN  NaN
但是假如函数形如f(x,y)，而且f(x,y)中还有可变的参数a,b的话如何求取其最小值呢？定义了第三个函数fun3
function y = fun3(x,a,b)
y = (x(1)-a)^2+(x(2)-b)^2;
end
这个函数含两个自变量x(1),x(2)，还有参数a,b，显然函数在x(1)=a,x(2)=b时取得最小值0
clear all;
x0 = [2;2]
a = 1
b = 0
x = fminunc(@(p)fun3(p,a,b),x0)%注意此处的写法
结果是
x =
1.0000
0.0000
fminunc找到了当我定义a=1,b=0时的函数的最小值是在x=[1;0]处，以后要找到一个需要赋值，还要指定参数值的函数的最小值的时候就可以这样做了。但是不要把x(1)，x(2)分开定义成x,y，这样只会给自己找麻烦。fminunc的help里头提到一个problem的结构体好像可以解决这个问题，没有深究，读者自己去看。

%==================================================================
现在我们用fminunc来找二元逻辑回归的代价函数的最小值
数据在这http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html

logistic_test.m
clear all; close all;

x = load('G:\training_data\ex4x.dat');
y = load('G:\training_data\ex4y.dat');

theta = [-15.0; 0.14; 0.15];
J = logisticCost(theta,x,y);

theta0 = zeros(3,1);%随机设置一个初始值，其实就在上面那个theta附近
data = x;
label = y;
options=optimset('MaxIter',100);
[opttheta,fval] = fminunc(@(p)logisticCost(p,data,label),theta0)
定义代价函数logisticCost.m
function cost = logisticCost(theta, data, label)

[trainNum trainLength] =size(data);
z = [ones(trainNum,1)data]*theta;

h = inline('1.0 ./ (1.0 + exp(-z))');
htheta = h(z);
cost =(-1/trainNum)*(label'*log(htheta) + (1-label)'*log(1-htheta));
运行[opttheta,fval]= fminunc(@(p) logisticCost(p,data,label),theta0)
的结果是
opttheta =
-16.3787
0.1483
0.1589
fval =
0.4054
这个结果跟上面下载数据的网页处提供的结果一样

其实注意到fminunc是因为稀疏自编码器autoencoder中train.m代码中步骤3：
numgrad =computeNumericalGradient( @(x) sparseAutoencoderCost(x, visibleSize,...
hiddenSize, lambda,...
sparsityParam, beta,...
patches), theta);

此处的写法和x = fminunc(@(p) fun3(p,a,b),x0)类似，我其实是模仿train.m的代码做了个更简单的实验，将参数a,b加入到了fun3中去。在UFLDL的softmax回归的代码softmaxTrain.m中也有类似的求最优的theta的做法，所以从这些实现寻找最优theta的方法中我们发现，神经网络的训练过程可能不是通过一遍一遍的for来实现，而是通过非线性优化之类的寻找最优解的方法来实现的。更多的内容可以自行百度BFGS,L-BFGS之类minFunc中提到的东西来了解。