斯坦福机器学习-week 3 学习笔记（2）——Matlab最优问题求解

keyword：Optimization algorithm

目录
一.最优问题的求解算法
二.最优问题求解算法的比较
三.利用Matlab求解最优问题

一.最优问题的求解的算法
Gradient descent

Conjugate gradient
BFGS
L-BFGS

二.最优问题求解算法的比较
    其他最优问题求解算法与梯度下降算法的比较如下图：



三.利用Matlab求解最优问题
    可以利用Matlab自带的fminunc函数可以计算最优解。
    使用Matlab求解最优问题的过程如下：
    1.先定义一个计算J(θ)的值和J(θ)梯度的函数；
    2.设置好求解最优过程的参数；
    3.要求的参数初始化；
    4.调用fminunc函数。
   下面举个例子：



    在使用Matlab自带的fminunc函数可以计算最优解的过程中，最重要的是编写计算J(θ)的值和J(θ)梯度的函数。在这个函数中，必须包含有计算J(θ)的值的部分，以及计算J(θ)梯度的部分，函数的定义可以如下：