[置顶] 概率统计与机器学习：机器学习的各类型最优化方法

无约束优化方法（1）：一阶梯度型方法

前置知识

（1）凸集

定义：对任意的

和

，总有



图示：



（2）凸函数

定义：对于任意

，应有

， 其中



图示：



（3）凸优化

一般形式：



什么是凸优化问题？

答：目标函数为凸函数，且可行域为凸集。

（4）机器学习中的凸问题与非凸问题

凸问题：

线性最小二乘

SVM

逻辑斯蒂回归

核方法

非凸问题：

主成分分析

神经网络

K均值聚类

高斯混合模型

(A) 梯度下降法

定义：



解释：负梯度方向是下降最快的方向

推导：将梯度变化进行二阶泰勒展开





研究一阶梯度算法：要使

，则

为下降方向，此时要使不等式满足，则



此时当

, 即搜索方向直接取目标函数f在点x的负梯度方向，此时具有最大的下降步伐或速率。

一阶梯度下降算法相关问题

梯度下降法可不可能解决非凸问题？

答：可能，如果是半边凸半边非凸，则有可能得到最优解。若好几个凸函数并在一起，则有可能陷入局部最优解。

凸优化问题中梯度一定收敛吗？

答：不一定，二次函数中如果梯度为-1步长过大，则可能陷入死循环来回跳动无法下降。