CS231n课程笔记3.2：梯度下降

CS231n简介

详见 CS231n课程笔记1：Introduction。

注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。

课程笔记

上一篇 CS231n课程笔记3.1：线性分类器（SVM，softmax）的误差函数、正则化介绍了线性分类器的最后优化的目标函数，这节介绍优化方法：梯度下降。梯度下降不仅可以用于解线性分类器，还可以用于优化任意目标函数，得到局部最优解，只是因为线性分类器+上诉目标函数得到的凸函数，可以直接得到全局最优解。

1. 随机搜索

在介绍梯度下降之前，为了对比，一种和simple&naive的做法是任意搜索，即在高维空间内随机搜索，取最小值。这个方法明显难于收敛，也不容易找到最小值。

2. 梯度下降

梯度下降就是每次按照梯度反方向移动参数一小步（具体步长为超参数）。求梯度的方法有两种：

numerical gradient：每个方向移动一个小数值，如0.00001，然后目标方程的差除以这个小数值即可得到该维度上的梯度。易实现，速度慢。

利用微积分的知识对于梯度进行求解。准确，快速，容易错误。

实际中，通常使用微积分方法，但是利用numerical验证。

3. mini-batch

每次只用训练集的一小部分（batch）更新参数。

4. learning rate的作用

5. 线性分类器在图像领域中的应用

线性分类器模型的能力不足以处理复杂的图像分类问题。通常情况是提取图像特征后再利用线性分类器进行分类。



常见的图像特征有Color Histogram, HOG/SIFT等。对于多种高维特征，利用k-means降维。

这里引入CNN，因为其可以作用于raw input，可以利用机器学习特征。