学习笔记(17):程序员的数学：优化理论-最直观易理解的优化算法

立即学习:https://edu.csdn.net/course/play/26698/339454?utm_source=blogtoedu

优化

• 优化（数学概念）：在特定约束条件下，选择变量值。使目标函数最大化/最小化

梯度下降法：是优化算法中非常实用、非常广泛的一类算法，尤其在人工智能、深度学习中。在深度学习中，经常听到“训练”，“训练”一个神经网络。

何为训练呢？

其实，本质上就是用梯度下降方法去优化神经网络中的权重参数。

何为下降：就是找函数的最小值，想让函数最小化

因为问题是最快回到山底，所以我们沿着最陡峭的方向行走、这个最陡峭的方向就叫做梯度，因为既有方向也有大小，所以梯度本质上也是向量。梯度是有方向的。

下上问题：梯度：垂直于等值线。

梯度计算练习：

• 虽然有梯度表达式，但是在每一个点上，梯度的方向也是在变的
• 对每个变量进行偏导数。然后把取值（1，2）带进去，就能得到函数在某点的梯度方向[7,6]
• 若要求在某点的切线，在已知梯度方向情况下（梯度的方向其实是所要求的切线的法线，或者说切线是与它垂直的方向表达，所以进而可以获得切线的表达），