python最优化-梯度下降实现

基本概念

导数

什么是导数？对于导数的理解我觉得从这几个方面理解比较好，首先它的数学定义是什么？其次，物理意义是什么。

定义如下：

当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f’(x0)或df(x0)/dx。

f′(x0)=

导数是函数的局部性质。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。如果函数的自变量和取值都是实数的话，函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。导数的本质是通过极限的概念对函数进行局部的线性逼近。因为当Δx趋于0时，Δy与自变量增量Δx的比值可看做斜率。

代码实现