激活函数、BP反向传播算法、三种梯度下降、softmax函数及其推导

激活函数的作用：

由于我们使用的神经网络分类器是线性方程，如w1x1+w2x2+…+wnxn + bi= 0，这种方程所划分的区域总是直线类似的/折线，这种划分不能很好的划分曲面形状，所以通过引入激活函数，这种激活函数不同于一次函数，它是一种曲线，由此划分出来的界限或者高维界面就是一种曲线或者曲面，能够更好的拟合分解。

参考文章：形象的解释神经网络激活函数的作用是什么？

BP方向传播算法：

这里面的主要原理是梯度下降算法，记住梯度的反方向是下降最快的方向。设权重为w，输出为yout，输出对比值为y，误差为C=（yout-y），则推导：w->yout->C;得C是w的函数，通过C对w取梯度导数，得到最大下降方向，设导数为d(w)，则更新权值w=w-d(w);以此类推，向前传播。

参考链接：通俗理解神经网络BP传播算法

三种梯度下降：

批量梯度下降（BGD）：计算所有的样本来对权值进行更改。可以直接向着极小值下降，但是计算量大，速度慢。

随机梯度下降（SGD）：随机选取一个样本进行权值更新，虽然不像批量这样直接向着极小值下降，但是总体来说也是渐渐向着最优处下降。同时由于计算量少，计算速度很快

小批量梯度下降（MBGD）：每次只是选取一批样本进行权值更新，样本大小batch根据需要自己改变。这样既减少了计算量，又尽可能的向着极小值下降。

参考链接：详解梯度下降法的三种形式BGD、SGD以及MBGD

softmax函数的作用和推导：

sigmoid是用来而分类的，softmax用来多分类；softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，并将每个类别出现的次数的多少作为选取的目标，而不是只选取最多的那个，这样更显公平。可以看成概率来理解，从而来进行多分类！

参考链接：通俗详解softmax函数及其求导过程