cs231n---梯度下降

1 梯度计算

梯度：代表改变量对最终结果的影响

x,y,q处梯度<-4 对最终结果有消极影响

z处梯度>0 对最终结果有积极影响（给z一个小增量h，最终结果增加3h）



正梯度：损失随其增加而增加

2 链式法则示例

反向传播：不停使用链式法则，反向传播中存储局部梯度值



举例：



max gate:梯度路由

add gate:梯度分配

3 向量化的操作：

梯度：雅可比矩阵 4096 * 4096 

对角矩阵：元素值为1/0



minibatch训练时： 100 *4096-d维数很大