您的位置:首页 > 其它

cs231n关于反向传播的理解

2017-12-03 20:59 197 查看




比如以这个图片为例,这个图所示是一个计算图,表明了最上面公式的计算过程,绿色为各个变量值沿着一系列数学过程,比如乘,加,等一直到最后得到的值,就是0.73.而红色就是梯度值,通过梯度值可以反推过程值。
梯度计算方法是导数乘以下一步梯度值,比如最后一步,1/x的导数是-1/x^2,带入前一步1.37,然后再乘以最后一步的红色1.00,就是-0.53,然后再往前一步,+1的导数为1,因为是类似于C+X,这样的,导数是X的1,所以1*-0.53=-0.53,一直往前,又到+的分差那边,相当于X+Y,分别对x,y求偏导数,导数都是1,所以0.2的梯度都不变,然后到红色方框那一步,wx,对于w0和x0,互相为对方的偏导数,所以w0的梯度为-1*0.2=-0.2。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息