双层神经网络与逻辑回归正反向传播数学公式简要推导

逻辑回归正向传播和反向传播推导:



z=wTx+b(1)

a =σ(z)=11+e−z(2)

L(a,y)=−(ylog(a)+(1−y)log(1−a))(3)

da =∂L(a,y)∂a=−y1alne−(1−y)1(1−a)lne(−1)=−ya+1−y1−a(4)

∂a∂z =+(1+e−z)e−z=11+e−z·e−z1+e−z=1+e−z(1−11+e−z)=a(1−a)(5)

dz =∂L(a,y)∂z=∂L(a,y)∂a∂a∂z=(−ya+1−y1−a)a(1−a)=a−y(6)

dw =∂L(a,y)∂w=∂L(a,y)∂a∂a∂z∂z∂w=dz·x(7)

db =∂L(a,y)∂b=∂L(a,y)∂a∂a∂z∂z∂b=dz·1=dz(8)

双层神经网络正向传播和反向传播推导：

双层神经网络反向传播有部分和逻辑回归相似，可以直接使用其结论

dz[2]=a[2]−y(1)

dW[2]=dz[2]a[1]T(2)

db[2]=dz[2](3)

dz[1] =∂L(a,y)∂z[1]=∂L(a,y)∂a⋅∂a∂z=da⋅g[1]′(z[1])=W[2]dz[2]⋅g[1]′(z[1])(4)

dW[1]=dz[1]x[T](5)

db[1]=dz[1](6)