机器学习常用矩阵求导公式

机器学习常用矩阵求导公式

1) 实值对实值求导（即y与x均为实值函数）

∂y∂x

2) 实值对向量求导

∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x1∂y∂x2⋮∂y∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

3) 实值对矩阵求导

∂y∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x11∂y∂x21⋮∂y∂xp1∂y∂x12∂y∂x22⋮∂y∂xp2⋯⋯⋱⋮⋯∂y∂x1q∂y∂x2q∂y∂xpq⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

4) 向量对实值求导

∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y1∂x∂y2∂x⋮∂yn∂x⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

5) 向量对向量求导

∂y∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y1∂x1∂y2∂x1⋮∂ym∂x1∂y1∂x2∂y2∂x2⋮∂ym∂x2⋯⋯⋱⋮⋯∂y1∂xn∂y2∂xn∂ym∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

6) 矩阵对实值求导

∂y∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y11∂x∂y21∂x⋮∂yp1∂x∂y12∂x∂y22∂x⋮∂yp2∂x⋯⋯⋱⋮⋯∂y1q∂x∂y2q∂x∂ypq∂x⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

常用求导公式

β,x是向量，A是矩阵

∂βTx∂x=β

∂xTx∂x=x

∂xTAx∂x=(A+AT)x

参考：

http://blog.sina.com.cn/s/blog_6cb263210101csq0.html

https://en.wikipedia.org/wiki/Matrix_calculus