常用矩阵向量求导公式

在机器学习中，常用的一般是求一个数值函数对向量或矩阵变量的导数，这个数值，一般表现为向量的内积，或者是矩阵的迹。

α,x是向量，A,B,C是矩阵，假定以下向量矩阵都是合适大小、可乘的。

∂xTα∂x=∂αTx∂x=α(1)

∂xTx∂x=2x(2)

∂xTAx∂x=(A+AT)x(3)

∂Tr(ATB)∂A=B(4)

∂Tr(ABATC)∂A=CAB+CTABT(5)

关于矩阵迹的重要性质：

Tr(A)=Tr(AT)(7)

Tr(ABC)=Tr(BCA)=Tr(CAB)(6)