机器学习中常用的矩阵求导公式
2013-09-10 15:29
288 查看
机器学习中常用的矩阵求导公式
原文链接:http://blog.sina.com.cn/s/blog_8eac0b290101fsqb.html其实在实际的机器学习工作中,最常用到的就是实值函数y对向量X的求导,定义如下(其实就是y对向量X的每一个元素求导):
实值函数对矩阵X求导也类似:
因为机器学习(这里指的是有监督的机器学习)的一般套路是给定输入X,选择一个模型f作为决策函数,由f(X)预测出Y'。而得到f的参数θ(往往是向量),需要定义一个loss函数(一般都是实值函数),描述当前f预测值Y'与实际的Y值的接近程度。模型学习的过程就是求使得loss函数L(f(X),Y)最小的参数θ。这是一个最优化问题,实际应用中都是用和梯度相关的最优化方法,如梯度下降,共轭梯度,拟牛顿法等等。
其实只要掌握上面这个公式,就能搞定很多问题了。
为了方便推导,下面列出一些机器学习中常用的求导公式,其中andrewng那一套用矩阵迹的方法还是挺不错的,矩阵的迹也是实值的,而一个实数的迹等于其本身,实际工作中可以将loss函数转化成迹,然后在求导,可能会简化推导的步骤。
相关文章推荐
- 机器学习中常用的矩阵求导公式
- 论文中常用的一些矩阵求导公式和二阶范数公式
- 论文中常用的一些矩阵求导公式和二阶范数公式
- 常用的向量矩阵求导公式
- 论文中常用的一些矩阵求导公式和二阶范数公式
- 常用的向量矩阵求导公式
- 机器学习之矩阵求导
- 机器学习中常用的矩阵求导公式
- 论文中常用的一些矩阵求导公式和二阶范数公式
- 机器学习中常用的矩阵求导公式
- 论文中常用的一些矩阵求导公式和二阶范数公式
- 机器学习中常用的矩阵求导公式
- 论文中常用的一些矩阵求导公式和二阶范数公式
- 机器学习中常用的矩阵求导公式
- 机器学习常用矩阵求导公式
- 矩阵求导常用公式
- 常用的几个矩阵求导公式
- [转载]机器学习中常用的矩阵求导公式
- 机器学习中常用的矩阵求导公式
- 机器学习中常用的矩阵求导公式