机器学习数学基础- gradient descent算法(上)
2017-08-08 12:19
260 查看
为什么要了解点数学基础
学习大数据分布式计算时多少会涉及到机器学习的算法,所以理解一些机器学习基础,有助于理解大数据分布式计算系统(比如spark)的设计。机器学习中一个常见的就是gradient descent算法,是线性回归问题的一个基础算法。gradient是数学概念。Gradient
如果一个函数有n个自变量:f(x1,x2......xn)。且每一个x都是标量值。那么该函数的gradient就是一个n维的向量函数,每一个component是f函数针对xi的partial derivative。f的gradient反映的是f针对全部变量在各自维度的变化的敏感程度(以及正负相关性。即当自变量添加时,f值是添加还是减小,下同。gradient所反映的正负相关性非常重要,是理解gradient descent算法的一个关键)的合集。f的gradient记为∇f
Partial Derivative
partial derivative是derivative的一个延伸概念,是一个有n维变量的函数f(x1,x2......xn)。在如果其它变量值不变、仅有一个变量(如果为xi)变化的情况下,f函数针对该变量的derivative,写为f′(xi),或者∂f∂xi,f(x1,x2......xn)对xi的partial derivative也是xi的函数,它反映的是f相对于xi的变化的敏感程度(以及正负相关性)。Derivative
一个一维变量的函数f(x)的derivative,反映的是f(x)在x的不同值的情况下,当x仅作无限小的变化时。f值的变化与x的变化的比值,因此derivative反映的是f(x)在x的不同值的情况下,f(x)对x的变化的敏感程度(以及正负相关性)。f(x)的derivative也是x的函数,写为f′(x).
Gradient Descent算法
线性回归问题能够归结为求一个函数f(x1,x2......xn)的(x1,x2......xn)的某一个详细的值,使得f有最小值。如果把这个求解问题交给你,你能求出来吗?非常难把,
而gradient descent算法则能解决问题。
……待续
相关文章推荐
- 机器学习的数学基础(1)--Dirichlet分布
- 学好大数据与机器学习需要有怎样的数学基础?内附干货
- 机器学习:LDA_数学基础_6:MCMC:Dirichlet分布
- 深度学习/机器学习入门基础数学知识整理(三):凸优化,Hessian,牛顿法
- 【ML学习笔记】6:机器学习中的数学基础6(对角矩阵,对称矩阵,正交矩阵,特征分解)
- 第二天、机器学习中的数学基础
- 机器学习:LDA_数学基础_5:变分推断:变分推断部分
- 机器学习的数学基础(1)--Dirichlet分布
- 机器学习笔记_数学基础_1-微积分
- 机器学习所需的数学基础
- 机器学习笔记_数学基础_7-凸优化理论
- 机器学习的数学基础(1)--Dirichlet分布
- 机器学习的数学基础(1)
- 机器学习的数学基础(一)—— 期望、方差、协方差与相关系数
- 机器学习数学基础001-矩阵及矩阵的基本表示
- 【机器学习数学基础之概率论01】贝叶斯公式
- 机器学习的数学基础:向量篇
- 机器学习数学基础知识备忘
- 机器学习基础(二十)—— 数学语言与 Python 代码
- 机器学习经典书籍--入门书-入门--深入--数学基础