从零开始-Machine Learning学习笔记(3)-线性回归中的特征缩放与正规方程
2018-03-07 16:41
399 查看
1.特征缩放
我们在使用多元线性回归的时候,会有多个变量,每个变量的量纲不一样导致其数值上也会不一样。比如我们对与房屋价格的预测上,房间的大小的单位是平方米,其数值大小在几十到几百,而房间数则是一个10以内的数值。如果我们绘制代价函数J的等高线图就可以清楚的看到特征之间的数值差异过大会导致等高线图呈现一个扁长的状态,而这样会导致梯度下降算法要迭代很多次才能收敛。 因此,为了解决这个因为数值差异过大而导致的收敛速度慢的问题,我们应该在进行梯度下降之前对这些数值做一些缩放,这就是所谓的特征缩放。通常,我们将所有的特征尺度都缩放到[-1,1]之间。所使用的手段一般为均值归一化:
xn=xn−μnmax−minxn=xn−μnmax−min
其中,μnμn是平均值。
2.多元线性回归的正规方程
所谓正规方程,就是通过矩阵运算的方式求出最优解的方法,之前我们一直采用的是梯度下降算法来求解我们回归方程中的未知量。现在则可以通过矩阵运算的方式来进行直接求解。具体的推导如下:原代价函数为:J=∑i=1n(yi−f(xi))2=∑i=1n(yi−wxi)2原代价函数为:J=∑i=1n(yi−f(xi))2=∑i=1n(yi−wxi)2
化为矩阵形式(正规方程):J=(y−Xw)T(y−Xw)化为矩阵形式(正规方程):J=(y−Xw)T(y−Xw)
代价函数对w求偏导数:dJdw=2XT(Xw−y)代价函数对w求偏导数:dJdw=2XT(Xw−y)
令这个偏导数为0可以得到以下的递推式:XTXw=XTy令这个偏导数为0可以得到以下的递推式:XTXw=XTy
最后可以得到w的表达式为:w=(XTX)−1(XTy)最后可以得到w的表达式为:w=(XTX)−1(XTy)
最后我们通过正规方程得到了最优的解向量。
显然,使用这种方式要保证(XTX)−1(XTX)−1要存在,即(XTX)−1(XTX)−1是正定矩阵。当(XTX)−1(XTX)−1不是行满秩的时候,会得到多个解向量,选择哪一个解作为输出将由学习算法的归纳偏好决定,常见的做法是引入正则化项。
相关文章推荐
- 机器学习入门系列二(关键词:多变量(非)线性回归,批处理,特征缩放,正规方程
- 机器学习入门系列二(关键词:多变量(非)线性回归,批处理,特征缩放,正规方程)
- Stanford机器学习---第二周.特征缩放、正规方程
- 线性回归--正规方程Normal Equation
- 正规方程求解特征参数的推导过程
- 斯坦福大学机器学习笔记——特征和多项式回归以及正规方程
- 机器学习(四)正规方程求解线性回归问题、正规方法与梯度法的优劣
- 机器学习--吴恩达(线性回归,梯度下降,正规方程法)
- 机器学习02线性回归、多项式回归、正规方程
- 机器学习-线性回归-正规方程
- 关于线性回归:梯度下降和正规方程(gradient descend、normal equation)
- 机器学习:用正规方程法求解线性回归
- tensorflow 实现 正规方程求解线性回归
- [置顶] 教女友学习机器学习0X01——多变量线性回归、特征缩放与多项式回归
- Linear Regression(线性回归)(二)—正规方程(normal equations)
- Matlab梯度下降及正规方程实现多变量的线性回归
- 机器学习——线性回归中正规方程组的推导
- 机器学习_线性回归,梯度下降算法与正规方程
- Linear regression with multiple variables(多特征的线型回归)算法实例_梯度下降解法(Gradient DesentMulti)以及正规方程解法(Normal Equation)
- 机器学习——线性回归(梯度下降和正规方程)