机器学习(一)线性回归
2015-05-01 12:18
253 查看
线性回归
原文地址:/article/7649356.html作者:hjimce
假设对于输入数据X(x1,x2……xn),输出数据y,对于线性回归我的简单理解就是线性拟合。因为为之前就对拟合这个词比较熟悉,对于最小二乘也是比较熟悉的。对于输入数据X,输出数据y,线性回归的基础公式为:
其中x1,x2……xn表示的是数据X的特征,而x0=1是固定的。我们希望根据已经给定的m个数据集data,求解出未知的参数,θ0,、θ1、θ2…。其实求解这个公式最简单的办法就是最小二乘。根据已给定的m个数据,我们可以列出m个方程组:
公式简化为:
如果m=n那么方程组刚好有唯一的解,如果m>n那么就要用最小二乘的公式求解超静定方程组了。以上的公式可以叫做均匀权的线性回归公式,因为每个数据点构造的方程组的权重都一样,如果每个数据点的权重不一样,那么就叫做加权的线性回归了,此时公式演化为:
这里重点讲解如何用梯度下降法求解,因为梯度下降法可以说是机器学习算法中的基础,学好梯度下降法,后面神经网络、逻辑回归这些就变得相对简单了。
现在先开始推导梯度下降法。定义代价函数为:
其中:
这里需要说明的是上标表示数据点的号码,下表表示参数的编号。
我们希望代价函数J(θ)最小化,即:
而求解这个函数的极小值,就需要对函数J(θ)求偏导,然后令个个偏导方程为0:
其中:
然后联立这n个方程组,求解可得个个参数,其实最后联立出来求解结果,就是最小二乘的求解方法了。梯度下降法与最小二乘的求解方法不一样,梯度下降法是一个迭代公式:
其中公式中的符号“:”表示迭代更新的意思。
因此梯度下降法最后求解公式为:
接着根据公式进行求解,matlab的代码如下:
close all; clear; clc; x=importdata('ex2x.dat'); y=importdata('ex2x.dat'); data(:,2)=x; data(:,1)=1; plot(x,y,'.y'); [m,n]=size(data); dim=2; w=zeros(n,1); %梯度下降法 sigma=0.05; i=1; while i<1000 %残差 for j=1:n r=1./m*sum((data*w-y).*data(:,j)); w(j)=w(j)-sigma*r; end i=i+1; end %line([2,8],[w(1)+w(2)*2,w(1)+w(2)*8]); %最小二乘法 w2=inv(data'*data)*(data'*y);
原数据 拟合结果
*********原创文章,版权所有,转载请注明原文地址******************
相关文章推荐
- 机器学习方法 线性回归和逻辑回归小记
- 机器学习_线性回归,梯度下降算法与正规方程
- 机器学习-线性回归
- 机器学习精简教程之二——用scikit-learn求解一元线性回归问题
- 机器学习笔记1——线性回归,梯度下降
- 机器学习-coursera exercise1-单变量线性回归
- 机器学习(一)线性回归
- 机器学习之单变量线性回归(Linear Regression with One Variable)
- 机器学习——线性回归(梯度下降和正规方程)
- [机器学习笔记] Note3--多变量线性回归
- 七月算法机器学习笔记4--线性回归与逻辑回归
- 斯坦福大学机器学习第三课“多变量线性回归“
- 机器学习中的数学(2)-线性回归,偏差、方差权衡
- 机器学习 Machine Learning(by Andrew Ng)----第三章 多变量线性回归(Linear Regression with multiple variable)
- 机器学习线性回归(matlab)
- 机器学习中的数学(2)-线性回归,偏差、方差权衡
- 机器学习——线性回归(吴恩达老师视频总结和练习代码)
- Stanford公开课机器学习---week1-2.单变量线性回归(Linear Regression with One Variable)
- 机器学习教程之2-线性回归(linear regression)的sklearn实现
- 机器学习--线性回归