斯坦福《机器学习》Lesson1-3感想-------3、线性回归二
2015-07-02 11:05
260 查看
从上一篇可知,在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小,从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小,这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式,m个训练集(x,y)可以如下表示:
因此
,所以
根据
可知,
为使J(θ)最小,通过求导推导可得:
从(式1)中可以看出,需要对矩阵求逆,因此只适用于逆矩阵存在的时候。这就是普通最小二乘法。
2、局部加权线性回归(LocallyWeighted Linear Regression,LWLR)
普通最小二乘法的线性回归有可能出现欠拟合的现象,因为它求的是具有最小均值方差的无偏估计。因此我们可以选择局部加权线性回归算法。在这个算法里,我们给待预测点附近的每一个点赋予一定的权重,然后在这个子集上基于最小均值方差来进行普通的回归。与待预测点越近,权值越重,即使用核对附近的点赋予更高的权重。最常用的就是高斯核。高斯核对应的权重如下:
在(式2)中,我们唯一需要确定的就是
,它是用户指定的参数,决定了对附近的点赋予多大的权重。
因此如(式3)所示,局部加权线性回归是一个无参算法。
上一篇通过梯度下降法求得J(θ)最小,这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式,m个训练集(x,y)可以如下表示:
因此
,所以
根据
可知,
为使J(θ)最小,通过求导推导可得:
从(式1)中可以看出,需要对矩阵求逆,因此只适用于逆矩阵存在的时候。这就是普通最小二乘法。
2、局部加权线性回归(LocallyWeighted Linear Regression,LWLR)
普通最小二乘法的线性回归有可能出现欠拟合的现象,因为它求的是具有最小均值方差的无偏估计。因此我们可以选择局部加权线性回归算法。在这个算法里,我们给待预测点附近的每一个点赋予一定的权重,然后在这个子集上基于最小均值方差来进行普通的回归。与待预测点越近,权值越重,即使用核对附近的点赋予更高的权重。最常用的就是高斯核。高斯核对应的权重如下:
在(式2)中,我们唯一需要确定的就是
,它是用户指定的参数,决定了对附近的点赋予多大的权重。
因此如(式3)所示,局部加权线性回归是一个无参算法。
相关文章推荐
- CGContextRef使用简要教程
- Mac android studio 连接svn导入项目遇到的问题
- Solr4.10使用教程(一):solr整合tomcat方法一
- RevitAPI: 关闭当前文档Close Active Document
- 在C++ 中 如何调用 C# 写的DLL
- Android 基于google Zxing实现对手机中的二维码进行扫描
- 黑马程序员--java基础学习笔记3
- Datazen笔记索引
- 自动布局
- 扎克伯格谈”人际交往”趋势
- [Gevent]gevent 网络抓取问答
- Viewbox在UWP开发中的应用
- ArduinoYun教程之OpenWrt-Yun与CLI配置Arduino Yun
- Python回调函数用法实例详解
- Spring 系列: Spring 框架简介
- Merge Sorted Array
- Intermediate Unity 3D for iOS: Part 3/3
- 真的防弹吗?AEGIS防弹手机贴膜真枪实测
- initWithNibName 和 loadNibNamed 的区别
- js数组去重的最快方法