《机器学习实战》学习笔记-[8]-回归-普通最小二乘OLS

分类的目标变量为标称型数据
回归可对连续性数据做出预测
回归的目的就是求出预测数值的目标值，最直接的办法就是写出一个目标值的计算公式：Y=aX+b(线性)或者非线性，回归即为求取系数的过程。

OLS理论基础

对于线性
Y = (X^T)w 
根据平方误差最小求系数（最小二乘）

OLS评价标准

判断模型的好坏可以用相关系数

'''
机器学习实战-回归
'''

from numpy import *

def loadDataSet(fileName):
numFeat = len(open(fileName).readline().split('\t')) - 1
dataMat = [];
labelMat = []
fr = open(fileName)
for line in fr.readlines():
lineArr = []
curLine = line.strip().split('\t')
for i in range(numFeat):
lineArr.append(float(curLine[i]))  # 获取数据部分
dataMat.append(lineArr)
labelMat.append(float(curLine[-1]))  # 获取输出部分
return dataMat, labelMat

'''
OLS
'''
def standRegres(xArr, yArr):
xMat = mat(xArr)
yMat = mat(yArr).T
xTx = xMat.T * xMat
if linalg.det(xTx) == 0.0:  # 行列式的值是否为0，判断是否可逆
print("矩阵不可逆")
return
ws = xTx.I * (xMat.T*yMat)
return ws #返回归回系数

测试

import os

from numpy import *
from ML_Learn.com.ML.Regression.BasicRegressionOLS import regression
import matplotlib.pyplot as plt

#导入训练数据集
xArr, yArr = regression.loadDataSet(os.getcwd() + '/resource/ex0.txt')
ws = regression.standRegres(xArr,yArr)
print("xArr[0:2]: \n", xArr[0:2])
print("yArr[0:2]: \n", yArr[0:2])
print("ws: \n" ,ws)
print("xArr[0:2]*ws.T = \n",mat(xArr[0:2])*ws)

xMat = mat(xArr)
yMat = mat(yArr)
yHat = xMat*ws
#判断模型的好坏-相关系数
cor = corrcoef(yHat.T,yMat)
print("相关系数=  \n", cor)
#
# xArr[0:2]:
#  [[1.0, 0.067732], [1.0, 0.42781]]
# yArr[0:2]:
#  [3.176513, 3.816464]
# ws:
#  [[ 3.00774324]
#  [ 1.69532264]]
# xArr[0:2]*ws.T =
#  [[ 3.12257084]
#  [ 3.73301922]]
# 相关系数=
#  [[ 1.          0.98647356]
#  [ 0.98647356  1.        ]]

fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xMat[:,1].flatten().A[0],yMat.T[:,0].flatten().A[0])
xCopy = xMat.copy()
xCopy.sort(0)
yHat = xCopy*ws
ax.plot(xCopy[:,1],yHat)
plt.show()

源代码

github