吴恩达机器学习线性回归练习题：多变量线性回归（python实现）

练习题背景：网易云课堂->吴恩达机器学习课程->线性回归练习题->多变量线性回归

对于练习题的详细内容，和课程中推荐的octave编程实现，请见：吴恩达机器学习线性回归练习题：多变量线性回归（octave实现）

这边只贴出整个多变量线性回归步骤的Python实现代码，每个步骤在代码中有注释说明，变量和函数的命名也基本与练习题资料一致。

全部代码：

[code]import pandas
import numpy
import matplotlib.pyplot as plt

def featureNormalization(X):
"""
数据标准化
:param X:
:return:
"""
mu = numpy.mean(X, axis=0)
# ddof的设置，会改变标准差的结算结果，因为总体误差和样本误差的计算公式不一样
sigma = numpy.std(X, axis=0, ddof=1)

X_norm = (X - mu) / sigma

return X_norm, mu, sigma

def computeCostMulti(X, y, theta):
"""
计算损失函数
:param X:
:param y:
:param theta:
:return:
"""
m = X.shape[0]
costs = X.dot(theta) - y
total_cost = costs.transpose().dot(costs) / (2 * m)
return total_cost[0][0]

def gradientDescentMulti(X, y, theta, alpha, iterNum):
"""
梯度下降实现
:param X:
:param y:
:param theta:
:param alpha:
:param iterNum:
:return:
"""
m = len(X)

J_history = list()

for i in range(0, iterNum):
costs = X.dot(theta) - y
theta = theta - numpy.transpose(costs.transpose().dot(X) * (alpha / m))

J_history.append(computeCostMulti(X, y, theta))

return theta, J_history

def learningRatePlot(X_norm, y):
"""
不同学习速率下的梯度下降比较
:param X_norm:
:param y:
:return:
"""
colors = ['b', 'g', 'r', 'c', 'm', 'y', 'k']
plt.figure()
iter_num = 50
# 如果学习速率取到3，损失函数的结果随着迭代次数增加而发散，值越来越大，不太适合在同一幅图中展示
for i, al in enumerate([0.01, 0.03, 0.1, 0.3, 1]):
ta = numpy.zeros((X_norm.shape[1], 1))
ta, J_history = gradientDescentMulti(X_norm, y, ta, al, iter_num)

plt.plot([i for i in range(len(J_history))], J_history, colors[i], label=str(al))

plt.title("learning rate")
plt.legend()
plt.show()

def normalEquation(X, y):
"""
正规方程实现
:param X:
:param y:
:return:
"""
return numpy.linalg.inv(X.transpose().dot(X)).dot(X.transpose()).dot(y)

if __name__ == '__main__':
# 读取数据
data_path = r'D:\ML\AndrewNg\machine-learning-ex1\ex1\ex1data2.txt'
data = pandas.read_csv(data_path, delimiter=",", header=None)

# 切分特征和目标， 注意：索引是从0开始的
X = data.iloc[:, 0:2].values
y = data.iloc[:, 2:3].values

# 数据标准化
X_norm, mu, sigma = featureNormalization(X)

ones = numpy.ones((X_norm.shape[0], 1))

# 假设函数中考虑截距的情况下，给每个样本增加一个为1的特征
X_norm = numpy.c_[ones, X_norm]

# 初始化theta
theta = numpy.zeros((X_norm.shape[1], 1))

# 梯度下降学习速率为0.01
alpha = 0.01
# 梯度下降迭代次数为400
iterNum = 400

# 梯度下降
theta, J_history = gradientDescentMulti(X_norm, y, theta, alpha, iterNum)

# 画出梯度下降过程中的收敛情况
plt.figure()
plt.plot([i for i in range(len(J_history))], J_history)
plt.title("learning rate: %f" % alpha)
plt.show()

# 使用不同学习速率下的收敛情况
learningRatePlot(X_norm, y)

# 预测面积为1650，卧室数量为3的房子价格
x_pre = numpy.array([1650, 3])

x_pre_norm = (x_pre - mu) / sigma
numpy_ones = numpy.ones((1,))
x_pre_norm = numpy.concatenate((numpy.ones((1,)), x_pre_norm))
price = x_pre_norm.dot(theta)
print("通过梯度下降求解的参数预测面积1650、卧室数量3的房子价格为：%f" % price[0])

# 下面使用正规方程计算theta
X_ = numpy.c_[ones, data.iloc[:, 0:2].values]
y_ = data.iloc[:, 2:3].values

theta = normalEquation(X_, y)

# 预测面积为1650，卧室数量为3的房子价格
x_pre = numpy.array([1, 1650, 3])
price = x_pre.dot(theta)
print("通过正规方程求解的参数预测面积1650、卧室数量3的房子价格为：%f" % price[0])

代码执行结果：

[code]通过梯度下降求解的参数预测面积1650、卧室数量3的房子价格为：289314.620338
通过正规方程求解的参数预测面积1650、卧室数量3的房子价格为：293081.464335

代码运行过程中会生成两张图：

• 迭代次数为400，学习速率为0.01时，梯度下降的收敛情况：
• 迭代次数为50时，不同学习速率下梯度下降的收敛情况：