优达（Udacity）波士顿预测房价

机器学习工程师纳米学位

模型评价与验证

项目 1: 预测波士顿房价

第一步. 导入数据

'MEDV'

'RM'

'RM'

'LSTAT'

'PTRATIO'

'MEDV'

'MEDV'

# 载入此项目所需要的库
import numpy as np
import pandas as pd
import visuals as vs # Supplementary code

# 检查你的Python版本
from sys import version_info
if version_info.major != 2 and version_info.minor != 7:
raise Exception('请使用Python 2.7来完成此项目')

# 让结果在notebook中显示
%matplotlib inline

# 载入波士顿房屋的数据集
data = pd.read_csv('housing.csv')
prices = data['MEDV']
features = data.drop('MEDV', axis = 1)

# 完成
print "Boston housing dataset has {} data points with {} variables each.".format(*data.shape)

Boston housing dataset has 489 data points with 4 variables each.

第二步. 分析数据

'RM'

'LSTAT'

'PTRATIO'

'MEDV'

features

prices

编程练习 1：基础统计运算

numpy

prices

'MEDV'

#TODO 1
arrPrices = np.array(prices)
print arrPrices.max()
#目标：计算价值的最小值
minimum_price = np.min(arrPrices)

#目标：计算价值的最大值
maximum_price = np.max(arrPrices)

#目标：计算价值的平均值
mean_price = np.mean(arrPrices)

#目标：计算价值的中值
median_price = np.median(arrPrices)

#目标：计算价值的标准差
std_price = np.std(arrPrices)

#目标：输出计算的结果
print "Statistics for Boston housing dataset:\n"
print "Minimum price: ${:,.2f}".format(minimum_price)
print "Maximum price: ${:,.2f}".format(maximum_price)
print "Mean price: ${:,.2f}".format(mean_price)
print "Median price ${:,.2f}".format(median_price)
print "Standard deviation of prices: ${:,.2f}".format(std_price)

1024800.0
Statistics for Boston housing dataset:

Minimum price: $105,000.00
Maximum price: $1,024,800.00
Mean price: $454,342.94
Median price $438,900.00
Standard deviation of prices: $165,171.13

问题 1 - 特征观察

'RM'

'LSTAT'

'PTRATIO'

'RM'

'LSTAT'

'PTRATIO'

学生/老师

'MEDV'

'RM'

'RM'

MSDV = data['MEDV']
RM = data['RM']
LSTAT = data['LSTAT']
PTRATIO = data['PTRATIO']

import matplotlib.pyplot as plt
plt.plot(RM,MSDV,'o')
plt.xlabel('RM')
plt.ylabel('MSDV')
plt.show()

plt.plot(LSTAT,MSDV,'o')
plt.xlabel('RM')
plt.ylabel('MSDV')
plt.show()

plt.plot(PTRATIO,MSDV,'o')
plt.xlabel('RM')
plt.ylabel('MSDV')
plt.show()

问题 1 - 回答：

编程练习 2: 数据分割与重排

sklearn.model_selection

train_test_split

features

prices

train_test_split

random_state

# TODO 2

# 提示： 导入train_test_split

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(features , prices, test_size=0.2, random_state=10)

问题 2 - 训练及测试

问题 2 - 回答:

第三步. 模型衡量标准

编程练习3：定义衡量标准

performance_metric

sklearn.metrics

r2_score

y_true

y_predict

score

# TODO 3

# 提示： 导入r2_score

def performance_metric(y_true, y_predict):
"""计算并返回预测值相比于预测值的分数"""
from sklearn.metrics import r2_score
score = r2_score(y_true, y_predict)

return score

# TODO 3 可选
# http://blog.csdn.net/grape875499765/article/details/78631435 # 不允许导入任何计算决定系数的库

def performance_metric2(y_true, y_predict):
"""计算并返回预测值相比于预测值的分数"""
import numpy as np
arr_true = np.array(y_true)
y_mean = np.mean(arr_true)

ssreg = 0
sstotal = 0
ssres = 0
for item in y_predict:
ssreg += (item - y_mean)**2
for item in y_true:
sstotal += (item - y_mean)**2
for index,item in enumerate(y_true):
ssres += (item - y_predict[index])**2

score = 1-(ssres/sstotal)

return score

问题 3 - 拟合程度

performance_metric

# 计算这个模型的预测结果的决定系数
score = performance_metric([3, -0.5, 2, 7, 4.2], [2.5, 0.0, 2.1, 7.8, 5.3])
print "Model has a coefficient of determination, R^2, of {:.3f}.".format(score)

Model has a coefficient of determination, R^2, of 0.923.

问题 3 - 回答:

第四步. 分析模型的表现

'max_depth'

'max_depth'

学习曲线

# 根据不同的训练集大小，和最大深度，生成学习曲线
vs.ModelLearning(X_train, y_train)

问题 4 - 学习曲线

问题 4 - 回答:

复杂度曲线

performance_metric

# 根据不同的最大深度参数，生成复杂度曲线
vs.ModelComplexity(X_train, y_train)

问题 5 - 偏差（bias）与方差（variance）之间的权衡取舍

问题 5 - 回答:

问题 6- 最优模型的猜测

问题 6 - 回答:

第五步. 选择最优参数

问题 7- 网格搜索（Grid Search）

问题 7 - 回答:

问题 8 - 交叉验证

'cv_results_'

print pd.DataFrame(grid.cv_results_)

问题 8 - 回答：

编程练习 4：训练最优模型

'max_depth'

'max_depth'

fit_model

'cross_validator'

sklearn.model_selection

KFold

'regressor'

sklearn.tree

DecisionTreeRegressor

'params'

'max_depth'

'scoring_fnc'

sklearn.metrics

make_scorer

‘performance_metric’

'grid'

sklearn.model_selection

GridSearchCV

'regressor'

'params'

'scoring_fnc'

'cross_validator'

from sklearn.model_selection import KFold,GridSearchCV
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import make_scorer

def fit_model(X, y):
""" 基于输入数据 [X,y]，利于网格搜索找到最优的决策树模型"""

cross_validator = KFold(n_splits=10)

regressor = DecisionTreeRegressor()

params = {'max_depth':range(1,10)}

scoring_fnc = make_scorer(performance_metric)

grid = GridSearchCV(regressor, params, scoring_fnc, cv=cross_validator)

# 基于输入数据 [X,y]，进行网格搜索
grid = grid.fit(X, y)

#     import pandas as pd
#     print pd.DataFrame(grid.cv_results_)
# 返回网格搜索后的最优模型
return grid.best_estimator_

编程练习 4：训练最优模型 （可选）

'max_depth'

'max_depth'

fit_model

‘max_depth’

# TODO 4 可选

'''
不允许使用 DecisionTreeRegressor 以外的任何 sklearn 库

提示: 你可能需要实现下面的 cross_val_score 函数

def cross_val_score(estimator, X, y, scoring = performance_metric, cv=3):
""" 返回每组交叉验证的模型分数的数组 """
scores = [0,0,0]
return scores
'''

def fit_model2(X, y):
""" 基于输入数据 [X,y]，利于网格搜索找到最优的决策树模型"""

#最优交叉验证分数对应的最优模型
best_estimator = None

return best_estimator

问题 9 - 最优模型

# 基于训练数据，获得最优模型
optimal_reg = fit_model(X_train, y_train)

# 输出最优模型的 'max_depth' 参数
print "Parameter 'max_depth' is {} for the optimal model.".format(optimal_reg.get_params()['max_depth'])

Parameter 'max_depth' is 4 for the optimal model.

问题 9 - 回答：

第六步. 做出预测

问题 10 - 预测销售价格

# 生成三个客户的数据
client_data = [[5, 17, 15], # 客户 1
[4, 32, 22], # 客户 2
[8, 3, 12]]  # 客户 3

# 进行预测
predicted_price = optimal_reg.predict(client_data)
for i, price in enumerate(predicted_price):
print "Predicted selling price for Client {}'s home: ${:,.2f}".format(i+1, price)

Predicted selling price for Client 1's home: $406,933.33
Predicted selling price for Client 2's home: $232,200.00
Predicted selling price for Client 3's home: $938,053.85

问题 10 - 回答：

编程练习 5

predict_test = optimal_reg.predict(X_test)

r2 = performance_metric(y_test,predict_test)

print "Optimal model has R^2 score {:,.2f} on test data".format(r2)

Optimal model has R^2 score 0.75 on test data

问题11 - 分析决定系数

问题11 - 回答

模型健壮性

问题 12 - 模型健壮性

fit_model

# 请先注释掉 fit_model 函数里的所有 print 语句
vs.PredictTrials(features, prices, fit_model, client_data)

Trial 1: $391,183.33
Trial 2: $411,417.39
Trial 3: $415,800.00
Trial 4: $420,622.22
Trial 5: $418,377.27
Trial 6: $411,931.58
Trial 7: $399,663.16
Trial 8: $407,232.00
Trial 9: $402,531.82
Trial 10: $413,700.00

Range in prices: $29,438.89

问题 12 - 回答：

问题 13 - 实用性探讨

问题 13 - 回答：

可选问题 - 预测北京房价

bj_housing.csv

# TODO 6

# 你的代码

问题14 - 北京房价预测

问题14 - 回答