kaggle实战房价预测(二)

一、明确目的

1.理解问题：观察分析每个特征对于目标变量的重要程度。

2.目标(因)变量：明确研究的目标变量房价。

3.其他(自)变量：研究其他(自)变量对于目标变量的影响以及自变量与因变量之间的关系。

4.数据清理：对于缺失值和异常值以及分类数据的处理。

二、房价预测数据描述

训练数据一共有1460条，预测数据一共有1459条，每一条数据都有81(包含ID)个特征，其中部分数据存在缺失值(NA)和异常值，缺失值和异常值的产生可能是在录入数据的时候或者某些其他原因产生的，我们需要对其进行一些处理，因为它们可能会对于模型的预测造成一些影响。

三、房价预测

1.查看特征(属性)的名称

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
from scipy.stats import norm
from sklearn.preprocessing import StandardScaler
from scipy import stats
import warnings
warnings.filterwarnings("ignore")

if __name__ == "__main__":
data = pd.read_csv("G:/dataset/kaggle/house_price/train.csv")
print(data.columns)#查看列(特征)的名称
print(len(data.columns))#统计特征的个数


查看前5列的数据，由于列比较多，只会显示部分列
#默认n=5,n表示查看的行数
print(data.head(n=5))



2.分析SalePrice(目标)变量

print(data["SalePrice"].describe())


通过上面可以知道SalePrice的基本数据特征，查看是否存在无效或者其它非数据类型的数据。
sns.distplot(data["SalePrice"])
plt.show()



上图展示的是SalePrice的直方图，曲线代表的是KDE(kernel density estimation)密度曲线，通过上图可以发现房价呈现的是正态分布。通过正态分布曲线我们可以看出曲线的峰度(kurtosis)和偏度(skewness)。
峰度(kurtosis)：描述变量取值分布形态的陡缓程度的统计量。

kurtosis=0与正态分布的陡缓程度相同。

kurtosis>0比正态分布的高峰更加陡峭。

kurtosis<0比正态分布的高峰平。

偏度(skewness)是描述变量取值分布对称性的统计量。

skewness=0分布形态与正态分布偏度相同。

skewness>0表示正(右)偏差数值较大，右边的 尾巴比较长。

skewness<0表示负(左)偏差数值较大，左边的尾巴比较长。

print(data["SalePrice"].kurt())
#6.53628186006
#查看偏度
print(data["SalePrice"].skew())
#1.88287575977

通过峰度和偏度都大于0，表示曲线比较陡峭，长尾巴向右拖。我们可以对SalePrice数据进行一个特征变换，通过对数函数log来消去右拖的长尾巴，使其呈现出一个正常的正态分布。
sns.distplot(np.log(data["SalePrice"]))
plt.show()


3.分析其它(自)变量对salePrice的影响

我们可以根据变量的名称找出一些会对房价影响比较大的变量：

房子面积(LotArea)：面积越大肯定SalePrice约高。

房子位置(Neighborhood)：房子位于市区的位置。

公共设施(Utilities)：公共设施约齐全房价越高，通过Excel可以查看到这一列的值都为AllPub，这就意味着这一列对于我们进行房价预测没有任何的意义，可以直接将这一列进行删除。

房子质量(OverallQual)：分等级，等级越高房价越高。

建造年份(YearBuilt)：具体关系需要后面进行分析得出。

地下室面积(TotalBsmtSF)、生活面积(GrLivArea)、供暖方式(Heating)、中央空调(CentralAir)、其他资产(MiscVal)、GarageCars(车库容纳车的数量)、GarageArea(车库面积)。其中有些变量是数值类型的，有些变量是非数值类型的，对于非数值类型的变量我们需要进行转换，将其转换成为数值类型的变量。下面，将通过更加科学的方式来分析房价与这些变量之间的关系。

a.数值类型特征分析

(1)LotArea地表面积

varName = "LotArea"
data.plot.scatter(x=varName,y="SalePrice",ylim=(0,800000))
plt.show()


通过LotArea和SalePrice的散点图可以发现，LotArea与SalePrice并没有明显的线性关系。

(2)GrLivArea生活面积

varName = "GrLivArea"
data.plot.scatter(x=varName,y="SalePrice",ylim=(0,800000))
plt.show()


从总体的趋势可以发现SalePrice会随着GrLivArea的增大而增大。

(3)TotalBsmtSF地下室面积

varName = "TotalBsmtSF"
data.plot.scatter(x=varName,y="SalePrice",ylim=(0,800000))
plt.show()


(4)MiscVal、GaragerArea、GarageCars
varName = ["MiscVal","GarageArea","GarageCars"]
for i in range(len(varName)):
data.plot.scatter(x=varName[i], y="SalePrice", ylim=(0, 800000))
plt.show()






b.类别特征分析

(1)CentralAir中央空调

varName = "CentralAir"
fig = sns.boxplot(x=varName,y="SalePrice",data=data)
fig.axis(ymin=0,ymax=800000)
plt.show()


通过箱形图可以发现，带有中央空调的房子价格明显要高于没有中央空调的房子。
(2)OverallQual总体评价

varName = "OverallQual"
fig = sns.boxplot(x=varName,y="SalePrice",data=data)
fig.axis(ymin=0,ymax=800000)
plt.show()


可以发现，评价越高房价越高。
(3)YearBuilt建造年份

varName = "YearBuilt"
plt.subplots(figsize=(30,15))
fig = sns.boxplot(x=varName,y="SalePrice",data=data)
fig.axis(ymin=0,ymax=800000)
#将x轴的年份垂直显示
plt.xticks(rotation=90)
plt.show()

varName = "YearBuilt"
data.plot.scatter(x=varName,y="SalePrice",ylim=(0,800000))
plt.show()

建造年份和房价散点图能更加明显的展示出建造年份与房价之间的线性关系。
(4)Neighborhood位置

varName = "Neighborhood"
plt.subplots(figsize=(30,15))
fig = sns.boxplot(x=varName,y="SalePrice",data=data)
fig.axis(ymin=0,ymax=800000)
plt.xticks(rotation=90)
plt.show()



Neighborhood与房价之间的关系并不是特别的明显，后面我们将会采用其他的方法进行分析。
这篇文章主要介绍了对于房价和其它变量的可视化分析，在下一篇文章中，将会使用heatmap图以及变量之间的相关系数和房价之间的相关系数进行进一步的分析。

参考：https://www.kaggle.com/marsggbo/kaggle