【Python-ML】探索式数据分析EDA(Exploratory Data Analysis)

# -*- coding: utf-8 -*-
'''
Created on 2018年1月24日
@author: Jason.F
@summary: 有监督回归学习-探索式数据分析(EDA，Exploratory Data Analysis)，发现数据的异常和分布情况以及特征间的相互关系
'''
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

#导入波士顿房屋数据集
df=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data',header=None,sep='\s+')
df.columns=['CRIM','ZM','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PTRATIO','B','LSTAT','MEDV']
#散点图矩阵，可视化不同特征间的两两关系，发现特征间关系以及异常点
sns.set(style='whitegrid',context='notebook')
#sns.reset_orig()#重设matplotlib风格
cols=['LSTAT','INDUS','NOX','RM','MEDV']
sns.pairplot(df[cols],size=2.5)
plt.show()
#皮尔逊积矩相关系数pearson product-moment correlation coefficient,衡量两两特征间的线性依赖关系
#标准化各特征间的协方差
cm = np.corrcoef(df[cols].values.T)
sns.set(font_scale=1.5)
hm= sns.heatmap(cm,cbar=True,annot=True,square=True,fmt='.2f',annot_kws={'size':15},yticklabels=cols,xticklabels=cols)
plt.show()