三、数据探索

两个角度：数据质量分析、数据特征分析

一、数据质量分析（脏数据）

脏数据分类：

* 缺失值（删除、插补、不处理）

* 异常值（离群点）：

简单统计量分析（判断合理范围）

3δ原则（偏离平均值3倍标准差）

箱形图分析

* 不一致的值(矛盾性、不相容性)

* 重复数据以及带有特殊符号的数据

二、数据特征分析（绘制图表、计算特征向量）

* 分布分析（绘图）：定量：频率分布直方图；定性：饼图、条形图

* 对比分析

* 统计量分析：均值、中位数、众数、极差、标准差、变异系数（标准差相对于均值的离中趋势）、四分位数间距

* 周期性分析

* 贡献度分析(帕累托图)

* 相关性分析（散点图，计算相关系数:pearson相关系数、Spearman秩相关系数、 判定系数）

三、数据探索函数

相关系数：D.corr(method=‘pearson’)

方差：var

标准差 ：std

协方差矩阵：cov

describe:percentiles(0.2,0.4)指定分位数

拓展函数：

cumsum（）:累加

cumprod（）:累乘，依次给出积

cummax()：依次给出前1，2，3…的最大值

画图函数：

plt.plot(s,y,style)二维图

pie :label,size,explode=(0,0.1,0,0)第二部分突出，color

hist

boxplot D.plot(kind=box)