数据清洗与数据预处理浅析

本文根据https://zhuanlan.zhihu.com/p/20571505?refer=data-analyst-improvement 与自己的一些简单心得整理所得

数据清洗与数据预处理在实际中非常重要。在整个项目的开发过程中，数据清洗与预处理的时间通常占到项目总时长的一半以上。而且，数据清洗与预处理的过程还是个极度考验体力与耐心的活，只有胆大细心对数据敏感对业务熟悉的人才能做好这项工作。

链接文章中所给的一幅图，直接拿过来用了：



结合个人的一些实践，写了一些简单的tips，供大家参考

1.去除/补全有缺失的数据

通过计算进行填充

通过经验或者业务填充

通过其他字段进行填充

以统一指标填充(均值，中位数，众数等)

缺失过多，重新取数

2.去除/修改格式和内容错误数据

最常见的是换行符，空格等。

3.去除/修改逻辑错误的数据

去除不合理值

修正矛盾内容

4.去除不需要的数据

把不要的字段给删除掉