MATLAB数据分析与挖掘实战-数据探索-3.1 数据质量分析
2016-08-14 18:33
309 查看
数据质量分析
主要任务:检查原始数据中(样本数据)是否存在脏数据
脏数据一般是指不符合要求,以及不能直接进行相应分析的数据,
在常见的数据挖掘工作中,脏数据包括:
缺失值
异常值
不一致的值
内部资料 泰迪科技(www.tipdm.com)*
重复数据及含有特殊符号(如#、¥、*)的数据
本小节将主要对数据中的缺失值、异常值和一致性进行分析
=======================================
缺失值 分析:
缺失值分析
缺失值产生的原因
有些信息暂时无法获取,或者获取信息的代价太大。
信息被遗漏
人为因素:输入时认为不重要、忘记填写或对数据理解错误
物理故障:数据采集设备、存储介质、传输媒体的故障
属性值不存在
内部资料 泰迪科技(www.tipdm.com)*
在某些情况下,缺失值并不意味着数据有错误
对一些对象来说某些属性值是不存在的:如一个未婚者的配偶
姓名、一个儿童的固定收入等。
成立仅9天家政公司拿下300万政府大单:三年内无不良记录
=================================
异常值分析
=======================================
一致性分析
================
相关案例 及其代码:
主要任务:检查原始数据中(样本数据)是否存在脏数据
脏数据一般是指不符合要求,以及不能直接进行相应分析的数据,
在常见的数据挖掘工作中,脏数据包括:
缺失值
异常值
不一致的值
内部资料 泰迪科技(www.tipdm.com)*
重复数据及含有特殊符号(如#、¥、*)的数据
本小节将主要对数据中的缺失值、异常值和一致性进行分析
=======================================
缺失值 分析:
缺失值分析
缺失值产生的原因
有些信息暂时无法获取,或者获取信息的代价太大。
信息被遗漏
人为因素:输入时认为不重要、忘记填写或对数据理解错误
物理故障:数据采集设备、存储介质、传输媒体的故障
属性值不存在
内部资料 泰迪科技(www.tipdm.com)*
在某些情况下,缺失值并不意味着数据有错误
对一些对象来说某些属性值是不存在的:如一个未婚者的配偶
姓名、一个儿童的固定收入等。
成立仅9天家政公司拿下300万政府大单:三年内无不良记录
=================================
异常值分析
=======================================
一致性分析
================
相关案例 及其代码:
相关文章推荐
- MATLAB数据分析与挖掘实战-数据探索-3.2 数据特征分析
- MATLAB数据分析与挖掘实战-1
- 《MATLAB数据分析与挖掘实战》赠书活动
- MATLAB数据分析与挖掘实战-数据取样-从大量的业务数据中 获取样本数据
- 《MATLAB数据分析与挖掘实战》赠书活动
- 读书笔记-《Python数据分析与数据挖掘实战》
- Python数据分析与挖掘实战(Pandas,Matplotlib常用方法)
- 快学数据挖掘—数据探索—相关分析
- python数据分析与挖掘实战 第七章 拓展思考
- 关于举办“R数据分析与数据挖掘案例实战”研讨会邀请函
- Python数据分析与挖掘实战—挖掘建模
- python数据分析与挖掘学习笔记(7)-交通路标自动识别实战与神经网络算法
- python数据分析与挖掘实战 第六章 拓展思考
- 零基础数据分析与挖掘R语言实战课程(R语言)
- 快学数据挖掘—数据探索—分布分析和统计量分析
- python数据分析与挖掘实战-4
- python数据分析与挖掘实战—聚类算法对比
- python数据挖掘与分析实战 第5章 一处错误
- 『Python数据分析与挖掘实战』第五章:挖掘建模
- 3.1 数据质量分析