数据挖掘（一）

一、数据的相关问题

数据的质量

数据预处理，使数据更适合分析

根据数据联系分析数据，找到数据之间的联系，利用联系进行其余分析

二、名词解释

数据集：数据对象的集合

属性：对象的性质或特性

测量标度：将数值或符号值与对象的属性相关联的规则

数据集的特性

维度

稀疏性：非零项所占比例很小，只存非零项，可节省时间和空间

分辨率：影响数据的性质

数据清理：清理不真实或重复的对象（如人的身高2米，体重2kg）

涉及测量误差的问题：
噪声、伪像、偏倚、精度、准确率
涉及数据质量的问题：
离群点、遗漏、不一致的值、重复数据

数据收集错误：遗漏数据对象、不正确包含数据对象，也就是有其他相似但并不应该包含的数据的干扰

离群点：不同于数据集中其他大部分数据的对象
遗漏值：对象遗漏属性（比如有人不愿意透漏姓名、年龄）

聚集：将两个或多个对象合并成单个对象(如表1：学号姓名，表2学号成绩，聚集之后就变成一个表：学号姓名成绩)

抽样：选择数据对象子集进行分析的方法，数据挖掘中采用抽样是为了节省数据处理需要的时间、费用。

有效抽样的原理：样本越具代表性，效果越接近整个数据集

抽样方法：简单随机抽样（有放回、无放回），分层抽样（对于总体由不同类型对象组成，且数量差别很大）