大数据平台架构（数据处理）

数据清洗
在数据挖掘中，海量的原始数据中存在着大量不完整、不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、变换、规约等一系列的处理，该过程就是数据预处理。
数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。
数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。处理过程如下图所示：

数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值。
缺失值处理
从统计上说，缺失的数据可能会产生有偏估计，从而使样本数据不能很好地代表总体，而现实中绝大部分数据都包含缺失值，因此如何缺失值很重要。
一般说来，缺失值的处理包括两个步骤，即缺失数据的识别和缺失值处理。R语言中缺失值通常以NA表示，可以使用函数is.na()判断缺失值是否存在，另外函数complete.cases()可识别样本数据是否完整从而判断确实情况。在对是否存在缺失值进行判断之后需要进行缺失值处理，常用的方法有删除法、替换法、插补法等。
（1）删除法
删除法是最简单的缺失值处理方法，根据数据处理的不同角度可分为删除观测样本、删除变量两种。在R中可通过na.omit()函数移除所有含有缺失数据的行，这属于以减少样本量来换取信息完整性的方法，适用于缺失值所占比例较小的情况；删除变量适用于变量有较大缺失且对研究目标影响不大的情况，意味着要删除整个变量，这在R中可通过data[, -p]来实现，p表示缺失变量所在的列。
（2）替换法
变量按属性可分为数值型和非数值型，二者的处理办法不同：如果缺失值所在变量为数值型，一般用该变量在其他所有对象的取值的均值来替换变量的缺失值；如果为非数值型变量，则使用该变量其他全部有效观测值的中位数或者众数进行替换。
（3）插补法
删除法虽然简单易行，但会存在信息浪费的问题且数据结构会发生变动，以致最后得到有偏的统计结果，替换法也有类似的问题。在面对缺失值问题，常用的插补法有回归插补、多重插补等。回归插补法利用回归模型，将需要插值补缺的变量作为因变量，其他相关变量作为自变量，通过回归函数lm()预测出因变量的值来对缺失值进行补缺；多重插补法的原理是从一个包含缺失值的数据集中生成一组完整的数据，如此进行多次，从而产生缺失值的一个随机样本，R语言中mice()函数包可以进行多重插补。

数据分析
(1)定义：简单来说，数据分析就是对数据进行分析。专业的说法，数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。
(2)作用：它主要实现三大作用：现状分析、原因分析、预测分析(定量)。数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论。
(3)方法：主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法。
(4)结果：数据分析一般都是得到一个指标统计量结果，如总和、平均值等，这些指标数据都需要与业务结合进行解读，才能发挥出数据的价值与作用。

数据挖掘
(1)定义：数据挖掘是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
(2)作用：数据挖掘主要侧重解决四类问题：分类、聚类、关联和预测(定量、定性)，数据挖掘的重点在寻找未知的模式与规律；如我们常说的数据挖掘案例：啤酒与尿布、安全套与巧克力等，这就是事先未知的，但又是非常有价值的信息。
(3)方法：主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘。
(4)结果：输出模型或规则，并且可相应得到模型得分或标签，模型得分如流失概率值、总和得分、相似度、预测值等，标签如高中低价值用户、流失与非流失、信用优良中差等。

数据分析与数据挖掘的区别
数据挖掘和数据分析都是从数据中提取一些有价值的信息，二者有很多联系，但是二者的侧重点和实现手法有所区分。
数据挖掘和数据分析的不同之处：
1、在应用工具上，数据挖掘一般要通过自己的编程来实现需要掌握编程语言；而数据分析更多的是借助现有的分析工具进行。
2、在行业知识方面，数据分析要求对所从事的行业有比较深的了解和理解，并且能够将数据与自身的业务紧密结合起来；而数据挖掘不需要有太多的行业的专业知识。
3、交叉学科方面，数据分析需要结合统计学、营销学、心理学以及金融、政治等方面进行综合分析；数据挖掘更多的是注重技术层面的结合以及数学和计算机的集合
数据挖掘和数据分析的相似之处：
1、数据挖掘和数据分析都是对数据进行分析、处理等操作进而得到有价值的知识。
2、都需要懂统计学，懂数据处理一些常用的方法，对数据的敏感度比较好。
3、数据挖掘和数据分析的联系越来越紧密，很多数据分析人员开始使用编程工具进行数据分析，如SAS、R、SPSS等。而数据挖掘人员在结果表达及分析方面也会借助数据分析的手段。二者的关系的界限变得越来越模糊。、
数据分析(狭义)与数据挖掘的本质都是一样的，都是从数据里面发现关于业务的知识(有价值的信息)，从而帮助业务运营、改进产品以及帮助企业做更好的决策，所以数据分析(狭义)与数据挖掘构成广义的数据分析。