数据整合基础知识介绍

数据整合作为一种资源整合的理念和方式，缘起于20世纪90年代初，是随着企业信息化集成需求出现而逐步发展完善。在企业初期信息化建设过程中，由于缺乏信息化建设统一规划，而建立了由不同核心技术构建的信息系统，这类系统存在各类异构问题，导致企业信息数据不能有效流通和利用。如何通过一套企业资源整合方案，并配合相关系统的实施，将企业内部和外部的异构数据源进行整合，提高资源的利用效率，是当今企业信息化建设面临的挑战。数据整合则是实现信息系统集成的关键和导向，其目标是消除系统的分布性和异构性，以及消除各类数据的语义异构问题，实现异构信息子系统间的信息共享。因此在这一领域，关于数据整合价值、特征、技术等方面的理论与解决方案层出不穷。
 

数据整合(Data Integration)，也称数据集成、数据融合，是对异构资源系统中的异质、异类的数据在逻辑上或物理上有机地集中，提供统一的表示和操作，以解决多种异构数据资源互联与共享[1]。由于在企业信息化建设过程中，主要处理信息系统中存在的数据共享利用问题，因此数据整合又指信息集成和数据集成。
 

数据整合的本质是通过一定的技术手段，把存在于异构系统中的异构数据，在物理和逻辑上进行集中利用，屏蔽各种数据的差异，让各种数据相互联系，并形成企业全局视图，达到数据共享利用的目的。众多实践表明，数据整合不仅是信息技术上的问题，还是方法论、流程、规则的组合，数据整合工作需要从系统整合、流程与规则整合、元数据整合、服务整合四个层面展开，如图2-1所示：


  

系统整合层：这是数据整合的数据来源层，在此层通过各类系统集成技术，将异构系统中的业务数据提取出来供其它层使用。
流程、规则整合层：这是数据整合的基础，数据整合只有依据正确合理的流程和规则，才能保证数据整合的质量，整合的流程和规则反映了数据之间的内在联系。
元数据整合层：是根据各类流程规则实现的数据内在关联整合，整合后的数据符合多种逻辑规则，是数据再利用的基础。
服务整合层：是数据整合的最终目的和价值体现，在此层打破了业务数据原有的逻辑规则，进行了服务逻辑重组，形成了面向不同服务的数据再利用。
数据整合包括数据重组和服务重组两个过程，是以分析各类数据之间的联系为基础，以创建各类数据之间的耦合模型为目的，从而使各类数据能全面的、准确的和其它相关数据联系并融合为一体。
数据整合区别于数据挖掘，数据挖掘是数据整合在服务重组阶段的一个典型应用，强调的是数据的重利用。数据整合是数据挖掘的基础，数据挖掘则体现数据整合的最高利用价值。
 
 

 

数据在整合的过程中，需要经过多个步骤的处理，才能符合数据规范和组织的需求，达到数据整合的目标，各数据处理的流程如下：
（1）数据抽取：数据抽取是数据整合的第一步，即选择并提取数据源集中的一个特定子集的处理过程。依靠数据抽取，可以准确地从大批量数据中仅复制相关的数据。
（2）数据传送：数据传送是紧接数据抽取的第二步，即将抽取到的特定数据子集发送到目的位置的处理过程。依靠数据传送，可自动保持数据的流通和共享。
（3）数据清洗：对直接传送来的数据，在数据格式、数据编码、数据一致性等方面按照清洗规则进行处理。依靠数据清洗，可以保障中心数据库中数据的规范性。
（4）数据重组：将清洗后的数据，按照新的数据组织逻辑进行关联处理，加强数据的内在联系。
（5）数据发布：按照主题数据库层需要，将中心数据库中部分数据子集定期发布到主题数据库层。依靠数据发布，可以保障主题数据库层数据的及时更新。
（6）服务重组：根据主题数据库中的数据，通过开放各类数据服务，提供面向各类应用的主题数据服务，以此加强数据的重利用。
（7）数据展示：数据展示通常用报表或图形的表达方式来表示数据之间的关系，使使用者能快速直接的了解到数据变动情况。(作者:周欢)