您的位置:首页 > 其它

数据仓库的个人理解

2007-07-04 14:10 148 查看
定义1:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。
◆面向主题:操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。
◆集成的:数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。
◆相对稳定的:数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。
◆反映历史变化:数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。

个人理解:
面向主题,某企业的分析需求。比如电信行业中“用户话费分析”、税务行业中“入库率分析”、“滞纳金加收率”等。这是需要对多个源系统的海量数据中进行分析而得到的结果。操作型数据库即是企业内部各职能部门各自日常使用的生产数据库,比如人力部门的人力资源数据库、财务部门的资金流管理数据库、仓库的进销存管理系统数据库等,也包括企业商务网站所使用的后台数据库。这些处于不同职 能部门的数据库,相互之间具有分散性,比如人力资源数据库与资金流管理数据库之间的联系就不大明显,但他们都有些共性,就是都是基于某一业务层面的,用于 生产作业的,频繁使用的,故通常把这些数据库通称为业务库或生产库。而数据仓库中的数据就是来自于企业若干或所有业务数据库,把这些分散的业务数据库按照 一定的主题域组织存放在一起。主题即行业主题,所以也就是说,数据仓库是企业按照一定的行业规则把企业内部若干或所有的数据库组织存储在一起的过程。
所谓集成的,就是在把分散的业务库按照行业规则组织存储在一起过程中,所需要做的数据抽取(从业务库抽取数据出来)、清理(清除业务库的脏数据)、转换 (业务库数据格式转换)等工作,以确保存储在数据仓库中的数据保持一致性,从而使数据仓库成为能反映企业整体状况的全局信息。
所谓相对稳定的,就是说,一般情况下,数据仓库里的数据都是只有查询、插入、更新操作,而没有删除操作的,从而使得数据仓库里的信息的具有稳定性。有些使 用,会有这样一种操作,把数据仓库里的某些数据库删除掉了,但马上有把所删除的数据的最新版本插入到数据仓库中。这样一种操作,其实还是更新操作。所以数 据仓库最常的操作是全量加载,增量加载,版本更新。
所谓反映历史变化,是由于数据仓库的相对稳定性,使得数据仓库成为企业整体信息最全面的数据库,它包括从很久以前甚至是从企业诞生以来,整个企业的整体状况的信息,故必然就能反映历史变化了。

定义2:数据仓库是一个过程而不是一个项目。
个人理解:
说数据仓库是一个过程而不是一个项目,是指把从数据由各业务库里抽取出来,到按照某一个行业的规则组织存储到目标数据仓库中,期间是要经过多个工序的。
数据仓库过程可以描述为:
业务库——>ODS(操作数据存储)——>ETL(数据抽取、转换、加载)——>DW(数据仓库)——>DataMarts(数 据集市)——>OLAP(联机分析)——>DM(数据挖掘)——>Report(前端报表展示)。
数据仓库过程,按照不同的实际会有一定的变化,比如有些时候,数据仓库过程是没有ODS这一步骤的。

数据仓库的意义:
这些相对独立的、分散的业务库,其实是具有一定的内在联系,这些是隐蔽的,无法通过人工观察分析来发现,只能通过数据仓库过程中的OLAP、DM等过程,才能找出各业务库之间的隐藏的有机联系,从而为企业决策提供极其重要的参考。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: