您的位置:首页 > 其它

什么是ETL:ETL学习(一)

2010-10-08 15:34 183 查看
由于工作的原因接触ETL也越来越多了,也用过几款ETL产品,现在工作重心全在ETL,说句实话,对于ETL,很多知识还是一知半解,索性当自己是一个初学者,记个笔记,记录自己的学习历程。

一、什么是ETL:

首先,还是先G一下,看看网上是如何定义的;

ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程;

还有一种更为详细的定义;

将数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程;

网上通常将ETL做为数据仓库建设的一部份,主要是对数据仓库应用中的数据做抽取、转换、清洗、装载;说到这里,就有如下疑问了,数据处理的源是什么?数据处理的目的是什么?

1、数据源:可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。当然广义一点,可以为关系型的数据库或者是文件系统。

2、目的地:可以是关系型数据库,也可以是其它的文件系统。

我个人的理解是:ETL是从数据源获得数据并短暂的持有,在此基础上进行清洗、转换,最后将数据装载到目的地中;

二、ETL的特性:

ETL主要是用来处理数据,目前市面上的ETL工具也有无数种,就个人的使用经验而言大致可以总结为以下几点

1、数据源的定义:ETL将数据源的定义工作已帮你完成了大部份,你只需要选择文件、指定原有的关系型数据库或者配置的其它的数据库连接(ODBC、数据库连接池……),可以是指定的文件、实体表或者是你手工拼好的SQL……

2、数据转换、及清洗:数据的转换和清洗都可以用图形的方式,展现出来,方便思路的整理,通过使用ETL提供的功能,就能轻松完成转换和清洗工作;

    3、高效、稳定:按照ETL工具提供的配置优化方案配置好之后,能以较高的效率和非常稳定的提交速度来完成数据清洗的工作,比起自己编写程序处理数据速度,那完全是没法与之抗衡!

  总结:

  通过自己这几天的学习,发现ETL是一门很高深的学问,自己需要学习的东西实现是太多了,那就一切从头再来,就当是又上了一次学吧!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: