什么是ETL:ETL学习(一)
2010-10-08 15:34
183 查看
由于工作的原因接触ETL也越来越多了,也用过几款ETL产品,现在工作重心全在ETL,说句实话,对于ETL,很多知识还是一知半解,索性当自己是一个初学者,记个笔记,记录自己的学习历程。
一、什么是ETL:
首先,还是先G一下,看看网上是如何定义的;
ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程;
还有一种更为详细的定义;
将数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程;
网上通常将ETL做为数据仓库建设的一部份,主要是对数据仓库应用中的数据做抽取、转换、清洗、装载;说到这里,就有如下疑问了,数据处理的源是什么?数据处理的目的是什么?
1、数据源:可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。当然广义一点,可以为关系型的数据库或者是文件系统。
2、目的地:可以是关系型数据库,也可以是其它的文件系统。
我个人的理解是:ETL是从数据源获得数据并短暂的持有,在此基础上进行清洗、转换,最后将数据装载到目的地中;
二、ETL的特性:
ETL主要是用来处理数据,目前市面上的ETL工具也有无数种,就个人的使用经验而言大致可以总结为以下几点
1、数据源的定义:ETL将数据源的定义工作已帮你完成了大部份,你只需要选择文件、指定原有的关系型数据库或者配置的其它的数据库连接(ODBC、数据库连接池……),可以是指定的文件、实体表或者是你手工拼好的SQL……
2、数据转换、及清洗:数据的转换和清洗都可以用图形的方式,展现出来,方便思路的整理,通过使用ETL提供的功能,就能轻松完成转换和清洗工作;
3、高效、稳定:按照ETL工具提供的配置优化方案配置好之后,能以较高的效率和非常稳定的提交速度来完成数据清洗的工作,比起自己编写程序处理数据速度,那完全是没法与之抗衡!
总结:
通过自己这几天的学习,发现ETL是一门很高深的学问,自己需要学习的东西实现是太多了,那就一切从头再来,就当是又上了一次学吧!
一、什么是ETL:
首先,还是先G一下,看看网上是如何定义的;
ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程;
还有一种更为详细的定义;
将数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程;
网上通常将ETL做为数据仓库建设的一部份,主要是对数据仓库应用中的数据做抽取、转换、清洗、装载;说到这里,就有如下疑问了,数据处理的源是什么?数据处理的目的是什么?
1、数据源:可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。当然广义一点,可以为关系型的数据库或者是文件系统。
2、目的地:可以是关系型数据库,也可以是其它的文件系统。
我个人的理解是:ETL是从数据源获得数据并短暂的持有,在此基础上进行清洗、转换,最后将数据装载到目的地中;
二、ETL的特性:
ETL主要是用来处理数据,目前市面上的ETL工具也有无数种,就个人的使用经验而言大致可以总结为以下几点
1、数据源的定义:ETL将数据源的定义工作已帮你完成了大部份,你只需要选择文件、指定原有的关系型数据库或者配置的其它的数据库连接(ODBC、数据库连接池……),可以是指定的文件、实体表或者是你手工拼好的SQL……
2、数据转换、及清洗:数据的转换和清洗都可以用图形的方式,展现出来,方便思路的整理,通过使用ETL提供的功能,就能轻松完成转换和清洗工作;
3、高效、稳定:按照ETL工具提供的配置优化方案配置好之后,能以较高的效率和非常稳定的提交速度来完成数据清洗的工作,比起自己编写程序处理数据速度,那完全是没法与之抗衡!
总结:
通过自己这几天的学习,发现ETL是一门很高深的学问,自己需要学习的东西实现是太多了,那就一切从头再来,就当是又上了一次学吧!
相关文章推荐
- ETL学习笔记之一:ETL是什么?
- ETL学习笔记之一:ETL是什么?
- ETL学习笔记之一:ETL是什么? 收藏
- 数据库:ETL学习笔记之一:ETL是什么?
- ETL学习笔记之一:ETL是什么?
- ETL学习笔记之一:ETL是什么?
- (soap学习笔记)什么是soap?
- Ajax是什么东东? 有待学习...
- spring学习笔记①spring出现为了解决什么问题?
- 什么叫做“假学习”?
- 什么事都得先打好基础,学习面向对象也是如此
- abstract class和interface有什么区别 ---学习笔记
- Spring学习笔记 什么是AOP
- 学习Android 需要什么 基础
- 大学阶段学习单片机,以后可以有什么用?可以做什么类型的工作?单片机发展前景怎么样?
- 学习C++的最大难度是什么?
- 什么是Web前端?Web前端学习什么?
- 学习Tomcat(一)Tomcat启动做了什么
- 迁移学习与fine-tuning有什么区别
- Jenkins学习——Jenkins是什么