hadoopDB 数据仓库 简介

读了两篇关于hadoopDB数据仓库的论文之后，写一点关于hadoopDB的简介：

hadoopDB是耶鲁大学的一个大学项目， 目的是为了构建一个数据仓库的工具。

HadoopDB 结合了hadoop 和paralled RDBMS，结合两个技术的优点。

HadoopDB is to connect multiple single_node database systemusing Hadoop as the task coordinator and network communication layer.

Hadoop的优点：fault toleranceand ability to operate in a heterogeneous environment properties.

缺点： performance,特别是对于join和aggregation操作。

Paralled RDBMS的优点： performance, 特别是对于join和aggregation的优化 处理。

缺点：就是hadoop的优点。

原来hadoop + hive就是一套完整数据仓库工具，hive的作用是把用户输入的类SQL语句翻译成hadoop能够执行一些操作-mapreduce的任务tree（包含多个mapreduce的操作），只有由hadoop去执行。但是这些操作都是基于google自己的HDFS，所以在performance上并不是理想。同类的产品还有yahoo的pig, Microsoft的SCOPE。

HadoopDB的最终想法就是在map阶段把SQL语句尽量的让paralledRDBMS 去执行，尽量发挥并行数据库系统的优势，之后把每个node的输出序列化到temp文件中，在reduce阶段把结果从temp文件中读出即可。

如果实在不能让paralled RDBMS去执行，那么只能依靠mapReduce的功能。



上面是HadooopDB的一个结构图，在原来的hadoop+ hive的基础上，增加了一些组件：

1. SMS Planner.

不清楚是SMS Planner是独立于hive，还是依赖于hive.现在暂且认为SMSPlanner的作用是在hive解析SQL语句生成mapreduce任务tree之后，对mapreduce任务tree进行优化，尽量指导hadoop去paralledDatabase中执行SQL。

2. Catalog。

里面存储了paralled　database的一些信息。

3. Data loader。

负责把原始数据load到paralleddatabase中，需要完成的工作是对原始数据的partition.

4. Database Connector

该类继承自hadoop的inputformat类，用于向各个node传递信息，Databaseconnector里面包含了node里面database的链接信息和需要执行的SQL语句。

5. Paralled DataBase.

用于代替HDBS在各个node上存储数据。

以下面SQL语句为例：

SELECT YEAR(saleDate),SUM(revenue)

FROM sales GROUP BY YEAR(saleDate);

1. 对于hive来说，他会把他翻译成如下步骤：



2. 而通过SMS planner对上面plan的修改，如果在partition的时候，所有的表格是以year为attribute做的partition，那么每个database里面的数据是独立的，也就是可以把上述SQL语句直接给node中的database做查询。那么修改之后的plan如下：

只需要Map阶段把SQL语句传递给每个node，每个node只需要返回查询结果即可，不需要在reduce阶段做什么操作。



3. 但是如果在partition的时候，所有的表格没有以year为attribute做partition, 那么各个database里面的数据不是独立，是需要全部从各个数据库中读出相关表格，之后让mapreduce以year为attribute做map操作，之后对于各个map操作，做reduce操作。



两篇论文：

Abadi - HadoopDB An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads

Abadi - Efficient Processing of Data Warehousing Queries in a Split Execution Environment