实战hadoop海量数据处理系列03 :数据仓库的设计
2017-06-07 12:09
525 查看
实战hadoop海量数据处理系列03 :数据仓库的设计
鉴于我们之前两章提前预热的开发环境,我们现在来讨论数据仓库的设计,其实本章应该放到一个正式的项目的前端,不过好事总会要来的,准备好数据仓库,我们就可以实地验证sqoop等程序的逻辑。Let’s go!本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。
在阅读本文前,强烈建议阅读原书“系统结构设计”章节。
本文的代码同步于https://github.com/titer1/Play_HadoopFelix
ps:由于图床网络问题,有时候本文的图显示不正常,所以请看不到图的小伙伴稍安勿躁,我会后续跟进处理,想了解原图的,可以在本文下面留言。
overview
原书ER图思考本人对ER图细节的还原
数据库建立脚本的细节
利用存储过程快速填充数据库
小节
1 原书的ER图
这是一张典型的订单系统ER图,作者很耐心的给出数据表不过,仅仅从这个版本的书,初学者往往不能得到
- ER图细节信息,两个实体之间是1:1或者1:N的关系
- 数据库建立的详细过程
- 订单系统运作的过程
关于订单系统,有兴趣的朋友可以详细参考这里 (点我),我将在下个小节讲述我对ER图的还原(仅从书上细节)
2 基于Mysql WorkBench的ER图
由于工作中对于数据库建模软件Mysql WorkBench更熟,我这里使用它来建模,建模图示如下:其中 ,我们可以发现
- 一个订单Orders 可以分解成若干 OrderItems
- 其他,订单Order和Address是一对一关系,OrederItem和Item是一对一关系等
3 数据库创建代码
利用之前的数据库工具,可以导出数据库创建代码,详细如下:-- ----------------------------------------------------- -- Table `BookStore`.`ItemType` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`ItemType` ; CREATE TABLE IF NOT EXISTS `BookStore`.`ItemType` ( `PKId` INT NOT NULL, `Name` VARCHAR(45) NULL DEFAULT NULL, `Description` VARCHAR(45) NULL DEFAULT NULL, PRIMARY KEY (`PKId`)) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`Items` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`Items` ; CREATE TABLE IF NOT EXISTS `BookStore`.`Items` ( `PKId` INT NOT NULL AUTO_INCREMENT, `Name` VARCHAR(45) NULL DEFAULT NULL, `TypedId` INT NOT NULL, `ImageFileSpec` VARCHAR(45) NULL DEFAULT NULL, `Description` VARCHAR(45) NULL DEFAULT NULL, `UnitCost` INT NULL DEFAULT 0, `UnitPrice` INT NULL DEFAULT 0, `ModifyDate` DATETIME NULL, PRIMARY KEY (`PKId`), INDEX `fk_Items_ItemType1_idx` (`TypedId` ASC), CONSTRAINT `fk_Items_ItemType1` FOREIGN KEY (`TypedId`) REFERENCES `BookStore`.`ItemType` (`PKId`) ON DELETE NO ACTION ON UPDATE NO ACTION) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`Addresses` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`Addresses` ; CREATE TABLE IF NOT EXISTS `BookStore`.`Addresses` ( `PKid` INT NOT NULL AUTO_INCREMENT, `Address` VARCHAR(45) NULL DEFAULT NULL, `Country` VARCHAR(45) NULL DEFAULT NULL, `PhoneNumber` VARCHAR(45) NULL DEFAULT NULL, `Fax` VARCHAR(45) NULL DEFAULT NULL, `CustomerId` INT NULL, PRIMARY KEY (`PKid`)) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`Orders` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`Orders` ; CREATE TABLE IF NOT EXISTS `BookStore`.`Orders` ( `PKId` INT NOT NULL AUTO_INCREMENT, `CustomerId` INT NULL, `Status` VARCHAR(45) NULL DEFAULT NULL, `OrderDate` DATETIME NULL, `ShippingHandling` VARCHAR(45) NULL DEFAULT NULL, `ShipToName` VARCHAR(45) NULL DEFAULT NULL, `ShipToAddressId` INT NOT NULL, `SubTotal` INT NULL, `Tax` INT NULL DEFAULT 0, `CreditCardType` VARCHAR(45) NULL DEFAULT NULL, `CreditCardNumber` VARCHAR(45) NULL DEFAULT NULL, `ExpirationDate` DATETIME NULL, `NameOnCard` VARCHAR(45) NULL DEFAULT NULL, `ApprovalCode` VARCHAR(45) NULL DEFAULT NULL, `ModifyDate` DATETIME NULL, PRIMARY KEY (`PKId`), INDEX `fk_Orders_Addresses1_idx` (`ShipToAddressId` ASC), CONSTRAINT `fk_Orders_Addresses1` FOREIGN KEY (`ShipToAddressId`) REFERENCES `BookStore`.`Addresses` (`PKid`) ON DELETE NO ACTION ON UPDATE NO ACTION) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`OrderItems` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`OrderItems` ; CREATE TABLE IF NOT EXISTS `BookStore`.`OrderItems` ( `OrderID` INT NOT NULL, `ItemId` INT NOT NULL, `UnitPrice` INT NULL, `Quantity` INT NULL, `ONPRIMARY` VARCHAR(45) NULL, `ModifyDate` DATETIME NULL, INDEX `fk_OrderItems_Orders_idx` (`OrderID` ASC), INDEX `fk_OrderItems_Items1_idx` (`ItemId` ASC), CONSTRAINT `fk_OrderItems_Orders` FOREIGN KEY (`OrderID`) REFERENCES `BookStore`.`Orders` (`PKId`) ON DELETE NO ACTION ON UPDATE NO ACTION, CONSTRAINT `fk_OrderItems_Items1` FOREIGN KEY (`ItemId`) REFERENCES `BookStore`.`Items` (`PKId`) ON DELETE NO ACTION ON UPDATE NO ACTION) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`Categories` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`Categories` ; CREATE TABLE IF NOT EXISTS `BookStore`.`Categories` ( `PKId` INT NOT NULL AUTO_INCREMENT, `ParentId` VARCHAR(45) NULL DEFAULT NULL, `Description` VARCHAR(45) NULL DEFAULT NULL, `IsLeaf` TINYINT(1) NULL, PRIMARY KEY (`PKId`)) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`ItemCategory` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`ItemCategory` ; CREATE TABLE IF NOT EXISTS `BookStore`.`ItemCategory` ( `ModifyDate` DATETIME NULL, `ItemId` INT NOT NULL, `CateryId` INT NOT NULL, INDEX `fk_ItemCategory_Items1_idx` (`ItemId` ASC), INDEX `fk_ItemCategory_Categories1_idx` (`CateryId` ASC), CONSTRAINT `fk_ItemCategory_Items1` FOREIGN KEY (`ItemId`) REFERENCES `BookStore`.`Items` (`PKId`) ON DELETE NO ACTION ON UPDATE NO ACTION, CONSTRAINT `fk_ItemCategory_Categories1` FOREIGN KEY (`CateryId`) REFERENCES `BookStore`.`Categories` (`PKId`) ON DELETE NO ACTION ON UPDATE NO ACTION) ENGINE = InnoDB; -- ----------------------------------------------------- -- Table `BookStore`.`Clickstream_log` -- ----------------------------------------------------- DROP TABLE IF EXISTS `BookStore`.`Clickstream_log` ; CREATE TABLE IF NOT EXISTS `BookStore`.`Clickstream_log` ( `ipAddress` VARCHAR(45) NULL DEFAULT NULL, `uniqueId` INT NULL, `url` VARCHAR(45) NULL DEFAULT NULL, `SessionId` INT NOT NULL, `SessionTimes` INT NULL, `areaAddress` VARCHAR(45) NULL DEFAULT NULL, `localAddress` VARCHAR(45) NULL DEFAULT NULL, `browserType` VARCHAR(45) NULL DEFAULT NULL, `operationSys` VARCHAR(45) NULL DEFAULT NULL, `referUrl` VARCHAR(45) NULL DEFAULT NULL, `receiveTime` VARCHAR(45) NULL DEFAULT NULL, `userId` VARCHAR(45) NULL DEFAULT NULL, `csvp` VARCHAR(45) NULL DEFAULT NULL, PRIMARY KEY (`SessionId`)) ENGINE = InnoDB;
4 巧用存储过程快速填充数据库
数据库有了,如果想快速的填充数据库,可利用存储过程4.1 相关实例存储过程代码
--- add procdeure by titer1 ,and add random date (-5,0) (0,5) (90,95) CREATE PROCEDURE `insert_Orders_For_alphaTest`(IN num int) begin declare i int; set i=0; while i<num do insert into Orders (PKId,CustomerId,ShipToAddressId,OrderDate,ExpirationDate,ModifyDate) values (rand()*1000,rand()*10,rand()*1000,curdate() - interval floor( rand()*5) day,curdate() + interval floor( rand()*5 + 90 ) day,curdate() + interval floor( rand()*5) day); set i=i+1; end while; end$$
代码中,外围是个循环控制,传入参数是随机生成记录的条数,其中最核心的代码是:
insert into Orders (PKId,CustomerId,ShipToAddressId,OrderDate,ExpirationDate,ModifyDate) values (rand()*1000,rand()*10,rand()*1000,curdate() - interval floor( rand()*5) day,curdate() + interval floor( rand()*5 + 90 ) day,curdate() + interval floor( rand()*5) day);
本例以填充Order为例,我将为所有整型的字段和日期字段填充内容,分别利用rand()和时间函数来填充对应的项目。关于日期函数的填充,我当前想到使用curdate(),但本人认为效果不一定最好,如果读者朋友有更好的建议,请留言。
4.2 运行效果
敲击命令 ,生成101条随机记录call insert_Orders_For_alphaTest(101);
结果图示:
上面这章图详细的说明在windows访问数据的过程
上面这章图详细的说明在centos访问windows主机上同一个数据库数据的过程
5 小结
通过数据库建模最大程度的还原书中数据库,为后续真机数据导入等做好铺垫。不足之处有:
- 填充的数据没有考虑实际运行的场景
- 填充多个相关关联的表,本文中的存储过程函数就还需要大规模改进。
希望开卷有益,谢谢!
相关文章推荐
- 实战hadoop海量数据处理系列 01:数据导入篇
- 实战hadoop海量数据处理系列05 : 实现点击流日志的数据清洗模块
- 实战hadoop海量数据处理系列04预热篇:窗函数row_number 从理论到实践
- 实战hadoop海量数据处理系列:序
- 实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录
- 实战hadoop海量数据处理系列02: hql执行工具
- Hadoop系列之一:大数据存储及处理平台产生的背景
- 7 关于数据仓库维度数据处理的方法探究系列——急剧变化维概述
- Hadoop系列之二:大数据、大数据处理模型及MapReduce
- 2 关于数据仓库维度数据处理的方法探究系列——无变化维度处理
- 9 关于数据仓库维度数据处理的方法探究系列——雪花维
- 8 关于数据仓库维度数据处理的方法探究系列——父子维
- 5 关于数据仓库维度数据处理的方法探究系列——缓慢变化维处理——全历史记录
- PLSQL_海量数据处理系列9_数据管理
- 3 关于数据仓库维度数据处理的方法探究系列——缓慢变化维概述和原理
- 数据仓库自动抽取:通过 SQL Server 企业管理器中的数据转换服务 (DTS) 设计器 创建 Analysis Services 处理任务
- 数据仓库自动抽取:通过 SQL Server 企业管理器中的数据转换服务 (DTS) 设计器 创建 Analysis Services 处理任务
- 4 关于数据仓库维度数据处理的方法探究系列——缓慢变化维处理——覆盖方式
- 7 关于数据仓库维度数据处理的方法探究系列——急剧变化维概述
- 1 关于数据仓库维度数据处理的方法探究系列——维的概述