数据仓库相关开源技术
2017-08-22 22:45
169 查看
1、理论基础
论文:
PowerDrill:
Dremel:
架构:
大数据Lambda架构
相关关键词:map/reduce hadoop;MPP数据库;流式计算系统
2、基础平台相关技术
接入层技术:
canal:阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
sqoop:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
kafka:
redis:
存储层技术:
hdfs,hbase,kafka,redis
调度层:
yarn,mesos
计算层:
map/reduce
hive,presto
spark
flink
impala
druid
Storm
百度OLAP引擎 Palo
Tez :一个运行在YARN之上支持DAG作业的计算框架,apache二级项目
Oozie:可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务
其他:
MPP架构的实时查询系统有EMC Greenplum、HP Vertica和Google Dremel,
3、参考文章
大数据计算引擎的发展 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/
论文:
PowerDrill:
Dremel:
架构:
大数据Lambda架构
相关关键词:map/reduce hadoop;MPP数据库;流式计算系统
2、基础平台相关技术
接入层技术:
canal:阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
sqoop:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
kafka:
redis:
存储层技术:
hdfs,hbase,kafka,redis
调度层:
yarn,mesos
计算层:
map/reduce
hive,presto
spark
flink
impala
druid
Storm
百度OLAP引擎 Palo
Tez :一个运行在YARN之上支持DAG作业的计算框架,apache二级项目
Oozie:可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务
其他:
MPP架构的实时查询系统有EMC Greenplum、HP Vertica和Google Dremel,
3、参考文章
大数据计算引擎的发展 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/
PowerDrill,Google又一个大数据分析大杀器 http://www.infoq.com/cn/news/2012/08/powerdrill-in-memory-column-stor
大数据分析平台架构 http://www.360doc.com/content/15/0402/09/20625606_459996914.shtml
董西成博客 http://dongxicheng.org/
Apache YARN/Mesos与Google Borg差距多远?(详见参考文档) http://dongxicheng.org/mapreduce-nextgen/yarn-mesos-borg/
相关文章推荐
- ETL 测试/数据仓库测试-----技巧,技术,过程和挑战
- 一文读懂大数据:Hadoop,大数据技术及相关应用
- 数据仓库相关概念
- 数据仓库专题(9)-缓慢变化维处理技术
- 淘宝开源Key/Value结构数据存储系统Tair技术剖析
- 淘宝开源Key/Value结构数据存储系统Tair技术剖析
- 干货:阿里云高级技术专家李金波:我们该如何做好一个数据仓库?
- 淘宝开源Key/Value结构数据存储系统Tair技术剖析
- SQL Server数据仓库相关概念及构建流程
- 数据恢复开源项目相关
- 【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路
- 基于Hadoop生态圈的数据仓库实践 —— 进阶技术(七)
- 数据仓库有关技术
- SGeo中国中心:开源GIS软件、在线教程、数据相关资料
- 外挂辅助技术-分析游戏寻路相关数据准备
- 北美数据仓库的常用技术
- 关于Android数据存储、系统信息相关技术文章网站汇总
- Car-eye 车辆开源平台中流媒体相关技术应用
- [转]开源数据仓库解决方案GreenPlum
- 不浮夸,20本大数据相关图书,只给你实用可依赖的技术