Drill升级成为Apache的顶级项目
2014-12-12 13:59
761 查看
Apache Drill是是一个能够对大数据进行交互分析、开源的分布式系统,且基于Google
Dremel实现,它能够运行在上千个节点的服务器集群上,且能在几秒内处理PB级或者万亿条的数据记录。Drill能够帮助企业用户快速、高效地进行Hadoop数据查询和企业级大数据分析。Drill于2012年8月份由Apache推出,历经两年多的孵化期后,于近日,Apache 基金会宣布Apache
Drill升级成为基金会的顶级项目。
Drill项目管理委员会成员Tomer Shiran在Apache博客中评论到:
Drill成为顶级项目是其发展过程中的一个重要里程碑,伴随着用户和和不同社区对Drill的关注,Drill将会为基于Hadoop应用的开发者和BI分析人员的工作带来巨大的变化。
MapR的产品管理总监Tomer Shiran在Apache基金会推出Drill时评论到:
Drill与MapReduce应该是相辅相成的关系,在谷歌有数以千计的工程师每天都在使用Dremel和MapReduce,未来也将会有更多的人使用Drill与MapReduce。
从Drill官方对其架构的介绍中得知,其具有适于实时的分析和快速的应用开发、适于半结构化/嵌套数据的分析、兼容现有的SQL环境和Apache Hive等特征。另外,Drill的核心模块是Drillbit服务,该服务模块包括远程访问子模块、SQL解析器、查询优化器、任务计划执行引擎、存储插件接口(DFS、HBase、Hive等的接口)、分布式缓存模块等几部分,如下图所示:
Drill是基于Dremel而实现的开源项目, 而Dremel是来自Google的一种用来分析大数据信息的方法。Dremel能够帮助Google实现海量数据集的分析处理,如抓取Web文档的分析、Android Market上的应用程序数据信息的跟踪、垃圾邮件的分析等。据谷歌的研究报告显示,Dremel能以PB数量级来进行查询,而且只需几秒钟时间就能完成。
Dremel实现,它能够运行在上千个节点的服务器集群上,且能在几秒内处理PB级或者万亿条的数据记录。Drill能够帮助企业用户快速、高效地进行Hadoop数据查询和企业级大数据分析。Drill于2012年8月份由Apache推出,历经两年多的孵化期后,于近日,Apache 基金会宣布Apache
Drill升级成为基金会的顶级项目。
Drill项目管理委员会成员Tomer Shiran在Apache博客中评论到:
Drill成为顶级项目是其发展过程中的一个重要里程碑,伴随着用户和和不同社区对Drill的关注,Drill将会为基于Hadoop应用的开发者和BI分析人员的工作带来巨大的变化。
MapR的产品管理总监Tomer Shiran在Apache基金会推出Drill时评论到:
Drill与MapReduce应该是相辅相成的关系,在谷歌有数以千计的工程师每天都在使用Dremel和MapReduce,未来也将会有更多的人使用Drill与MapReduce。
从Drill官方对其架构的介绍中得知,其具有适于实时的分析和快速的应用开发、适于半结构化/嵌套数据的分析、兼容现有的SQL环境和Apache Hive等特征。另外,Drill的核心模块是Drillbit服务,该服务模块包括远程访问子模块、SQL解析器、查询优化器、任务计划执行引擎、存储插件接口(DFS、HBase、Hive等的接口)、分布式缓存模块等几部分,如下图所示:
Drill是基于Dremel而实现的开源项目, 而Dremel是来自Google的一种用来分析大数据信息的方法。Dremel能够帮助Google实现海量数据集的分析处理,如抓取Web文档的分析、Android Market上的应用程序数据信息的跟踪、垃圾邮件的分析等。据谷歌的研究报告显示,Dremel能以PB数量级来进行查询,而且只需几秒钟时间就能完成。
相关文章推荐
- Storm是如何成为Apache顶级项目的
- Apache SystemML 孵化成功,成为 Apache 顶级项目
- 写在Tapestry 升级成为Apache一级项目之时
- Apache Eagle成为顶级项目
- Tuscany成为Apache顶级项目: 我们毕业了!
- Apache 基金会宣布 Apache Kylin 成为顶级项目
- ActiveMQ日前正式"毕业"成为Apache的顶级项目之一
- Adobe Flex 成为 Apache 基金会顶级开源项目
- Apache Beam正式成为Apache的顶级项目
- 写在Tapestry 升级成为Apache一级项目之时
- Apache Flex孵化完毕成为Apache顶级项目,但前景并不明朗
- 微服务开源项目ServiceComb 毕业成为Apache顶级项目
- 【Storm历史篇】Storm是如何成为Apache顶级项目的
- Apache 基金会宣布 Apache Ranger 毕业成为顶级项目
- Apache 基金会宣布 Apache Ranger 毕业成为顶级项目
- Apache顶级项目介绍7 - HBase
- Apache顶级项目介绍5 - Kylin
- Apache顶级项目介绍4 - Hadoop
- Apache顶级项目8-Geode源码深度分析
- ofbiz 电商项目 apache顶级