Apache Arrow:一个跨平台的内存数据交换格式
2016-03-16 16:48
501 查看
http://www.uml.org.cn/itnews/2016030208.asp
Apache Arrow是Apache基金会下一个全新的开源项目,同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。 用户在应用大数据分析时除了将Hadoop等大数据平台作为一个经济的存储和批处理平台之外也很看重分析系统的扩展性和性能。过去几年开源社区已经发布了很多工具来完善大数据分析的生态系统,这些工具涵盖了数据分析的各个层面,比如列式存储格式(Parquet/ORC)、内存计算层(Drill、Spark、Impala和Storm)以及强大的API接口(Python和R语言)。Arrow则是最新加入的一员,它提供了一种跨平台跨应用的内存数据交换格式。 提高大数据分析性能的一个重要手段是对列式数据的设计和处理。列式数据处理借助向量计算和SIMD使我们可以充分挖掘硬件的潜力。Apache Drill这一大数据查询引擎无论是在硬盘还是在内存中数据都是以列的方式存在的,而Arrow就是由Drill中Value Vector这一数据格式发展而来。除了列式数据,Apache Arrow也支持关系型和动态数据集,这使它成了处理物联网等数据时的理想格式选择。 Apache Arrow为大数据生态系统带来了可能性是无穷的。有Apache Arrow做为今后的标准数据交换格式,各个数据分析的系统和应用之间的交互性可以说是上了一个新的台阶。过去大部分的CPU周期都花在了数据的序列化和反序列化上,现在我们则能够实现不同系统之间数据的无缝共享。这意味着用户在将不同的系统结合使用时再也不用为数据格式多花心思了。 Performance Advantage of Columnar In-Memory Advantages of a Common Data Layer 每个系统都有自己内部的内存格式 70-80%的CPU浪费在序列化和反序列化过程 类似功能在多个项目中实现,没有一个标准 所有系统都使用同一个内存格式 避免了系统间通信的开销 项目间可以共享功能(比如Parquet-to-Arrow reader) |
相关文章推荐
- apache2.2下编译安装php5.6
- Apache+php 环境配置
- apache服务器URL访问管理
- apache 启用 gzip压缩
- Apache安全加固--修复SSL/TLS弱密码漏洞(中危)和禁用TRACE/TRACK方法(高危)
- Apache Hive integration with Elasticsearh
- linux下编译安装的Apache安全优化方案
- Apache Stratos探究:4.1.x Application Resource Definition(应用程序资源定义)
- org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决
- apache+svn配置过程
- 如何解决WAMP Server Apache与IIS端口冲突问题
- Apache的虚拟主机配置
- org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决
- CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)
- apache+php
- org.apache.commons.beanutils.PropertyUtils和org.apache.commons.beanutils.BeanUtils
- Windows下配置Apache+python cgi
- 浅析Apache重写规则中RewriteCond规则参数和 RewriteRule 规则参数
- Apachetop:展示web服务器实时统计数据
- MAC OSX 10.10 下启用自带的Apache的rewrite模块