实时数据分析平台、大数据分析、MPP数据仓库 - vertica (二)实时加载 & 查询
2012-10-12 20:16
555 查看
今天,世界各地的信息是连续产生的。因此,隔夜批量加载数据已经成为奢侈的过去。组织必须能够不停顿地加载到信息到他们的分析平台,同时允许进行数据丰富的分析。
信息的时间价值是非常重要的,在数据产生后,用户越早处理就越有价值。对于零售商来说,这可能意味着即时的促销和库存的摆放。对于金融公司,这会影响到及时的交易决策。对于网络游戏公司,这提供了更加个性化和引人入胜的游戏体验。这个最小延迟的量是不容易的壮举。因为从网络源,用户鼠标点击,金融交易,传感器网络和越来越多的其他来源的信息量是压倒性的挑战。
例如固态硬盘驱动器或Fusion-io驱动器。开始加载时,数据在数据库中最佳的层和位置是自动分配的。
信息的时间价值是非常重要的,在数据产生后,用户越早处理就越有价值。对于零售商来说,这可能意味着即时的促销和库存的摆放。对于金融公司,这会影响到及时的交易决策。对于网络游戏公司,这提供了更加个性化和引人入胜的游戏体验。这个最小延迟的量是不容易的壮举。因为从网络源,用户鼠标点击,金融交易,传感器网络和越来越多的其他来源的信息量是压倒性的挑战。
混合的主存中/磁盘上架构
当加载数据的时候,与传统的、管理者繁重的锁的关系数据库系统不同,Vertica设计了一个独特的时间旅行实务模型,以确保极高的并发查询,同时把新的数据加载到系统中。 Vertica通常是传统的行存储数据库加载速度的10多倍。此外,Vertica的为特定目的建造的混合主存内/磁盘上架构,以确保近实时的信息可用性。在分析操作中,我们会自动地查询在内存中和磁盘中的位置,并返回请求的单一结果。Vertica’s FlexStore™
Vertica的FlexStore技术使用户能够控制每列数据不同的存储介质。这允许Vertica的管理员可以很容易地把最频繁的列放在一个更快的存储层,例如固态硬盘驱动器或Fusion-io驱动器。开始加载时,数据在数据库中最佳的层和位置是自动分配的。
相关文章推荐
- 实时数据分析平台、大数据分析、MPP数据仓库 - vertica (三)高级库内分析
- 实时数据分析平台、大数据分析、MPP数据仓库 - vertica (一)分析平台
- druid.io 海量实时OLAP数据仓库 (翻译+总结) (1)——分析框架如hive或者redshift(MPPDB)、ES等
- 实时情况下将事务系统中的增量数据加载到数据仓库的技术和优缺点
- 100亿小数据实时计算平台(大数据系列目录)
- fmri 分析数据 fsl & spm 两大平台比对
- 大数据分析平台搭建教程:基于Apache Zeppelin Notebook和R的交互式数据科学
- 大数据分析平台搭建教程:基于Apache Zeppelin Notebook和R的交互式数据科学
- Android实战简易教程<二十五>(基于Baas的数据表查询下拉刷新和上拉加载实现!)
- MapD:由 GPU 驱动的数据库分析平台可在几毫秒内查询数十亿条数据
- 20.ELK实时日志分析平台之Elasticsearch 查询简介
- 实时情况下将事务系统中的增量数据加载到数据仓库的技术和优缺点
- 金融科技&大数据产品推荐:日志易—机器数据实时搜索分析引擎
- SQL简介&数据表分析&数据查询
- 关于Ext3.0中按条件查询并重新加载Grid中的数据的实现过程及store.load的分析
- 七牛大数据平台的演进与大数据分析实践--转
- 关于Ext3.0中按条件查询并重新加载Grid中的数据的实现过程及store.load的分析
- [翻译]Druid 开篇 - 大数据实时探索性分析平台
- ELK 日志收集实时分析大数据平台(简介)
- 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)