阿里三大数据存储技术抢先看
2017-10-10 00:00
148 查看
过去 10 年,随着互联网技术的快速发展,数据库呈现井喷式发展,出现了各式各样的产品,如文件存储数据库、列存储数据库、NewSQL 数据库。之所有如此,归结于数据量不断快速膨胀,传统数据库在大数据上的处理性能不能满足需求等。企业和开发者趋于去针对不同应用类型开发不同的数据库,来满足对特定数据处理的需求。
阿里巴巴在多种场景下同样有不同的数据存储技术实践,比如:
海量数据场景下的 OLAP 列式数据库 —— HiStore
HiStore 是一款基于独特的知识网格技术的列式数据库,定位于海量数据高压缩比列式存储,是低存储成本,低维护成本,海量数据 OLAP 存储引擎;有效的解决了海量数据存储的成本问题,以及在百亿数据场景下支持实时高效的多维度自由组合的检索。适用场景:
日志/事件管理系统:调用链路日志跟踪,消息轨迹分析,系统/网络安全审计记录;
通信行业:话单分析,用户行为分析等;
大数据量的分析应用:网页/在线分析,移动分析,客户行为分析,营销和广告数据;
数据仓库/数据集市:实时展示统计分析后数据,便于用户根据统计结果做决策;
对数据存储成本敏感,查询有实时性要求的场景应考虑HiStore;
物联网:保存大量物理节点的采集上报,状态等信息,用于后期统计处理;
历史评价数据,历史订单数据等。
高性能时间序列数据库 —— HiTSDB
HiTSDB 是阿里自主研发的面向物联网及相关领域的高性能时间序列数据库产品,支持每秒1000万时序数据点写入;具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%;提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力。主要解决以下问题。
大规模的物联网设备的时序数据高并发写入;
低成本的存储;
灵活高效的数据分析能力。
在线海量数据处理分布式数据库 —— Lindorm
Lindorm 是新一代面向在线海量数据处理的分布式数据库,目前公布的资料不多。在 10 月 11 日- 14 日杭州云栖大会的“互联网新型数据库专场”上,阿里将公布 Lindorm 更多技术详情。届时,阿里的技术专家将通过分享这些多种场景下的数据存储技术实践,帮助企业更好地理解各种数据存储技术的特点,针对自己的业务发展对数据存储技术进行选择和组合。
免费提供最新Linux技术教程书籍,为开源技术爱好者努力做得更多更好:http://www.linuxprobe.com/
阿里巴巴在多种场景下同样有不同的数据存储技术实践,比如:
海量数据场景下的 OLAP 列式数据库 —— HiStore
HiStore 是一款基于独特的知识网格技术的列式数据库,定位于海量数据高压缩比列式存储,是低存储成本,低维护成本,海量数据 OLAP 存储引擎;有效的解决了海量数据存储的成本问题,以及在百亿数据场景下支持实时高效的多维度自由组合的检索。适用场景:
日志/事件管理系统:调用链路日志跟踪,消息轨迹分析,系统/网络安全审计记录;
通信行业:话单分析,用户行为分析等;
大数据量的分析应用:网页/在线分析,移动分析,客户行为分析,营销和广告数据;
数据仓库/数据集市:实时展示统计分析后数据,便于用户根据统计结果做决策;
对数据存储成本敏感,查询有实时性要求的场景应考虑HiStore;
物联网:保存大量物理节点的采集上报,状态等信息,用于后期统计处理;
历史评价数据,历史订单数据等。
高性能时间序列数据库 —— HiTSDB
HiTSDB 是阿里自主研发的面向物联网及相关领域的高性能时间序列数据库产品,支持每秒1000万时序数据点写入;具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%;提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力。主要解决以下问题。
大规模的物联网设备的时序数据高并发写入;
低成本的存储;
灵活高效的数据分析能力。
在线海量数据处理分布式数据库 —— Lindorm
Lindorm 是新一代面向在线海量数据处理的分布式数据库,目前公布的资料不多。在 10 月 11 日- 14 日杭州云栖大会的“互联网新型数据库专场”上,阿里将公布 Lindorm 更多技术详情。届时,阿里的技术专家将通过分享这些多种场景下的数据存储技术实践,帮助企业更好地理解各种数据存储技术的特点,针对自己的业务发展对数据存储技术进行选择和组合。
免费提供最新Linux技术教程书籍,为开源技术爱好者努力做得更多更好:http://www.linuxprobe.com/
相关文章推荐
- 阿里三大数据存储技术抢先看
- android 数据存储技术(1/4)android中网络存储
- 淘宝开源Key/Value结构数据存储系统Tair技术剖析(转载)
- JAXB技术的魔力 --二维CAD图象数据的存储
- 数据存储指南:存储备份技术详解
- Android实现数据存储技术
- 安卓开发_数据存储技术_sqlite
- 第一行代码读书笔记——数据存储全方案,持久化技术
- Android之数据存储——持久化技术
- 数据存储全方案,详解持久化技术
- 【BDTC2016】大数据分析与生态系统论坛:大数据存储、处理技术大比评 百花齐放落地实践大展现
- Android实现数据存储技术(3)
- 第六章 数据存储全方案,详解持久化技术
- 数据安全与数据备份存储技术
- 射频识别技术漫谈(17)——射频卡中数据的存储形式
- 【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路
- Android实现数据存储技术
- 万亿级日志与行为数据存储查询技术剖析(续)——Tindex是改造的lucene和druid
- 【阿里聚安全技术公开课】业务安全及防护(数据风控)
- Android实现数据存储技术