大数据处理的免费键值存储数据库
2013-04-28 13:44
239 查看
在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。
一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。
本文就为你介绍9种用于大数据处理的免费键值存储数据库。
1. Aerospike 社区版
Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。
Aerospike主要用于广告业务,作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。
官网:http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/
相关资料:Documentation、FAQ、Blog、Forums
2. LevelDB
Leveldb是Google开发的一个非常高效的kv数据库,支持billion级别的数据量,在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持,在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎,并部署在线上使用。
官网:http://code.google.com/p/leveldb/
相关资料:Benchmarks、Mailing List、Twitter
3. Scalaris
Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统,提供的 API 包括:Java、Python、Ruby和JSON。
官网:http://scalaris.googlecode.com/
相关资料:Users and Developers Guide、FAQ、Mailing
List
4. Project Voldemort
Voldemort是一个分布式键值存储系统,是Amazon's Dynamo的一个开源克隆。特性如下:
支持自动复制数据到多个服务器上。
支持数据自动分割所以每个服务器只包含总数据的一个子集。
提供服务器故障透明处理功能。
支持可拨插的序化支持,以实现复杂的键-值存储,它能够很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
每个节点相互独立,互不影响。
支持可插拔的数据放置策略
官网:http://project-voldemort.com/
相关资料:Wiki、Mailing List、Github、Project
Voldemort: Scaling Simple Storage、Serving Large-scale Batch Computed Data with Project Voldemort
5. HyperDex
HyperDex是一个分布式、可搜索的键值存储系统,特性如下:
分布式KV存储,系统性能能够随节点数目线性扩展
吞吐和延时都能秒杀现在风头正劲的MonogDB,吞吐甚至强于Redis
使用了hyperspace hashing技术,使得对存储的K-V的任意属性进行查询成为可能
官网:http://hyperdex.org/
相关资料:Documentation、Blog、GitHub、FAQ、Announcement
Mailing List、Discussion Mailing List
6. Berkeley DB
Berkeley DB是一个开源的文件数据库,介于关系数据库与内存数据库之间,使用方式与内存数据库类似,它提供的是一系列直接访问数据库的函数,而不是像关系数据库那样需要网络通讯、SQL解析等步骤。
官网:http://www.oracle.com/technetwork/products/berkeleydb/overview/index.html
相关资料:Wiki、Forums、Launchpad
7. Apache Accumulo
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。
官网:http://accumulo.apache.org/
相关资料:Manual、Mailing Lists、Apache Accumulo
Users Group
8. Redis
Redis是一个高性能的key-value存储系统,和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。与memcached一样,为了保证效率,数据都是缓存在内存中,区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了主从同步。
Redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端,使用很方便。
官网:http://redis.io/
相关资料:Documentation、Tutorials、FAQ、Mailing
List、Twitter
9. Apache Cassandra
Apache Cassandra是一个混合型的非关系数据库,它最初由Facebook开发,用于储存特别大的数据。
Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其它节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能是比较简单的事情,只管在群集里面添加节点就可以了。
官网:http://cassandra.apache.org/
相关资料:Wiki、Getting Started
Via
linuxlinks
一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。
本文就为你介绍9种用于大数据处理的免费键值存储数据库。
1. Aerospike 社区版
Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。
Aerospike主要用于广告业务,作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。
官网:http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/
相关资料:Documentation、FAQ、Blog、Forums
2. LevelDB
Leveldb是Google开发的一个非常高效的kv数据库,支持billion级别的数据量,在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持,在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎,并部署在线上使用。
官网:http://code.google.com/p/leveldb/
相关资料:Benchmarks、Mailing List、Twitter
3. Scalaris
Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统,提供的 API 包括:Java、Python、Ruby和JSON。
官网:http://scalaris.googlecode.com/
相关资料:Users and Developers Guide、FAQ、Mailing
List
4. Project Voldemort
Voldemort是一个分布式键值存储系统,是Amazon's Dynamo的一个开源克隆。特性如下:
支持自动复制数据到多个服务器上。
支持数据自动分割所以每个服务器只包含总数据的一个子集。
提供服务器故障透明处理功能。
支持可拨插的序化支持,以实现复杂的键-值存储,它能够很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
每个节点相互独立,互不影响。
支持可插拔的数据放置策略
官网:http://project-voldemort.com/
相关资料:Wiki、Mailing List、Github、Project
Voldemort: Scaling Simple Storage、Serving Large-scale Batch Computed Data with Project Voldemort
5. HyperDex
HyperDex是一个分布式、可搜索的键值存储系统,特性如下:
分布式KV存储,系统性能能够随节点数目线性扩展
吞吐和延时都能秒杀现在风头正劲的MonogDB,吞吐甚至强于Redis
使用了hyperspace hashing技术,使得对存储的K-V的任意属性进行查询成为可能
官网:http://hyperdex.org/
相关资料:Documentation、Blog、GitHub、FAQ、Announcement
Mailing List、Discussion Mailing List
6. Berkeley DB
Berkeley DB是一个开源的文件数据库,介于关系数据库与内存数据库之间,使用方式与内存数据库类似,它提供的是一系列直接访问数据库的函数,而不是像关系数据库那样需要网络通讯、SQL解析等步骤。
官网:http://www.oracle.com/technetwork/products/berkeleydb/overview/index.html
相关资料:Wiki、Forums、Launchpad
7. Apache Accumulo
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。
官网:http://accumulo.apache.org/
相关资料:Manual、Mailing Lists、Apache Accumulo
Users Group
8. Redis
Redis是一个高性能的key-value存储系统,和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。与memcached一样,为了保证效率,数据都是缓存在内存中,区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了主从同步。
Redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端,使用很方便。
官网:http://redis.io/
相关资料:Documentation、Tutorials、FAQ、Mailing
List、Twitter
9. Apache Cassandra
Apache Cassandra是一个混合型的非关系数据库,它最初由Facebook开发,用于储存特别大的数据。
Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其它节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能是比较简单的事情,只管在群集里面添加节点就可以了。
官网:http://cassandra.apache.org/
相关资料:Wiki、Getting Started
Via
linuxlinks
相关文章推荐
- 一共81个,开源大数据处理工具汇总:查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘=监控
- 一共81个,开源大数据处理工具汇总:查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘=监控
- SQL-SERVER数据库中的游标、存储过程和触发器 关键词 SQL-SERVER、游标、存储过程、触发器、高效处理数据
- Json树形结构数据转Java对象并存储到数据库的实现-超简单的JSON复杂数据处理
- Json树形结构数据转Java对象并存储到数据库的实现-超简单的JSON复杂数据处理 .
- 9.将数据存储到数据库中处理显示分离SQLite数据库操作,以及也买跳转的注意点
- 使用Java来处理C++存储在数据库中的Blob数据。
- JSON复杂数据处理之Json树形结构数据转Java对象并存储到数据库的实现
- 第96讲 通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统(数据库)中
- 功能齐全、效率一流的免费开源数据库导入导出工具(c#开发,支持SQL server、SQLite、ACCESS三种数据库),每月借此处理数据5G以上
- 定时从一个数据库表中的数据存储到另外一个数据库中的表,而且怎么处理重复的数据?
- 数据库中Image字段存储读取数据
- 数据库参考,键值(Key-value)数据库,列式存储,文档型数据库,图型数据库
- 数据库存储树形结构的数据
- 备份一个数据库中每个表的100条数据的存储过程
- Android中数据存储--采用SQLite存储数据及在SDCard中创建数据库
- Android 数据存储之 SQLite嵌入式数据库
- 13—(保存游戏数据 [下文])详解SQLite存储方式,并把SQLite的数据库文件存储在SD卡中
- 五大存储模型关系模型、键值存储、文档存储、列式存储、图形数据库
- 数据库大数据的处理