Java-大数据常用的开发工具
2016-03-23 14:36
267 查看
在许多情况下,使用SQL数据库用于存储/检索数据就足够了。但在另一些情况下,要么SQL数据库规模不够,要么还有更好的工具。这一切都取决于使用情况。
现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库,内存缓存,全文搜索引擎,实时流,图形数据库,等等。
MongoDB—— 一种流行的,跨平台的面向文档的数据库。
Elasticsearch——专为云而构建的分布式REST风格搜索引擎。
Cassandra——一个开源的分布式数据库管理系统,最初由Facebook开发,被设计用来处理横跨多个商用服务器的大量数据,提供了无单点故障的高度可用性。
Redis—— 一个开源的(BSD许可),内存数据结构存储,作为数据库、缓存和消息代理使用。
Hazelcast——基于Java的开源内存数据网格。
EHCache——一种被广泛使用的开源Java分布式缓存,用于通用缓存、Java EE和轻量级容器。
Hadoop——用Java编写的一个开源软件框架,用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。
Solr——一个开源的企业搜索平台,用Java编写的,来自于Apache Lucene项目。
Spark——Apache Software Foundation中最活跃的项目,一个开源的集群计算框架。
Memcached—— 一个通用的分布式内存缓存系统。
Apache Hive——提供了Hadoop之上类似于SQL的层。
Apache Kafka—— 一个高通量、分布式的发布-订阅式消息系统,最初开发在LinkedIn上。
Akka—— 一个工具包和运行时,用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。
HBase—— 一个开源的,非关系型的,分布式数据库,在谷歌的BigTable后建模,用Java编写,并运行在HDFS上。
Neo4j——用Java实现的开源图形数据库。
CouchBase——一个开源的、面向文档的分布式NoSQL数据库,特别为了交互式应用而优化。
Apache Storm——开源的分布式实时计算系统。
CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。
Oracle Coherence—— 一个内存的数据网格解决方案,通过提供快速访问常用数据的渠道,使得企业可预测地扩展关键任务应用程序。
Titan—— 一个可扩展的图形数据库,优化的目的在于存储和查询包含数千亿顶点和边的图形,分布在多机集群。
Amazon DynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务,用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。
Amazon Kinesis—— 用于在AWS上的流数据的实时平台。
Datomic—— 一个用Clojure写的完全事务式的,支持云的,分布式数据库。
现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库,内存缓存,全文搜索引擎,实时流,图形数据库,等等。
MongoDB—— 一种流行的,跨平台的面向文档的数据库。
Elasticsearch——专为云而构建的分布式REST风格搜索引擎。
Cassandra——一个开源的分布式数据库管理系统,最初由Facebook开发,被设计用来处理横跨多个商用服务器的大量数据,提供了无单点故障的高度可用性。
Redis—— 一个开源的(BSD许可),内存数据结构存储,作为数据库、缓存和消息代理使用。
Hazelcast——基于Java的开源内存数据网格。
EHCache——一种被广泛使用的开源Java分布式缓存,用于通用缓存、Java EE和轻量级容器。
Hadoop——用Java编写的一个开源软件框架,用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。
Solr——一个开源的企业搜索平台,用Java编写的,来自于Apache Lucene项目。
Spark——Apache Software Foundation中最活跃的项目,一个开源的集群计算框架。
Memcached—— 一个通用的分布式内存缓存系统。
Apache Hive——提供了Hadoop之上类似于SQL的层。
Apache Kafka—— 一个高通量、分布式的发布-订阅式消息系统,最初开发在LinkedIn上。
Akka—— 一个工具包和运行时,用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。
HBase—— 一个开源的,非关系型的,分布式数据库,在谷歌的BigTable后建模,用Java编写,并运行在HDFS上。
Neo4j——用Java实现的开源图形数据库。
CouchBase——一个开源的、面向文档的分布式NoSQL数据库,特别为了交互式应用而优化。
Apache Storm——开源的分布式实时计算系统。
CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。
Oracle Coherence—— 一个内存的数据网格解决方案,通过提供快速访问常用数据的渠道,使得企业可预测地扩展关键任务应用程序。
Titan—— 一个可扩展的图形数据库,优化的目的在于存储和查询包含数千亿顶点和边的图形,分布在多机集群。
Amazon DynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务,用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。
Amazon Kinesis—— 用于在AWS上的流数据的实时平台。
Datomic—— 一个用Clojure写的完全事务式的,支持云的,分布式数据库。
相关文章推荐
- wait与waitpid
- 【技术向】rainmeter的设计与发现
- shiro配置filterchaindefinitions实现多角色判定方法的重写
- Invalid file name: must contain only [a-z0-9_.]
- Groovy DSL (1) Command chains
- pair 函数 (STL)
- 云计算阅读笔记(2)
- 云计算笔记—第一章 云计算的…
- 记一次foxmailQQ邮箱创建失败到解决方法
- 微软AI首席科学家:AlphaGo激发全球人工智能进入新时代
- 物联网 :概念
- 自动释放池工作原理,self = [super init]和定义属性时,什么时候用 assign、retain、copy 以及它们的之间的区别?
- 常用修图工具的一些使用技巧及问题解决方法——ai
- 菜鸟学算法之 POJ 3007 Organize Your Train part II
- leetcode 217. Contains Duplicate
- Microsoft Azure系列之一 什么是云计算
- res\HTTPFilter.manifest : general error c1010070: Failed to load and parse the manifest. {_~
- 最流行的六大数据模型工具
- retain/assign/strong/weak/copy/mutablecopy/autorelease区别
- hdoj A + B Again 2057 (16进制加法)