IBM将在Hadoop上建立新的存储架构
2011-03-29 10:58
281 查看
11月19日,IBM在SC10上公布了全新存储架构设计的细节。IBM科学家宣称,该设计在将万亿字节的数据变成可用的信息方面,速度比当前技术可以提高两倍。因此,该设计非常适用于云计算和数据密集型的工作负载应用场合,比如数字媒体、数据挖掘、金融分析等。
这种新的架构名为通用并行文件系统无共享群集 (GPFS-SNC,General Parallel File System-Shared Nothing Cluster),旨在通过高级集群技术、动态文件系统管理和高级数据复制(Data Replication)技术来提高可用性和速度。
存储分析发明者和IBM的研究主管Prasenjit Sarkar表示,一个拥有40个节点的文件系统将有12GB/sec吞吐量,并与400个节点的系统可以达到120GB/sec吞吐量。他说:“这是非常符合成本效益的带宽。你得到1MB/sec美元。如果你想复制,存储区域网络,它会非常昂贵。”
“在我们的集群示例中,您可以在Hadoop架构上建立作为群集运行DB2或Oracle数据库”Sarkar说。 “这让我们能够有一个通用的文件系统,广泛的用户可使用。”
据了解,新的架构是让应用程序,支持高性能分析,数据仓库应用程序和云计算的目的。他描述为每个节点或标准的x86服务器有机会获得自己的元数据,缓存,数据存储和管理工具的GPFS的“不共享”的集群技术,同时也有通过千兆位接入在同一时间集群中所有其他节点以太网端口。
他说:“我们所做的,是我们每一个分布式文件系统方面相对于谷歌文件系统,它有一个域节点,元数据,分配,锁管理,令牌管理,即使来自集群服务器的机架,我们仍然可以继续工作。”
所谓无共享,可用性,性能和扩展新的水平,可实现与集群文件系统。中的每个GPFS-SNC的架构节点也自给自足。任务被划分这些独立的计算机之间。
GPFS也支持POSIX,使一个应用广泛的传统上运行的文件系统之上,允许读取和写入执行。Prasenjit Sarkar说:“你可以打开一个文件,你可以读取一个文件,那么你就可以追加到该文件并覆盖任何部分。与谷歌的Hadoop分布式文件系统,你可以不追加到一个文件,你不能覆盖的任何章节,所以你重非常有限你能做什么。”
GPFS的-民委还支持企业数据存储功能,例如快照,备份整个范围内,归档,信息生命周期管理,数据缓存,广域网数据复制和管理政策。该体系结构有一个单一的全球域名称空间,使虚拟机管理程序的节点之间移动。
这种新的架构名为通用并行文件系统无共享群集 (GPFS-SNC,General Parallel File System-Shared Nothing Cluster),旨在通过高级集群技术、动态文件系统管理和高级数据复制(Data Replication)技术来提高可用性和速度。
存储分析发明者和IBM的研究主管Prasenjit Sarkar表示,一个拥有40个节点的文件系统将有12GB/sec吞吐量,并与400个节点的系统可以达到120GB/sec吞吐量。他说:“这是非常符合成本效益的带宽。你得到1MB/sec美元。如果你想复制,存储区域网络,它会非常昂贵。”
“在我们的集群示例中,您可以在Hadoop架构上建立作为群集运行DB2或Oracle数据库”Sarkar说。 “这让我们能够有一个通用的文件系统,广泛的用户可使用。”
据了解,新的架构是让应用程序,支持高性能分析,数据仓库应用程序和云计算的目的。他描述为每个节点或标准的x86服务器有机会获得自己的元数据,缓存,数据存储和管理工具的GPFS的“不共享”的集群技术,同时也有通过千兆位接入在同一时间集群中所有其他节点以太网端口。
他说:“我们所做的,是我们每一个分布式文件系统方面相对于谷歌文件系统,它有一个域节点,元数据,分配,锁管理,令牌管理,即使来自集群服务器的机架,我们仍然可以继续工作。”
所谓无共享,可用性,性能和扩展新的水平,可实现与集群文件系统。中的每个GPFS-SNC的架构节点也自给自足。任务被划分这些独立的计算机之间。
GPFS也支持POSIX,使一个应用广泛的传统上运行的文件系统之上,允许读取和写入执行。Prasenjit Sarkar说:“你可以打开一个文件,你可以读取一个文件,那么你就可以追加到该文件并覆盖任何部分。与谷歌的Hadoop分布式文件系统,你可以不追加到一个文件,你不能覆盖的任何章节,所以你重非常有限你能做什么。”
GPFS的-民委还支持企业数据存储功能,例如快照,备份整个范围内,归档,信息生命周期管理,数据缓存,广域网数据复制和管理政策。该体系结构有一个单一的全球域名称空间,使虚拟机管理程序的节点之间移动。
相关文章推荐
- IBM将在Hadoop上建立全新存储架构设计
- IBM将在Hadoop上树立全新存储架构规划
- 智慧架构大背景下 IBM存储走向细分【转】
- Hadoop平台架构--存储篇
- 优化存储 IBM智慧信息架构高峰论坛开幕
- Hadoop平台架构--存储篇
- Thinking in BigData(九)大数据hadoop集群下离线数据存储和挖掘架构
- 樊华:IBM数字图书馆动态存储基础架构
- 基于Hadoop架构的分布式计算和存储技术及其应用
- Hadoop平台架构--存储篇
- 10月IBM西安智慧信息架构高峰论坛将发布新一代存储解决方案
- IBM智慧存储架构决胜三大领域 五步走上胜利征途
- Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)
- 智慧架构大背景下 IBM存储走向细分
- ibm-1-Powerstart 如何建立灵活的数据中心存储
- 类似google存储架构的开源项目: Hadoop
- 揭秘FaceBook Puma演变及发展——FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上,这个根能立稳吗?hive又是sql的Map reduce任务拆分,底层还是依赖hbase和hdfs存储
- 二叉树的存储、遍历及建立
- IBM存储业务增长背后的故事
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop