您的位置:首页 > 其它

集群存储系统介绍

2009-12-21 10:47 218 查看
首先了解一下现在主流的存储架构:



开放系统的直连式存储(Direct-Attached Storage
,简称DAS



已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百GB

以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。

主要问题和不足为:

直连式存储依赖服务器主机操作系统进行数据的IO
读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU
、系统IO

等)。

直连式存储与服务器主机之间的连接通道通常采用SCSI
连接,带宽为160MB/s
,320MB/s
等,随着服务器CPU
的处理能力越 来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI
通道将会成为IO
瓶颈;服务器主机SCSI ID
资源有限,能够建立的SCSI

通道连接有限。

存储区域网络 (Storage Area Network
,简称SAN



采用光纤通道(Fibre Channel
)技术,通过光纤通道交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。SAN
经过十多年历史的发展,已经相当成熟,成为业 界的事实标准(但各个厂商的光纤交换技术不完全相同,其服务器和SAN
存储有兼容性的要求)。SAN
存储采用的带宽从100MB/s
、200MB/s
,发 展到目前的1Gbps
、2Gbps
、4Gbps



网络接入存储(Network-Attached Storage
,简称NAS



采用网络(TCP/IP
、ATM
、FDDI
)技术,通过网络交换机连接存储系统和服务器主机,建立专用于数据存储的存储私网。随着IP
网络技术的发展,网络接入存储(NAS
)技术发生质的飞跃。早期80
年代末到90
年代初的10Mbps
带宽,网络接入存储作为文件服务器存储,性能受带宽影响;后来快速以太网(100Mbps
)、VLAN
虚网、Trunk(Ethernet Channel)
以太网通道的出现,网络接入存储的读写性能得到改善;1998
年千兆以太网(1000Mbps
)的出现和投入商用,为网络接入存储(NAS
)带来质的变化 和市场广泛认可。由于网络接入存储采用TCP/IP
网络进行数据交换,TCP/IP
是IT
业界的标准协议,不同厂商的产品(服务器、交换机、NAS
存储) 只要满足协议标准就能够实现互连互通,无兼容性的要求;并且2002
年万兆以太网(10000Mbps
)的出现和投入商用,存储网络带宽将大大提高NAS
存储的性能。NAS
需求旺盛已经成为事实。首先NAS
几乎继承了磁盘列阵的所有优点,可以将设备通过标准的网络拓扑结构连接,摆脱了服务器和异构化构架的 桎梏;其次,在企业数据量飞速膨胀中,SAN
、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案,但他们那高贵的身份和复杂的操作是资金和技术实力有 限的中小企业无论如何也不能接受的。NAS
正是满足这种需求的产品,在解决足够的存储和扩展空间的同时,还提供极高的性价比。因此,无论是从适用性还是 TCO
的角度来说,NAS

自然成为多数企业,尤其是大中小企业的最佳选择。

传统的地震资料处理集群存储系统采用以下
SAN

架构:



IO

节点连接光纤磁盘阵列,
IO

节点上安装
ADIC StorNext

文件系统,把磁盘阵列做成一个共享的存储池。存储系统共包括一下几个部分:

光纤交换机



SAN

架构由光纤
HBA

卡,光纤交换机和光纤存储三部分组成,光纤通道







机在逻辑上是
SAN

的核心,它连接着主机和
存储



设备。

目前石油行业主要应用的光纤交换机品牌有博科和
McData

光纤磁盘阵列:


从硬件构成来说它应当是由一堆磁盘和控制器及内外接口组成。一般的中、低端光纤磁盘阵列
也正是这种结构:由一个或多个供大量磁盘放置的磁盘柜、两个阵列控制器、阵列背板、若干电源、风扇等硬件部件组成。

其中最为主要的部件就是阵列控制器和磁盘柜:



控制器:通过其内置的控制软件,实现整个阵列的管理。



一般阵列主机的接口就在阵列控制器上,一般每控制器至少有一个主机接口,有些控制器提供更多的主机接口;这些主机接口可以直接或通过光纤交换机与主机连接。此外各种管理接口(
串口、以太网口等)
也在控制器上。

而一般之所以采用两个控制器,主要是从高可用性、提高性能和负载均衡的角度考虑的。很多阵列都可以通过这两个控制器间的切换,防止控制器、连接线缆、网络设备(
如光纤通道交换机和集线器)
、主机HBA
的单点故障。某些阵列则可以通过主机或阵列软件实现多通道的数据访问和通道间的负载均衡。

可以说阵列控制器是中低端磁盘阵列的核心,相当于PC
的主板、内存和CPU
;而放置硬盘的磁盘柜是阵列实际存储数据的地方,相当于PC

的硬盘。

光纤磁盘阵列
磁盘柜:

主要特点是内部一般至少采用冗余的双FC-AL

仲裁环环路结构,内部硬盘实际上同时接在两条仲裁环上。而中端磁盘阵列持的环路数更多,可以达到4

、8

、16

条之多。这种多冗余仲裁环结构最主要的目的就是为了高可用性,它可以防止单个线路、接口的故障导致整个阵列的失效。而且每个环路采用旁路技术来防止无硬盘接入和硬盘故障对环路通信的影响。

SAN


文件系统



目前主流的
SAN

文件系统有如下几个:

StorNext——
又一存储界大户ADIC
作品,仅是共享文件系统,受MetaData

服务器等条件限制性能较差。

  GPFS——IT
全能老大IBM

自行研发,一般随其产品共同销售。既能共享又能并行,经测试性能较好。

 
Lustre——
目前已归开源王SUN
所有,因为开源,所以很多人感兴趣,经测试性能和GPFS
相当,但是都远好于StorNext



内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: