各大集群存储产品点评

各大集群存储产品点评

本文主要是介绍集群存储相关的概念及Scale-out特点，重点对市场上主要的集群存储产品进行了比较和点评。

主要分类方式

目前存储产品的主要分类方法：

首先，无论厂商和用户都习惯将存储系统划分为 高端、中端、低端或入门级产品。

其次，按照数据类型划分，即NAS、SAN、统一存储。

【统一存储的两种方向：NetApp 本质上是用一个NAS 服务器虚拟成一个block 呈现给主机，通过这种“假SAN”的方法把file service 和block service 共同嵌入到一个存储控制器里。另外一个是，利用虚拟机的技术（如VMware），在控制器中同时运行block 级软件和NAS 服务器软件，即可在一对存储控制器里面同时提供SAN/NAS 和iSCSI 的服务。】

按照扩展类型，即纵向扩展Scale-Up和横向扩展Scale-Out。

还有一种分类方法，主存储、近线存储和备份磁盘库，后面两种产品我们目前不会涉足。

我们主要关注的是Scale-Out特性的集群NAS产品。

说明:YeeStor严格定义属于集群文件系统，不仅仅支持NAS访问方式（NFS/CIFS）, YeeStor客户端软件提供标准POSIX接口， 还支持ISCSI、HTTP、FTP等多种访问协议。

什么是集群NAS？

集群（Cluster）是由多个节点构成的一种松散耦合的计算节点集合，协同起来对外提供服务。集群NAS是指协同多个节点提供高性能、高可用或高负载均衡的NAS（NFS/CIFS）服务。

非结构化数据目前呈现快速增长趋势，IDC研究报告分析指出，到2012年非结构化数据将占到数据存储总量的80%以上。集群NAS是一种横向扩展（Scale-out）存储架构，具有容量和性能线性扩展的优势，已经得到全球市场的认可。从EMC对Isilon、HP对IBRIX、DELL对Exanet、Compellent等收购事件，以及IBM推出SONAS、NetApp发布Data ONTAP 8，都可以看出集群NAS已经成为主流存储技术之一。

在国内，我们也看到UIT UFS、龙存LoongStore、九州初志CZSS、美地森YFS等集群NAS解决方案。集群NAS的未来潜在市场巨大，在高性能计算HPC、广电IPTV、视频监控、云存储等行业领域将逐步得到广泛应用。

高性能、高容量以及可扩展性是集群存储得以发展的最得人心的特征。



传统NAS扩张很容易带来以下问题：

1.系统管理。即便是NAS系统管理比SAN存储管理简便很多，但仍然需要花费时间和资源来管理。

2.管理客户端和应用对数据的访问。能够访问的前提是NAS系统必须挂载在对应得服务器或者工作站上。挂载会中断应用的访问，所以在挂载的时候需要预留好服务器上应用的宕机时间。挂载了越多的NAS系统，带来的是更多的宕机时间。

3.文件位置。关于定义文件存放位置的策略应该是基于性能，可访问性，文件创建时间，访问频率，存储成本，可用性，数据保护等诸多方面因素决定的。策略的设定本身不会太难，但事实上，要将文件移动到合适的NAS系统上是一个耗时间的手工数据迁移过程。而且，随着NAS系统越来越庞大，其复杂性也越来越高。

而Scale Out NAS 通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器，利于访问，同时提高了磁盘利用率。

什么是scale up和scale out？

许多存储系统开始很简单，但当需要进行系统扩展时就会变得复杂。升级存储系统最常见的原因是需要更多的容量，以支持更多的用户，文件，应用程序或连接的服务器。

但是通常，存储系统的升级不只是需要容量，系统还对其他存储资源有额外需求，即带宽和计算能力。如果没有足够的I/O带宽，将出现用户或服务器的访问瓶颈；没有足够的计算能力，常用的存储软件如快照、复制和卷管理等服务都将受到限制。

常见的系统扩展方式有scale up和scale out两种。

Scale Up(纵向扩展) 主要是利用现有的存储系统，通过不断增加存储容量来满足数据增长的需求。



但是这种方式只增加了容量，而带宽和计算能力并没有相应的增加。所以，整个存储系统很快就会达到性能瓶颈，需要继续扩展。

这个时候有两种方法，一是采用更强性能的存储引擎（EMC 的Clarion系统和NetApp 的FAS系列，采用增加控制器CPU或内存的方式来提供更强的性能），但是这种方式问题在于价格昂贵；

另外一种方法是额外购买的独立的存储系统，这样又会增加管理的复杂度。

Scale-out横向扩展架构的升级通常是以节点为单位，每个节点往往将包含容量、处理能力和I / O带宽。一个节点被添加到存储系统，系统中的三种资源将同时升级。



从上面的图例可见，容量增长和性能扩展（即增加额外的控制器）是同时进行。

而且，Scale-out架构的存储系统在扩展之后，从用户的视角看起来仍然是一个单一的系统，这一点与我们将多个相互独立的存储系统简单的叠加在一个机柜中是完全不同的。

所以scale out方式使得存储系统升级工作大大简化，用户能够真正实现按需购买，降低TCO。

以下是常见的两个比喻。

一是传统火车和动车。传统的存储Scale-up架构的存储就好像传统的火车一样，当后面的磁盘越挂越多的时候，控制器性能以及背板带宽却不能相应提升，因此传统存储在磁盘容量扩容到一定程度时候，往往性能下降。

集群存储就好像新一代的“动车组”火车一样，当火车车厢增加的时候，前面的火车头动力也随之增加，因此不会发生性能瓶颈。

所谓动车组的设计理念和传统火车设计理念的最大区别在于传统火车主要动力来自于火车头（就像传统模块化阵列的两个控制器），而动车组则不一样，除了车头配有动力装置外，每一节车厢都配有动力推动装置。 集群存储大多都是由一个个节点（X86 服务器）组成，每一个节点添加进去后，不仅能够添加容量，还能够添加整个存储器的整体处理能力。

另外一个鱼缸的比喻：

当你只有六七条鱼的时候， 一个小型鱼缸就够了;可是过一段时间新生了三十多条小鱼，这个小缸显然不够大了。

如果用Scale up解决方案，那么你就需要去买一个大缸，把所有沙、水草、布景、加热棒、温度计都从小缸里拿出来，重新布置到大缸。这个工程可不简单哦，不是十分钟八分钟能搞得定的，尤其水草，纠在一起很难分开(不过这跟迁移数据的工程复杂度比起来实在是毛毛雨啦，不值一提)。

那么现在换个思路，用Scale out方案，就相当于是你在这个小缸旁边接了一个同样的小缸，两个缸联通。鱼可以自动分散到两个缸，你也就省掉了上面提到的那一系列挪沙、水草、布景等的折腾了。

典型产品的规格说明

以下列举的是几个典型的Scale out集群存储产品，如EMC Isilon、Panasas、NetApp Data ONTAP GX、IBM SoNAS。其他的如3Par、BlueArc因为硬件设计上的特殊性，参考性不强，不做列举。

1. Isilon：区分S系列（适用于高随机访问和高IOPS应用，高性能）、X系列（适用于并发和顺序访问，大容量）还有NL备份系列。

Isilon企业级2U Isilon S节点包含以下主要参数：

12个450GB 15K RPM SAS驱动器；每节点容量5.4TB

2个四核Intel 2.33GHz处理器

16GB高速缓存/0.5GB NVRAM

4个1Gb/s以太网接口

2个后端DDR InfiniBand万兆内联接口

热插拔磁盘（12），电源（2），NVRAM电池（2），风扇（3）

最少3个节点构成集群，即集群容量最小为16.2T

Panasas：

ActiveStor主要有三个成员：8（高性价比系列）、11（高容量系列）、12（高性能系列）。

ActiveStor 8（40TB存储容量)起价65000美元；

ActiveStor 11(60TB存储容量，1150 MB/s读取)起价90000美元（主要针对注重容量多过性能的生物科学领域，且不像石油客户那样愿意接受高价格）；

ActiveStor 12（60TB存储容量，现实环境中1600 MB/s写入和1500 MB/s的读取以及80M/s的磁盘点对点传输）起价110000美元。

每个刀片机上2块（2T或其他）硬盘，1+10模式的机箱中可有20块硬盘，即容量为40T。

ActiveStor Appliance Model	ActiveStor 8	ActiveStor 9	ActiveStor 11	ActiveStor 12
产品号	Third	Third	Fourth	Fourth
支持的刀片配置（管理刀片+存储刀片）	1+10, 2+9, or 3+8 and 0+11 for expansion	1+10, 2+9, or 3+8 and 0+11 for expansion	1+10, 2+9, or 3+8 and 0+11 for expansion	1+10 or 2+9. Also 0+11 for expansion
容量(TB) 【1+10刀片】	20 or 40	10 or 20	40 or 60	40 or 60【集群可达到6PB】
客户端数	12,000	12,000	12,000	12,000
硬盘（3.5英寸SATA）	20	10 x 3.5” + 10 x 32GB 2.5” SLC SSD	20	20
ECC 内存 (GB of Cache)*	9, 24, or 44	9, 24, or 44	48	92
最大写吞吐量	550MB/s	550MB/s	950MB/s	1600MB/s
最大读吞吐量	600MB/s	600MB/s	1150MB/s	1500MB/s
网络交换机模块	One (second optional)	One (second optional)	One (second optional)	Two
交换机模块网络上行	10GbE SFP+/CX4 or 4 x GbE Copper	10GbE SFP+/CX4 or 4 x GbE Copper	10GbE SFP+/CX4 or 4 x GbE Copper	10GbE SFP+/CX4 or 4 x GbE Copper
额外的网络管理刀片	N/A	N/A	2 x 10GbE SFP+ port	2 x 10GbE SFP+ port
网络故障切换	可选	可选	可选	标准
高可用性链路聚合	No	No	No	Yes
QDR InfiniBand路由器相容性	Yes	Yes	Yes	Yes
最大重量	150 lb. / 68 kg.	150 lb. / 68 kg.	150 lb. / 68 kg.	150 lb. / 68 kg.
尺寸(HxWxD)	7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm	7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm	7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm	7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm

NetApp

NetApp的Data ONTAP GX系列，以Data ONTAP GX操作系统和两个或更多FAS3050或FAS6070系统基本组件为基础。每个FAS基本组件包括一对为实现高可用性而配置的控制器(节点)。该系统可以由2～24个节点组成，吞吐量可达每秒GB级，容量可达6PB。随着系统中节点的增加，性能呈线性提高。

不过NetApp的Scale out产品采用的文件系统仍然是传统的非分布式的WAFL文件系统。整体解决方案需要传统的存储设备，包括FAS的头，HA和FC互连， RAID DP，备份等等，相比Panasas、Isilon等这类真正的向外扩展系统而言，NetApp的产品扩展性存在限制。

产品亮点
操作系统	NetApp® Data ONTAP® GX 10.0.3 软件
标准软件功能	全局命名空间、FlexVol®、透明 FlexVol 移动、集成自动 RAID 管理器，包括 RAID-DP®、Snapshot™、电子邮件提示、NIS、DNS、NDMP、SSH、CLI、Web GUI、SNMP、FlexCache™ 源服务器
网络协议支持	NFS V2/V3（采用 UDP 或 TCP），Microsoft® CIFS
获得许可的软件产品	FlexVol 高性能选件，存储容错，异步镜像，SnapRestore®
最小 - 最大节点数	2-24
最大裸存储容量	14,112TB
最大卷数	12,000
最大原始卷大小	4080TB
控制器型号	FAS3040、FAS3050、FAS3070、FAS6070、FAS6080
支持的磁盘架（光纤通道、SATA）	DS14mk2 FC、DS14mk4 FC、DS14mk2-AT
支持的磁盘驱动器容量	FC—144GB（10k 或 15k RPM）、300GB（10k 或 15k RPM） SATA—250GB、500GB、750GB、1TB (7.2k RPM)

IBM SoNAS

IBM Scale Out Network Attached Storage (IBM SONAS) 是一个颠覆性的水平扩展 NAS 系统。它通过把高速接口节点与出色的存储子系统和 IBM General Parallel File System (GPFS) 连接起来，提供非常高的性能和可伸缩性。它把先进的水平扩展能力与自动的数据布置和统一的管理结合在一起，让客户能够方便、快捷地把存储基础设施扩展到数 PB 级。IBM SONAS 的突出特点之一是，它使用单一全局名称空间，可以提供与文件的物理位置无关的快速数据访问。

各种厂商对比一览表

市场上出现的Scale out架构的存储系统，其中大多数自创品牌如今已被大厂商收购，目前仅剩下Panasas。

	公司情况	核心市场	技术特点	主要卖点	备注
Panasas	1999年成立，独立厂商	HPC	并行文件系统，后端存储为OSD结构， 区分控制刀片和存储刀片	高性能 面向对象存储 pNFS协议的倡导者	2010年新CEO上任，进行商业化转型
Isilon	2001年成立，2010年被EMC收购	面向大数据和非结构化数据	集群文件系统，不区分元数据和数据节点；	针对企业应用的各种软件功能；性能、容量等定位扩展的硬件节点	被EMC收购后，作为大数据战略方向上的重头兵
Ibrix	2000年立,2009年被HP收购	企业级文件服务软件	集群文件系统，高度可扩展软件产品	Ibrix的横向扩展NAS平台和Ibrix Fusion能够极大地扩展性能、容量和管理能力	惠普推出基于Ibrix的X9000 scale-out文件存储系统
3PAR	1999年成立，2010年被HP收购	中高端存储	SAN集群、 采用了ASIC硬件加速芯片，使其系统能够有出色的性能。	自动精简配置整合进ASIC；InSpire 体系架构（网状控制器结构，可达8个）等，硬件上的改进设计非常有特色。	自动精简配置Thin Provisioning由3PAR公司开创，改变以前需要提前分配容量的问题，做到即写分配，提高存储利用率。
Compellent	2002年成立，2011年被Dell收购	中端市场	SAN集群、 同3PAR有近似，但性能不及，且只能允许两个SAN聚合，而3PAR能够实现8个SAN聚合。	流动数据架构，存储可直接根据业务需求动态进行调整。 可节约整体成本	借助分层架构，SAS或固态硬盘等高性能硬盘能够处理公司最关键的数据，而将很少使用的数据自动迁移到容量大、但速度低的SATA硬盘上的技术。
IBM SONAS	2010年推出的产品	中大型企业	以GPFS为核心，以X86平台为硬件基础，推出的集群NAS产品	2011年4月升级：改进的信息生命周期管理 (ILM)、层次化存储管理 (HSM) 以及简便的部署和防病毒集成	存储 (TB/PB) 和服务器（接口、I/O 和带宽）放在单独的模块化组件中，它们可以独立地升级。分别对应于SONAS 的存储单元和接口节点。
BlueArc	1998年成立，2011年被HDS收购	中高端存储，HDS自2006年一直OEM其产品	文件级集群、 一个是高端Titan系列，一个是入门级Mercury系列	硬件加速文件管理器供应商， 主要生产用于场内可编程门阵列(FPGA)的硬件加速文件管理器，加快文件管理器的运行速度	SiliconFS文件系统不同于用服务器和定制操作系统实现的文件系统，它基于专门的硬件芯片FPGA。 存储模块体现实现面向对象概念、 支持pNFS协议
龙存		网络存储产品	集群NAS	采用通用服务器做为存储与元数据节点， 整体性价比高
中科蓝鲸	研究比较早，2007年正式成立	网络存储产品和解决方案供应商	SAN文件系统	同时支持FC（4Gb、8Gb）、以太网（1Gb、10Gb）接入
美地森	2007年成立	集群存储系统软硬件服务提供商	USS集群存储系统	YFS和Isilon的OneFS功能近似，集合了文件系统、卷管理和RAID。	美地森也推出了WSS云存储、WHS云主机。
创新科UIT	2001年成立，2009年，与Intel进行了战略研发合作，2011年获得Intel注资。	数据存储解决方案提供商和海量信息存储专家	做IP SAN起家，再做NAS，后面通过收购获得FC SAN技术，目前推行统一存储，另外在云存储概念上推出了几款产品。	UFS以大量的通用服务器和存储设备为基础，通过元数据和存储数据分离的非对称式架构，以及负载均衡和数据并发访问的策略，在普通硬件条件下构建了一个大规模存储集群。	UIT参加展销会比较多，所有宣传稿也较多。主要展示其云监控、云媒资、办公云、IPTV等多个行业的云解决方案，以及SV5000G2等自主创新产品； 另外面向个人、家庭用户也有应用产品。

从近两年的各种收购事件来看，集群存储市场已经从小的独立厂商时代转向了大厂商竞争时代，IBM、HP、Dell等大型综合存储方案厂商的加入，一方面是看到了非结构化数据爆炸式增长带来的市场规模扩张，另一方面，也使得集群存储领域的竞争进一步加剧。

l IBM：作为综合存储方案供应商，IBM在集群存储方面同样有自己的策略。在SAN集群方面，IBM收购了XIV，经过有效的整合后，XIV已经成为IBM高端存储产品线的有力补充，在针对非结构化数据的Scale out NAS市场，IBM则将一套由来已久的分布式文件系统方案GPFS重新包装，推出了NAS集群产品SoNAS。

在战略层面，IBM的公共云就采用了SONAS架构。

l HDS：收购BlueArc，它拥有数据分级的技术，它的产品可以在8节点群集中提供文件存储虚拟化功能，将群集容量提高到16PB。 运行在群集上的软件是SiliconFS文件系统，可以提供NFS和CIFS文件存取以及iSCSI SAN存取等功能。BlueArc主要生产硬件加速的Titan和Mercury产品，这些产品均运行有SiliconFS软件系统。7.0版本的SiliconFS把文件的元数据放在固态硬盘或SAS驱动器上，而将文件数据放置于运行速度较慢但是相对便宜的驱动器上，可提供文件访问速度。

l EMC：与倡导统一存储的NetApp不同，EMC看上去仍像是多家公司的组合。EMC旗下曾经有过Avamar、Data Domain、DMX、Clariion、Celerra，以及Isilon等，还需要更好的融合和统一。EMC在7年里收购了53家公司，走大而全的路线。 战略上推行大数据解决方案，Isilon应该是其宣传侧重点。从Isilon被收购的两三年来看，确实是背靠大树好乘凉，EMC的多套方案中均有Isilon的身影，每次大会都有些宣传，相比其老对手Panasas，Isilon现在的发展势头很不错，应用范围越来越宽。

l NetApp核心系统依赖于一个单一的操作系统，无论是SAN、NAS、高端、低端、主存储还是二级存储，都是基于核心的操作系统ONTAP，这是和其他厂商最大的区别。这也是其在并购方面考虑较多的原因。

但NetApp的集群NAS产品Data ONTAP GX并不给力。GX来源于NetApp收购的Spinaker，是一家做Single Namespace的文件系统的厂商，所以GX系列只是一个Single Path Image模式的架构，类似于微软的DFS，将多个独立文件系统，从路径上加一次虚拟，多个文件系统（控制器机头）之间依然采用松耦合方式。GX并没有从骨子里表现为一个Single File system Image的集群或者分布式文件系统，所以市场认同度不高。

l HP：HP最近三年内收购了LeftHand（增强了其存储虚拟化和iSCSI能力）、Ibrix（横向扩展NAS和Fusion管理软件）、以及3PAR（中高端的SAN集群以及Thin概念的各种功能），包装推出了可恒星扩展的P4000G2和X9000，以及提供基于3PAR的统一云存储解决方案。

l Dell：2010年Dell在同HP竞购3Par大战中失败，Dell转为收购与3Par提供的技术相似的Compellent。另外，Dell在2007年收购的EqualLogic，主要是 IP SAN，同样属于Scale out架构，而Compellent在智能数据管理技术和FC SAN领域有优势。

目前戴尔存储产品领域主要分成了四大系列，有着各自清晰的分工和定位，分别针对不同的应用。其中，PowerVault MD系列主要满足入门级直连存储和iSCSI SAN，基于磁盘备份，提供重复数据删除支持，并提供磁带存储，满足长期、离线备份的要求；DX对象存储则实现把静态数据移出主要存储，提供归档解决方案和存储固定及非结构化数据；EqualLogic PS包含了虚拟化与整合、业务级应用、中等规模解决方案，并用来替换各种专有解决方案；Compellent Series 40主要用来帮助企业实现虚拟化和整合，满足企业级应用和大规模的企业解决方案。

l Panasas是业界最早的基于对象技术的高性能存储系统。和所有基于对象存储的并行存储系统一样，Panasas也由client端、管理节点、数据节点（对象存储节点）组成。但和其它系统不同的是，Panasas是包括定制硬件设计的性能优越、功能完善、成熟的商业产品。

Panasas系统的突出特征在于支持文件级的RAID，提高了数据安全性。Panasas已将自己的客户端技术公开，成为目前pNFS（NFSv4.1）标准的基础。