有关 Alexa 与 AOL 部署集群文件系统
2008-06-24 23:50
295 查看
这两天关注了一下基于 SAN/NAS 的集群文件系统的产品。找到了关于 Alexa 的一则旧闻,之后又发现了一篇关于 AOL 部署 SAN 文件系统的文章。
SAN 使用的是 HP Modular Smart Array (MSA1000) ,最大支持 12T ,Cache I/O 最大 3 万个,算是个中低端的阵列。Amazon 没有透漏这套系统的吞吐能力,只是说 Ibrix 这套系统能达到 1T 的 I/O 聚合能力,单个 NameSpace 可达 16PB 容量。
不过从现在的一些迹象上来看,Amazon 对存储层重新做了改造。这套解决方案被替换掉了也说不定.
解决方案:文件服务器采用直连的磁盘,每个 12 块 700GB 的 ATA 磁盘,然后通过 Ibrix 融合文件系统进行集群化。
看起来,Ibrix 提供的解决方案很有竞争力。现在一些比较大的用户对于存储层的集群的需求越来越多,快成为趋势,一揽子解决方案还是有必要的,毕竟不是每家技术能力都强如 Amazon、Google ,有的时候用第三方的成本是能小于自己动手 DIY 的。
Alexa 的相关数据
Alexa 超过 1000 台 Linux 服务器 Farm,每半年增长 300T 新数据。经过了同类产品的选型后,最后选择了 Ibrix 融合文件系统。SAN 使用的是 HP Modular Smart Array (MSA1000) ,最大支持 12T ,Cache I/O 最大 3 万个,算是个中低端的阵列。Amazon 没有透漏这套系统的吞吐能力,只是说 Ibrix 这套系统能达到 1T 的 I/O 聚合能力,单个 NameSpace 可达 16PB 容量。
不过从现在的一些迹象上来看,Amazon 对存储层重新做了改造。这套解决方案被替换掉了也说不定.
AOL 的相关数据
原有状况:3000 台主机通过 10000 多个光纤通道端口连接到传统的 SAN 上。其中有 8PB 的非结构化数据,分布在大约 1000 台 文件服务器上。管理维护的复杂度可想而知。解决方案:文件服务器采用直连的磁盘,每个 12 块 700GB 的 ATA 磁盘,然后通过 Ibrix 融合文件系统进行集群化。
看起来,Ibrix 提供的解决方案很有竞争力。现在一些比较大的用户对于存储层的集群的需求越来越多,快成为趋势,一揽子解决方案还是有必要的,毕竟不是每家技术能力都强如 Amazon、Google ,有的时候用第三方的成本是能小于自己动手 DIY 的。
相关文章推荐
- 有关 Alexa 与 AOL 部署集群文件系统
- 集群并行文件系统Lustre部署
- 集群并行文件系统Lustre部署
- RHCS高可用部署以及GFS2/CLVM集群文件系统应用 推荐
- GPFS通用并行文件系统之Centos5.8部署gpfs集群
- GPFS通用并行文件系统之CentOS上部署GPFS集群
- centos 6.4 ceph 分布式集群文件系统部署 手记
- GPFS通用并行文件系统之python自动部署gpfs集群 推荐
- xfs 文件系统部署(centos 5.4)
- (RHCA436)10 GFS2集群文件系统
- CentOS下部署NFS文件系统
- 如何区分分布式/集群/并行文件系统?
- Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署
- 实战CentOS系统部署Hadoop集群服务
- GlusterFS分布式集群文件系统安装、配置及性能测试
- 单机系统改造成集群部署的几个关注点
- ELK(日志分析系统): Elasticsearch + Logstash + Kibana集群环境部署及应用
- 一则 gfs2 集群文件系统无法挂载的解决案例
- redis/分布式文件存储系统/数据库 存储session,解决负载均衡集群中session不一致问题
- mongodb 集群出现 for log file: errno:30 Read-only file system (文件系统只读)