学习 Flickr 的 基于 LAMP 的容量规划经验

原贴：http://www.dbanotes.net/web/flickr_lamp_capacity_planning.html

学习 Flickr 的 基于 LAMP 的容量规划经验

作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/web/flickr_lamp_capacity_planning.html

好久没怎么正式更新 Blog 了，快荒芜了，长满了 Spam 的荒草。

最近其实发现了不少可以和大家一起学习的好内容。Flickr 的 John Allspaw 在 MySQL Conf 2007 作了一个题为 Capacity planning for LAMP (下载PDF文件) 的技术报告，说起容量规划，多少有点空对空的意思，不过这个 PPT 还是介绍了不少 Flickr 的网站运维经验。

Flickr 的数据量的确越来越惊人了，根据文档中透漏的数据：

Squid Cache 中共有 3500 万张图片；
在 Squid RAM 中有 200 万张图片；
4.7亿的图片，每张图片有4到5种尺寸；
每秒钟 38000 个到 memcached 的请求;
2 PB 裸存储容量(周日需要消耗1.5T 的空间)
三个主要步骤：

计划

基于实际业务，而不是抽象的理论。John Allspaw 认为基准测试(Benchmark) 作用并不大，这一点我也很赞同。在业务频繁变化的环境中，Benchmark 根本不能与实际业务情况匹配。

部署

Flickr 使用SystemImager/SystemConfigurator(自动化安装、软件分发)，CVSup(网络中的文件分发、更新)，Subcon(配置管理工具)提高部署效率。

度量(图形化展现)

Flickr 使用了 Ganglia 来进行容量数据的展现。Ganglia 最初设计是用于高性能集群计算的监控上面，也是以 RRDTool 为基础来进行图形展示。Ganglia 最主要的优点还是管理的方便性: Client/Server 结构, 各自跑 Demon 进行数据交互(XML形式)。相比起来， Cacti + Collectd 需要进行很多手工配置，在面对大量需要监控的主机的时候的确不那么方便。
Web 2.0 站点的运维似乎大家都在摸索着走。期望这次阿里巴巴组织的侠客行大会上也有有朋友坐下来聊聊这个话题(Flickr 的架构师本来可以来的，因为时间的问题不能成行，挺遗憾的)。

--EOF--

这篇 【学习 Flickr 的 基于 LAMP 的容量规划经验 】来自 dbanotes.net |

del.icio.us | 雅虎收藏+

By Fenng on May 13, 2007 9:09 PM | Permalink | Comments (10) | Web | Edit

function affiliateLink(str){ str = unescape(str); var r = ''; for(var i = 0; i < str.length; i++) r += String.fromCharCode(2^str.charCodeAt(i)); document.write(r); }
affiliateLink('%3Ec%22jpgd%3F%20jvvr8--uuu%2Cvgzv/nkli/cfq%2Camo-%3Dpgd%3F62%3B%3A1%20%3COmlgvkxg%22%5Bmwp%22Qkvg%3E-c%3C');

Monetize Your Site

Get Firefox with Google Toolbar for better browsing

Generate revenue from your website. Google AdSense.

本文相关评论|Comments(10)

xLight 的评论:

web2.0的数据量用什么技术消化一直都是热门问题，
也希望能看到更多这方面的文章介绍

May 14, 2007 1:00 AM

jieer 的评论:

好东西，flickr就是nb

May 14, 2007 9:04 AM

SeEr 的评论:

基准测试在很多时候还是很有用的，不管是大架构还是一些小站点里， 流量的突然爆发需在前期能基准测试而做到心里有数,在大站中一些非生产设备的基准测试也是为生产环境做应对措施

May 14, 2007 10:35 AM

yumianfeilong 的评论:

Capacity planning 也需要专门的Team来做，在国内很多SA,DBA都兼任这个。

May 14, 2007 10:52 AM

SeEr 的评论:

基准测试在很多时候还是很有用的，不管是大架构还是一些小站点里， 流量的突然爆发需在前期能基准测试而做到心里有数,在大站中一些非生产设备的基准测试也是为生产环境做应对措施

May 14, 2007 12:07 PM

leavic 的评论:

第一次看到PB这个容量单位，-_-||

May 14, 2007 10:11 PM

jackie 的评论:

图片很耗空间的，flickr好强！

May 16, 2007 3:43 PM

summer 的评论:

俺也很久没有更新了：）

May 16, 2007 11:10 PM

非狐外传 的评论:

不错，学习。

May 21, 2007 10:05 PM

aworld 的评论:

国内有个巴巴变网络相册的
做的还挺好的
http://www.bababian.com
就是在人数上和flickr有些差距
不过现在越来越多的摄影爱好者在加入
而且上传的照片质量越来越高
可以说在国内摄影的专业领域
已经很高了
如果对于交流和学习的话都很不错的地方
而且速度很快，没有专集组或者200张的图片限制