大型互联网公司的文件系统演进
2012-03-09 11:01
302 查看
大型互联网公司在发展过程中,文件系统都经历了从集中式存储到分布式存储的演进过程。
1.集中式存储
早期数据量和访问量较小,可以采用emc等公司的NAS存储,但随着访问量增加,网络的瓶颈,扩容的压力和成本,运维的成本都将很高,这些缺点导致集中式存储已经无法支撑业务的需要。
2.分布式存储
可以通过分布式的方案,灵活的扩充,通过廉价的PC,就可以灵活增加存储,并且因为分布式的特点,硬件扩充的过程,不仅仅是存储的增加,而且网络流量的增加,访问量的增加都是同步解决了。
目前主流的分布式文件系统由hadoop文件系统(hdfs),但hdfs对于小文件的存储浪费空间比较严重。并不适合互联网的文件存储场景(从几k到几G的文件都有)。因为很多大型互联网公司基于google GFS轻量级分布式文件系统的原理,形成自有的分布式文件系统。
主要架构基本为
1.tracker服务器
对整个集群数据存储服务容量和接入访问量进行负载均衡。并记录储服务器的状态,以及文件的元数据信息,为避免单点,一般为多台服务器组成集群
2.数据存储服务器
实际保存数据的服务器,可在线灵活扩充,并支持多个备份,实现数据安全和负载均衡的作用
1.集中式存储
早期数据量和访问量较小,可以采用emc等公司的NAS存储,但随着访问量增加,网络的瓶颈,扩容的压力和成本,运维的成本都将很高,这些缺点导致集中式存储已经无法支撑业务的需要。
2.分布式存储
可以通过分布式的方案,灵活的扩充,通过廉价的PC,就可以灵活增加存储,并且因为分布式的特点,硬件扩充的过程,不仅仅是存储的增加,而且网络流量的增加,访问量的增加都是同步解决了。
目前主流的分布式文件系统由hadoop文件系统(hdfs),但hdfs对于小文件的存储浪费空间比较严重。并不适合互联网的文件存储场景(从几k到几G的文件都有)。因为很多大型互联网公司基于google GFS轻量级分布式文件系统的原理,形成自有的分布式文件系统。
主要架构基本为
1.tracker服务器
对整个集群数据存储服务容量和接入访问量进行负载均衡。并记录储服务器的状态,以及文件的元数据信息,为避免单点,一般为多台服务器组成集群
2.数据存储服务器
实际保存数据的服务器,可在线灵活扩充,并支持多个备份,实现数据安全和负载均衡的作用
相关文章推荐
- 初识大型互联网公司分布式系统架构
- 大型互联网公司集群配置系统概述
- 【转载】图解大型互联网网站系统架构的演进过程
- 图解大型互联网网站系统架构的演进过程
- 大型互联网公司APP项目架构演进与优化实践视频教程
- 阿里P9架构师讲解从单机至亿级流量大型网站系统架构的演进过程
- 大型互联网应用中的日志系统
- “Oracle大型数据库系统在AIXUNIX上的实战详解” 答疑十三:使用大文件表
- 上海某大型互联网公司急招数据挖掘工程师
- 几大存储公司的文件系统
- 互联网系统架构的演进
- 各大互联网公司架构演进之路汇总
- 互联网系统架构的演进
- Java程序员如何能进入阿里、大众点评这样的大型互联网公司?
- 大型互联网网站的告警系统及策略
- “Oracle大型数据库系统在AIXUNIX上的实战详解” 答疑十三:使用大文件表空间
- 互联网系统架构的演进
- [10.17日更新]各大互联网公司架构演进之路汇总
- 互联网系统架构的演进
- 2015大型互联网公司也开始招收学校,你准备好要付出的东西?