论文笔记:《the Google File System》
2015-12-21 20:29
561 查看
《the Google File System》Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统,包括几百甚至几千台普通的廉价设备组装的存储机器,同时被相当数量的客户机访问。GFS存储的文件被分割成若干固定大小的chunk,以唯一的chunk标识区分,保存在chunkserver上,为保证数据可靠性,每个chunk块被复制到三个chunkserver。
GFS系统的架构如下图所示,由三部分组成:client,master和chunkserver,其中client从master节点读取元数据,从chunkserver节点进行数据块的读写,从而减少与master节点的通讯(为什么要减少与master节点通讯?原因:GFS只有一个master节点,其带宽和内存有限。另一措施是选用64M的Chunk尺寸,减少了Master节点需要保存的元数据的数量,这就允许我们把元数据全部放在内存中)。一个master节点包含多台chunk服务器,同时可被多个客户端访问,master管理所有元数据(包括chunk名字空间和映射信息,chunk副本存放位置等),采用周期轮询方式,保持和每个chunkserver通讯,使用checksum检测数据是否损坏,周期性的将checkpoint写入本地和远程硬盘,保证在唯一的master节点损坏后,能从最近的checkpoint恢复master节点。
GFS系统的架构如下图所示,由三部分组成:client,master和chunkserver,其中client从master节点读取元数据,从chunkserver节点进行数据块的读写,从而减少与master节点的通讯(为什么要减少与master节点通讯?原因:GFS只有一个master节点,其带宽和内存有限。另一措施是选用64M的Chunk尺寸,减少了Master节点需要保存的元数据的数量,这就允许我们把元数据全部放在内存中)。一个master节点包含多台chunk服务器,同时可被多个客户端访问,master管理所有元数据(包括chunk名字空间和映射信息,chunk副本存放位置等),采用周期轮询方式,保持和每个chunkserver通讯,使用checksum检测数据是否损坏,周期性的将checkpoint写入本地和远程硬盘,保证在唯一的master节点损坏后,能从最近的checkpoint恢复master节点。
相关文章推荐
- 论文笔记:《Google MapReduce》
- 类扩展和category的小区别
- category的概念
- 动态生成带logo的二维码
- bandwagonhost.com (搬瓦工)机房网速比较
- MIT Introduction to Algorithms 学习笔记(四)
- DragonBoard 410c的模拟扩展口与电源管理
- Go语言(golang)开源项目大全
- golang 库
- mongoose 源码分析 ppt
- windows下go开发环境部署 (sublime+gosublime+geocode)
- 去掉google play专为手机设计标识
- Going deeper with convolutions笔记
- Google 的开源技术protobuf 简介与例子
- google auth
- Google全系列产品不再信任赛门铁克某款根证书-转载
- 利用运行时关联(runtime)给分类(Category)中的属性存值.
- 使用boost的库链接问题generic_category()
- ubuntu下安裝sogou拼音
- UBUNTU14.04安装sogou输入法