第三章 并行分布式文件系统 Parallel Distributed File System
2009-01-02 00:20
351 查看
第三章 并行分布式文件系统 Parallel Distributed File System
搜索的引擎的存储规模至少都是TB级别,如何有效地管理和组织这些资源呢?并且在极短的时间内得出结果?MapReduce: Simplified Data Processing on Large Clusters 给出了很好的分析。分布式文件系统的实施必须实现两种临界资源的接口,一个是文件名到命名空间的映射表,另外一个是块表对应到结点机器列表。其中命名空间表示的是文件名到一组机器的映射,具体hash函数可能需要看命名空间的规模,其实就是一个Map过程;其中块表到机器列表的对应,实际是一个Reduce过程,分块存储到控制下的机器群(inodes),换句化说是slave-master的架构,通信的方式越底层的协议执行起来效率越高。具体实现可以参照hadoop。
当然需要考虑的还有很多的细节问题,比如inode机器的turn up 和 turn down,实时地识别这些出现的新机器,关掉的机器也自动地从列表中删除;备份数据个数的选择,备份之间的负载平衡;inode的配置文件的维护;对于终端的用户来说,文件系统虚拟化;
相关文章推荐
- HDFS分布式文件系统(The Hadoop Distributed File System)
- Distributed File System 分布式文件系统
- Sector/Sphere:High Performance Distributed File System and Parallel Data Processing Engine
- A C++ implementaton of MapReduce without distributed filesystem
- HDFS(Hadoop Distributed File System )常用命令示例:
- Yahoo! Hadoop Module 2: The Hadoop Distributed File System
- (Hdoop Distributed File System )分布式文件系统原理;HDFS文件系统基本架构和运行机制
- Not implemented by the DistributedFileSystem FileSystem implementation
- Hadoop Distributed File System
- High Availability for the Hadoop Distributed File System (HDFS)
- What is the difference between distributed and parallel processing operating system?
- 实验问题总结与分享之DFS(Distributed File System)
- Ceph: A Linux petabyte-scale distributed file system
- NameNode Recovery Tools for the Hadoop Distributed File System
- 标准Linux文件系统层次标准(Filesystem Hierarchy Standard,FHS)第三章
- Hadoop Distributed File System 简介
- HDFS(Hadoop distributed filesystem)和KFS (Kosmos distributed filesystem)比较
- HDFS中DistributedFileSystem的创建
- [转]开源分布式文件系统:Gluster File System
- Hadoop Distributed FileSystem (HDFS) Architectural Documentation - Overview