HDFS源码分析之数据块Block、副本Replica

我们知道，HDFS中的文件是由数据块Block组成的，并且为了提高容错性，每个数据块Block都会在不同数据节点DataNode上有若干副本Replica。那么，什么是Block？什么又是Replica？

首先，我们看下Block的定义，如下：

[java] view plain copy







/**************************************************

* A Block is a Hadoop FS primitive, identified by a

* long.

*

**************************************************/

@InterfaceAudience.Private

@InterfaceStability.Evolving

public class Block implements Writable, Comparable<Block> {

public static final String BLOCK_FILE_PREFIX = "blk_";

public static final String METADATA_EXTENSION = ".meta";

//....省略部分代码

private long blockId;

private long numBytes;

private long generationStamp;

//....省略部分代码

}

Block实际上是HDFS文件数据块在HDFS元数据或者文件树中的一种表现形式。它有三个重要字段，均是long类型的，数据块艾迪blockId、数据块字节数numBytes、数据块时间戳generationStamp。另外，BLOCK_FILE_PREFIX表明了数据块数据文件在物理硬盘上为文件名是以blk_为前缀的，而METADATA_EXTENSION则标识了数据块元数据文件在物理硬盘上是以.meta为文件名后缀的。

我们再看下副本Replica的定义，它实际上是一个借口，如下：

[java] view plain copy







/**

* This represents block replicas which are stored in DataNode.

*/

@InterfaceAudience.Private

public interface Replica {

//....省略部分代码

}

Replica实际上代表了存储与数据节点上的数据块副本，是数据块Block在数据节点上的存储形式的抽象。Replica的实现则是ReplicaInfo，它继承自Block，并实现了Replica接口，如下：

[java] view plain copy







/**

* This class is used by datanodes to maintain meta data of its replicas.

* It provides a general interface for meta information of a replica.

* 这个类被数据节点用于保持它副本的元数据信息。它为副本的元数据信息提供了通用的接口。

*/

@InterfaceAudience.Private

abstract public class ReplicaInfo extends Block implements Replica {

//....省略部分代码

}

到了这里，我们就可以通俗的理解为，Block是名字节点NanmeNode中对文件数据块的抽象描述，它不区分副本，是组成文件的数据块的统一抽象描述，而Replica则是数据节点DataNode对存储在其上的物理数据块副本的统一抽象描述，它继承自Block，很好的反应了Block与Replica的对应关系。

我们简单看下抽象类ReplicaInfo都有哪些成员变量，代码如下：

[java] view plain copy







/** volume where the replica belongs */

// 数据块副本属于的卷FsVolumeSpi实例volume

private FsVolumeSpi volume;

/** directory where block & meta files belong */

/**

* Base directory containing numerically-identified sub directories and

* possibly blocks.

* 数据块副本存储的基础路径，其包含以数字标识的子目录，或者干脆是数据块

*/

private File baseDir;

/**

* Whether or not this replica's parent directory includes subdirs, in which

* case we can generate them based on the replica's block ID

* 标志位：数据块副本的父目录是否包含子目录，如果是的话，我们可以根据数据块副本的数据块ID获取它们。

*/

private boolean hasSubdirs;

// 内部基础路径

private static final Map<String, File> internedBaseDirs = new HashMap<String, File>();

由上面的代码，我们可以知道，它主要包括数据块副本属于的卷FsVolumeSpi实例volume，数据块副本存储的基础路径baseDir，其包含以数字标识的子目录，或者干脆是数据块，还有就是标志位：数据块副本的父目录是否包含子目录，如果是的话，我们可以根据数据块副本的数据块ID获取它们。