hadoop源码分析系列之（一）——org.apache.hadoop.conf包

摘要: 首先分析org.apache.hadoop.conf包，顾名思义这个包的作用是为了读取集群的配置信息，包的类图如下：Configurable接口定义了设置配置信息的方法： void setConf(Configuration conf);获取配置信息的方法： ...

首先分析org.apache.hadoop.conf包，顾名思义这个包的作用是为了读取集群的配置信息，包的类图如下：



Configurable接口定义了设置配置信息的方法：

void setConf(Configuration conf);

获取配置信息的方法：

Configuration getConf();

Configured类实现了Configurable接口，也就是必须实现接口中的两个方法，当然并不是直接实现的，而是调用Configuration类来实现的，这里我们如果希望自己实现Configurable接口也是可以的。

Configured类的方法比较简单，主要是通过调用Configuration类的方法来完成接口方法的。

下面重点讨论Configuration类，这个类实现了两个接口：

Iterable> 主要用来遍历Key、Value键值对

Writable hadoop特有的序列化接口，这个接口的具体实现会在对org.apache.hadoop.io包的分析中进行详细讨论。

主要的属性：



1、static代码段首先获得了当前线程的类加载器然后找到资源hadoop-site.xml,如果找到了这个资源文件，就会log出一段提示信息：因为找到了hadoop-site.xml这个文件，那么core-default.xml、hdfs-default.xml、mapred-default.xml的文件中的配置信息将会被core-site.xml、hdfs-site.xml、mapred-site.xml三个文件中的配置所取代，从这段日志中也可以看出*-site的配置文件的优先级要高于*-default文件。

2、defaultResources是个CopyOnWriteArrayList的连续数组，这个CopyOnWriteArrayList类会在io包中具体分析，这个数组的目的是存储配置文件的名字而不是配置文件的全路径：



这里的配置文件指的就是上文中提到的xml文件。

3、finalParameters存储所有被声明为final的参数

4、loadDefault是布尔类型的变量意思是是否加载默认的配置信息，也就是上文中提到的三个default.xml中的配置

5、LOG是用apache的logging包中的日志方式记录日志

6、int MAX_SUBST = 20 是设定对带有环境变量的值所能够深入解析的层次数，超出这个最大的层数的值将不能够解析

7、overlay属性类型变量，记录了进行覆盖的属性

8、properties存储的是Configuration对象中读取到的全部配置信息

9、布尔值quietmode：



由以上代码可以知道这个值的作用是影响log的输出，当然也会影响一些异常的抛出：



这个值默认是true。

10、REGISTRY是一个WeakHashMap的变量，key为Configuration,value为Object，可以看出这个对象存储了不同对象的多个配置信息，弱HashMap可以自动清除不在正常使用的键对应的条目，



发现如果这个值不是null会重新加载默认的配置文件中的信息。

11、resources列表中存放了包含配置信息的对象。

12、varPat对含有环境变量的值的进行转换的正则表达式对象。

主要方法：

1、初始化方法：



Configuration() ：默认构造函数

Configuration(boolean loadDefaults)：是否加载默认配置的构造函数

Configuration(Configuration other)：通过克隆其他的配置对象配置来构造自己，这个构造函数主要克隆了resources、properties、overlay和finalParameters四个对象，克隆的时候加了线程锁，确保在同一个jvm下的单线程执行，这个也很容易理解，为了保证配置的统一。

2、增加资源的方法：



addResource(InputStream in)：通过inputstream流来增加资源

addResource(Path file)：通过制定的path文件加载资源

addResource(String name)：通过资源名称来加载资源

addResource(URL url)：通过资源的url来加载资源

上述四个方法的实现都调用了

addResourceObject(Object resource)这个方法，这个方法的设计巧妙之处在于参数是Object类型，充分体现了面向对象设计中的李氏替换的原则，把资源全部加入resources变量后调用reloadConfiguration()方法重新加载配置信息。

3、设置资源属性的方法：



set(String name, String value)：设置指定参数的值，因为是加载后设置，所以除了要在设置properties中设置以外还需要在overlay中设置，表明之前的属性被覆盖掉了。

setBoolean(String name, boolean value)：设置参数的布尔值

setBooleanIfUnset(String name, boolean value) ：如果指定的属性没设置，则设置值为指定的布尔值

其他的set方法基本大同小异

4、取得资源属性的方法：



这些方法很多与set方法相似，就是取得设置的资源属性的值，还有一些是取得Configuration对象中属性的值。

5、其他方法：

Properties getProps()：获得properties对象和overlay对象中的属性配置

reloadConfiguration()：清除properties和finalParameters以便于重新加载配置信息

substituteVars(String)：上面的正则表达式对象对含有环境变量的参数值进行解析的方法，这个方法的作用引用官方文档的一个小例子：

For example, if a configuration resource contains the following property definitions:



basedir

/user/${user.name}





tempdir

${basedir}/tmp



When conf.get("tempdir") is called, then ${basedir} will be resolved to another property in this Configuration, while ${user.name} would then ordinarily be resolved to the value of the System property with that name.

原创作品转载请注明出处！http://f.dataguru.cn/thread-18644-1-1.html