HADOOP源码学习思路与方法

转自: http://myhadoop.diandian.com/page/3

读源码方面的顺序是先读懂以下五个方面的源码，其已囊括了Hadoop的核心要务，

1、读源码的过程与读Docs过程并行，此阶段以Docs为中心，读源码目的是要辅住理解Docs；

2、读懂Docs后读源码时要融汇贯通，系统的读，整体把握，可以应用比如类图等方法辅助，此阶段还要返回读Docs以辅助理解源码。

3、在以上基础上，开始进入应用Hadoop阶段。

org.apache.hadoop.fs

An abstract file system API.文件系统的抽象，可以理解为为支持多种文件系统而实现的统一访问接口。

org.apache.hadoop.io

Generic i/o code for use when reading and writing data to the network, to databases, and to files.表示层，将各种数据编码解码，以用于网络上传输。

org.apache.hadoop.ipc

Tools to help define network clients and servers.一个简单的IPC的实现，依赖于io提供的编解码功能。

org.apache.hadoop.mapred

A software framework for easily writing applications which process vast amounts of data (multi-terabyte data-sets) parallelly on large clusters (thousands of nodes) built of commodity hardware in a reliable, fault-tolerant manner.Hadoop的Map/Reduce实现

hdfs

HDFS，Hadoop的分布式文件系统实现