Hadoop2.0.0-CDH4.3.0的部署包的文件结构

我是以hadoop-2.0.0-cdh4.3.0为例，相比以前的一些版本目录结构下发生很大变化：

1、现在的结构比以前的要稍微复杂一些了，如下：

[bigdata@Master1 hadoop-2.0.0-cdh4.3.0]$ ls -d
bin/ cloudera/ etc/ examples/ include/ lib/ libexec/ sbin/ share/ src/

2、外层的启动脚本，都在sbin目录下：

[bigdata@Master1 sbin]$ ls
distribute-exclude.sh hadoop-setup-conf.sh httpfs.sh start-balancer.sh stop-balancer.sh update-hdfs-env.sh
hadoop-create-user.sh hadoop-setup-hdfs.sh mr-jobhistory-daemon.sh start-dfs.sh stop-dfs.sh yarn-daemon.sh
hadoop-daemon.sh hadoop-setup-single-node.sh refresh-namenodes.sh start-secure-dns.sh stop-secure-dns.sh yarn-daemons.sh
hadoop-daemons.sh hadoop-validate-setup.sh slaves.sh start-yarn.sh stop-yarn.sh
hadoop-setup-applications.sh hdfs-config.sh start-all.sh stop-all.sh update-hadoop-env.sh

3、内层的被调用脚本，都在bin目录下：

[bigdata@Master1 bin]$ ls
container-executor hadoop hdfs mapred rcc yarn

4、Native的so文件都在lib目录下：

[bigdata@Master1 lib]$ ls ./ -R
./:
native
./native:
libhadoop.a libhadooppipes.a libhadoop.so.1 libhadooputils.a libhdfs.la libhdfs.so.0
libhadoop.la libhadoop.so libhadoop.so.1.0.0 libhdfs.a libhdfs.so libhdfs.so.0.0.0

5、配置程序文件都放置在libexec目录下：

[bigdata@Master1 libexec]$ ls
hadoop-config.sh hdfs-config.sh httpfs-config.sh mapred-config.sh yarn-config.sh

6、配置文件都在etc目录，对应以前的conf目录：

[bigdata@Master1 etc]$ ls ./ -R
./:
hadoop
./hadoop:
core-site.xml hadoop-metrics.properties httpfs-log4j.properties log4j.properties ssl-server.xml.example
hadoop-env.sh hdfs-site.xml httpfs-signature.secret slaves yarn-env.sh
hadoop-metrics2.properties httpfs-env.sh httpfs-site.xml ssl-client.xml.example yarn-site.xml

7、所有的jar包都在share/hadoop目录下面：
/usr/hadoop/hadoop-2.0.0-cdh4.3.0/share/hadoop

8、sbin目录下的
a、distribute-exclude.sh
这个脚本用来将exclude文件分发到各个Namenode上。
b、hadoop-setup-conf.sh
1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。
2、针对特定的配置文件增加配置项
3、配置其他多个配置项
c、httpfs.sh
1、配置tomcat启动参数
2、配置httpfs-config.sh
3、启动tomcat，提供httpfs服务
d、hadoop-setup-hdfs.sh
1、在hdfs空间内添加用户，并为用户构建默认的用户目录
e、 hadoop-setup-applications.sh
1、与hadoop-setup-hdfs.sh大致相同，也是用来在hdfs空间中创建目录的，但是是在app目录下创建。
f、refresh-namenodes.sh
1、利用dfsadmin对所有的namenodes进行refresh
g、hdfs-config.sh
1、调用libexec/hadoop-config.sh来完成相关的任务
9、libexec目录下的
a、hadoop-config.sh
1、设置各种Hadoop启动参数
2、设置java-home，classpath等
3、设置各种Hadoop路径
b、httpfs-config.sh
1、export所有的tomcat环境运行时需要的参数
c、hdfs-config.sh
1、针对hdfs的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行
10、mapred-config.sh
a、针对mapped的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行
11、yarn-config.sh
1、针对yarn的一个hadoo-conf.sh的包装，所有的工作委托给hadoop-conf.sh来进行
12、bin目录下的
a、hadoop
1、真正运行java程序的，以前的版本就靠这个来真正call到java程序，但是现在依靠的hdfs和mapred来各自完成自己的
2、现在的版本主要完成fs的操作以及log操作，RunJar，以及获取log，version等基本任务
b、hdfs
1、将dfs的工作在这个脚本内完成
2、由外层的start/stop-dfs发起调用来完成各个daemon的启动

3、自身发起调用完成dfsadmin，以及ha管理等
c、mapred
1、完成mapreduce的各个功能操作
d、rcc
1、作为Hadoop record compiler来完成相关操作
e、yarn
1、完成yarn的各项功能操作