Hadoop搭建注意事项

经过两次搭建环境实践后，总结搭建原理。

1方式 单机 /article/11047635.html

2方式 多机 /article/11047636.html

1 Hadoop 各个目录的解释

bin：Hadoop管理脚本和使用脚本所在目录， sbin目录下的脚本都是使用此目录下的脚本实现的。

etc：Hadoop的所有配置文件所在的目录，所有hadoop的配置在etc/hadoop目录下

include:对外提供的库的头文件

lib ：对外提供的动态编程库和静态编程库，与include中的头文件结合使用

libexe：对各个服务对应的shell配置文件所在的目录，可用于配置日志输出目录，启动参数等基本信息

sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动和关闭脚本

share：Hadoop各个模块编译后的jar包所在的目录

2 HA的配置方式有多种，方法2使用的是其中一种

（1） 方法2使用的是JournalNode配置方式，需要至少准备3个JournalNode来保证nn1和nn2之间的同步，其中主节点最好不配置JournalNode

（2）两个NN应该位于不同的机器上，且不再配置其他服务，方法2中nn2配置了其他服务，是因为机器不够。

（3）HDFS2.0中无需再配置Secondary Name，nn2已经替代了其功能。

（4）主备两个NN有两种切换方式，手动切换和自动切换，其中自动切换是通过Zookeeper实现的，要单独部署一个Zookeeper集群，通常为奇数个节点，方法2当中使用的是手动切换方式。