javaAPI 连接 HDFS 高可用配置

1.引入jar包

<properties>
<hdfs.version>2.8.2</hdfs.version>
</properties>

<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hdfs.version}</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hdfs.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hdfs.version}</version>
</dependency>
</dependencies>

2.将 hdfs-site.xml 配置文件放到项目resources根目录下或项目根目录下，这样代码中 Configuration 对象在new 了之后会自动读取配置，代码里只需要配置一下hdfs地址即可 private Configuration config ;
private FileSystem fs ;

// 实例化
config = new Configuration();
config.set("fs.defaultFS", "hdfs://mycluster");

fs = FileSystem.get(config);3.这样就可以使用 FileSystem 来操作了，如果没有加 fs.defaultFS 的配置的话就会默认读写本地磁盘。。。
hdfs路径就是 core-site.xml 里面配置的<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>因为 hdfs-site.xml 中的配置文件会引用这个 属性，所以，把配置文件加进来 client 就可以找到当前 active 的 namebnode 了，如下：

<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!--配置集群中所有的namenode节点的namenodeid-->
<property>
<name>dfs.ha.namenodes.mycluster</name>  <!-- 格式为dfs.ha.namenodes.[nameservices id] -->
<value>NN-93,NN-92</value> <!-- namenodeid可以自定义,下方的其他配置与其保持一致即可 -->
</property>

4. windows系统里需要一个插件，如果没有的话会报错（null/bin/winutils.exe），但是不会影响结果，这里有个链接，下载之后解压，然后配置环境变量 HADOOP_HOME 指向这里即可 https://pan.baidu.com/s/1pMGvBuV


环境变量配置后可能需要重启电脑才有效，具体可以百度 “windows 环境变量 生效”