win7-eclipse-hadoop-plugins连接Linux hadoop3.0单机伪集群

点击打开链接：hadoop3.0安装配置        linux下jdk的安装

说明一：

远程连接对本地hadoop版本、远程hadoop版本、eclipse版本都有严格的兼容性要求。建议本地和远程的hadoop使用相同且最新的版本，eclipse则从官网下载最新版本。我采用的版本如下：

（1）本地和远程相同，hadoop版本：hadoop-3.0.0-alpha1

（2）eclipse版本：Version: Mars.2 Release (4.5.2)。

（3）客户端操作系统：windowns7，远程操作系统：Linux。

说明二：

Linux操作系统所在主机ip，可能有两种情况

（1）不存在内部ip和外部ip的区别，如访问ip只有一个：10.34.11.65 ，修改/etc/hosts配置， 如下：vi  /etc/hosts



（2）假如存在内部访问ip和外部访问ip，如外部访问ip：10.34.11.65，内部访问ip：192.144.1.14 ， 修改/etc/hosts配置， 如下：vi /etc/hosts



一、Linux下hadoop3.0    安装配置，点击打开链接

需要修改配置文件，core-site.xml 、 hdfs-site.xml配置

core-site.xml

（1）如果虚拟机分内部ip（192.144.1.14）和外部ip（10.34.11.65），则需要配置<value>hdfs://192.144.1.14:9000</value>

（2）如果虚拟机提供一个访问ip（10.34.11.65），则配置<value>hdfs://10.34.11.65:9000</value>

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.144.1.14:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

二、eclipse上安装hadoop插件

下载eclipse连接hdfs插件，目前能找的插件版本是hadoop-eclipse-plugin-2.6.0.jar，hadoop3.0也可以使用，下载插见，点击打开链接

1、复制插件到eclipse安装目录/plugins/ 下。

2、 重启eclipse，会出现这个。



3、配置hadoop installation directory

打开windows->preferens,找到Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。配置完成后退出。



4、 配置Map/Reduce Locations

在上图中的Mapreduce Loccations窗口，点击小象，窗口在window-》show view-》other里面也可以找到。



5、 点击finish，正常的话，就连接上了。我的hdfs中的内容如下



遇到的问题：

（1）Error:call from yawenchen-PC/10.32.2.19 to 10.34.11.65:9000 failed on connection exception:java.net.ConnectException:Connection refused:no further information;



同时，Linux上，使用命令，hadoop fs  -ls hdfs://10.34.11.65:9000/flume(flume是我在hadoop上建的目录)，



出现的原因，虚拟机存在内部ip和外部ip，之前的配置core-site.xml配置如下：

<configuration>

   <property>

       <name>fs.defaultFS</name>

       <value>hdfs://localhost:9000</value>

   </property>

</configuration>

eclipse 无法通过外部ip 10.34.11.65：9000访问到localhost：9000，需要修改配置，localhost改为虚拟机的内部ip192.144.1.14

<configuration>

   <property>

       <name>fs.defaultFS</name>

       <value>hdfs:// 192.144.1.14:9000</value>

   </property>

</configuration>

针对这个问题，在文章开头特意说明，来避免这个问题的出现。