使用eclipse连接ubuntu下伪分布的hadoop

一:准备工具

hadoop-eclipse-plugin-2.6.4.jar---------------eclipse下的hadoop插件,我用的版本是hadoop2.6.4

eclipse 

二:开始配置

    

1:将下载好的hadoop-eclipse-plugin-2.6.4.jar放到eclipse下的plugins中

2:打开eclipse,点击windows->preference,找到hadoop map/reduced,点击browse,选择你的hadoop目录(到官网下载一个解压就可以,不用配置文件)

        点击ok即可    

                      


3:点击windows->show view->other,选择map/reduce location

                     

 
          

4:上述步骤完成后,eclipse会出现

                      


5:鼠标右键点击上图的空白位置,选择new hadoop location

(1)Location name 可以随便写,User name写上自己的hadoop主机名字吧..

(2)Map/Reduce Master:

      Host填写你在mapred-site.xml中修改的主机ip地址;

      Port填写端口号 (由于我没有修改mapred-site.xml中文件,因此我使用其默认的端口号)

(3)DFS Master:

      Host自己填写自己在core-site.xml中修改的主机ip地址

      port填写修改的端口号

(4)我的core-site.xml文件内容是这样的:

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop-2.6.4/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.123.130:9000</value>

</property>

</configuration>

                  这里有一点要注意,我之前配置的时候hdfs的地址直接使用了localhost,而没有使用ip地址

                  这个时候会出现failed on connection exception这个错误,切记这里只能填写ip地址,而不可直接用localhost代替

                       


6:上述步骤完成后,重新启动hadoop的各个守护进程  

       此时在windows下的eclipse可以看到(前提是你在hdfs中创建了wc文件夹和input,output)