您的位置:首页 > 编程语言 > Java开发

windows7下eclipse连接ubuntu中的hadoop开发环境配置

2015-12-24 18:22 811 查看

工具下载

eclipse-jee-mars-1-win32-x86_64

下载地址:http://www.eclipse.org/downloads/

hadoop-2.5.2

下载地址:http://hadoop.apache.org/releases.html

hadoop-src-2.5.2

下载地址:http://hadoop.apache.org/#Download+Hadoop

hadoop2x-eclipse-plugin-master

下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

hadoop-common-2.2.0-bin-master

下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin

apache-ant-1.9.6-bin

下载地址:http://ant.apache.org/bindownload.cgi

搭建过程

解压eclipse

解压到路径D:\IDE\eclipseHadoop

安装ant

1.在win7中解压,配置环境变量ANT_HOME和path

安装hadoop

1.解压上述hadoop相关包到D:\IDE\hadoop



2.配置环境变量HADOOP_HOME和path

编译hadoop eclipse插件

ant jar -Dversion=2.5.2 -Declipse.home=D:\IDE\eclipseHadoop -Dhadoop.home=D:\IDE\hadoop\hadoop-2.5.2


编译成功后会在D:\IDE\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin下面生成hadoop-eclipse-plugin-2.5.2.jar包

编译过程如果报缺少包错误:htrace-core-3.0.4.jar下载即可

- 配置eclipse环境

1.将编译后的插件copy到D:\IDE\eclipseHadoop\plugins中,重启eclipse

2.配置hadoop路径



3.连接ubuntu中的hadoop

(1)在windows的hosts中配置 虚拟机IP和hostname

如: 192.168.233.3 hadoop

(2)找到eclipse window》show view 找到Map/reduce Locations进行如下配置,注意host配置和虚拟机里的core-site.xml一致。



(3)配置成功,在eclipse左侧窗口可以查看虚拟机中hdfs文件系统的文件。

默认hdfs的路径为/user/hadoop

(4)这时候,可能还是连接不到虚拟机的hdfs文件系统。

需要将common bin中的hadoop.dll和winutils.exe复制到D:\IDE\hadoop\hadoop-2.5.2\bin中即可



至此,windows环境连接虚拟机ubuntu的hadoop伪分布式集群开发环境搭建完成,可以在本地自由地开发测试啦~~~

看了前辈们写的文档一步一步做的,灰常感谢分享的大牛们,自己记录下以后忘记可以翻看啊!!!!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息