您的位置:首页 > 编程语言 > Java开发

Eclipse在基于Ubuntu14.04的hadoop2.7.1分布式集群下的搭建

2017-03-24 18:30 363 查看
软件

版本

所在目录

Eclipse

eclipse-inst-linux64

/home/bigdata/eclipse

Hadoop

Hadoop2.7.1

/usr/local/hadoop

Jdk

jdk1.8

/usr/local/java

插件

hadoop-eclipse-plugin-2.7.1.jar

/home/bigdata/eclipse/jee-neon/eclipse/dropins

测试代码

WordCount.java

/opt/modules

操作系统:Ubuntu14.04

选择Ubuntu14.04是因为在VMware中,Ubuntu是可以直接从Windows下粘贴复制文件的。

首先将eclipse-java-mars-1-linux-gtk-x86_64.tar.gz,hadoop-eclipse-plugin-2.7.1.jar放在Downloads目录下。

1、安装Eclipse

将eclipse-inst-linux64.tar.gz下载后,复制粘贴到Downloads文件夹。

打开终端,输入

cd /opt/modules

tar -zxvf eclipse-java-mars-1-linux-gtk-x86_64.tar.gz



bigdata是linux分配的普通用户的名字。对eclipse进行解压缩。





进入eclipse-installer,



双击eclipse-inst



双击Java EE 的IDE,进行安装,并将hadoop-eclipse-plugin-2.7.1.jar复制粘贴到eclipse的dropins文件夹下,并对该插件进行授权,使得普通用户可以使用。

cd /home/bigdata/eclipse/jee-neon/eclipse/dropins

chmod 444 hadoop-eclipse-plugin-2.7.1.jar



点击图标,启动eclipse。





2、配置eclipse

点击window->Preferences,找到Hadoop Map/Reduce,将Hadoop installation directory设置为hadoop安装目录,点击ok。





我的haddop的路径安装在以上文件夹下,即包括bin、include、share等文件夹的那个路径。

点击window->Show View->Other,选择MapReduce Tools下的小象,点击ok。





点击Map/Reduce Location后的小象添加一个Hadoop Location



LocationName下随便起名字,DFS Master下的端口填写为core-site.xml下所配置的端口地址,



另一个端口为下图所示端口,8088,即jobtracker的端口,如果没有设置,默认为8088



如下所示

host为主节点的主机名。



如果在eclipse的左上角出现这样的标志,代表配置成功。



如果报错的话,一定是host和port没有设置对,或者是还未启动hadoop,没有其他原因了,一般。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: