您的位置:首页 > 编程语言 > Java开发

Windows下使用Hadoop-eclipse-plugin插件

2015-11-05 17:14 573 查看
1.下载hadoop2x-eclipse-plugin源代码拷贝到eclipsean安装目录的plugins目录下,重启一下Eclipse,然后可以看到DFS
Locations,如图所示:





2.打开Window-->Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加hadoop解压的目录3.配置Map/ReduceLocations

   1)点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation

   2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

4.查看是否连接成功




5.新建MapReduce项目并运行

6.接下来就是可能遇到的问题:

   Q1:Exception in thread "main" java.lang.NullPointerException
atjava.lang.ProcessBuilder.start(Unknown Source)

分析:

   1.下载Hadoop2以上版本时,在Hadoop2的bin目录下没有winutils.exe

   2.C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可。

   3.出现内存溢出的问题java.lang.OutOfMemoryError

解决:

  1.下载hadoop-common-2.6.0-bin-master,github上面有不同版本。将winutils.exe添加到bin目录下面,将hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可

  2..Hadoop2配置变量环境HADOOP_HOME 和path

  3.解决:右键WordCount,-->run
Confi....在vm argument中输入 -Xmx1000M,根据自己机器运行的情况而定。机器内存不足的情况下是无法解决的。可以将开发好的mr程序打成jar包上传到运行hadoop的机器上直接运行
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop开发