Windows下使用Hadoop-eclipse-plugin插件
2015-11-05 17:14
573 查看
1.下载hadoop2x-eclipse-plugin源代码拷贝到eclipsean安装目录的plugins目录下,重启一下Eclipse,然后可以看到DFS
Locations,如图所示:
2.打开Window-->Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加hadoop解压的目录3.配置Map/ReduceLocations
1)点击Window-->Show View -->MapReduce Tools 点击Map/ReduceLocation
2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。
4.查看是否连接成功
5.新建MapReduce项目并运行
6.接下来就是可能遇到的问题:
Q1:Exception in thread "main" java.lang.NullPointerException
atjava.lang.ProcessBuilder.start(Unknown Source)
分析:
1.下载Hadoop2以上版本时,在Hadoop2的bin目录下没有winutils.exe
2.C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可。
3.出现内存溢出的问题java.lang.OutOfMemoryError
解决:
1.下载hadoop-common-2.6.0-bin-master,github上面有不同版本。将winutils.exe添加到bin目录下面,将hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可
2..Hadoop2配置变量环境HADOOP_HOME 和path
3.解决:右键WordCount,-->run
Confi....在vm argument中输入 -Xmx1000M,根据自己机器运行的情况而定。机器内存不足的情况下是无法解决的。可以将开发好的mr程序打成jar包上传到运行hadoop的机器上直接运行
Locations,如图所示:
2.打开Window-->Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加hadoop解压的目录3.配置Map/ReduceLocations
1)点击Window-->Show View -->MapReduce Tools 点击Map/ReduceLocation
2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。
4.查看是否连接成功
5.新建MapReduce项目并运行
6.接下来就是可能遇到的问题:
Q1:Exception in thread "main" java.lang.NullPointerException
atjava.lang.ProcessBuilder.start(Unknown Source)
分析:
1.下载Hadoop2以上版本时,在Hadoop2的bin目录下没有winutils.exe
2.C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可。
3.出现内存溢出的问题java.lang.OutOfMemoryError
解决:
1.下载hadoop-common-2.6.0-bin-master,github上面有不同版本。将winutils.exe添加到bin目录下面,将hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可
2..Hadoop2配置变量环境HADOOP_HOME 和path
3.解决:右键WordCount,-->run
Confi....在vm argument中输入 -Xmx1000M,根据自己机器运行的情况而定。机器内存不足的情况下是无法解决的。可以将开发好的mr程序打成jar包上传到运行hadoop的机器上直接运行
相关文章推荐
- 学习大数据,实战Hadoop开发视频课程你学会了吗?
- 获取Eclipse 中获取工具箱command
- java学习笔记.08——递归
- 使用eclipse开发Java web应用
- SpringMVC绑定到实体数组、list、set、和map时要注意
- JAVA验证码登录实现类
- dao、service、controller、view
- kafka java 生产消费demo
- 简要分析Java多进程编程的并发控制
- eclipse 错误: 找不到或无法加载主类
- 你真的真的理解Java的按引用传递吗?
- java常用类库之数组操作类
- 利用java集合模拟斗地主(发牌)
- JAVA编程思想之内部类
- 浅谈Java多进程程序的运行模式
- Java中的ReentrantLock和synchronized两种锁定机制的对比
- Spring、编码剖析Spring管理Bean的原理
- java synchronized详解
- Spring、编码剖析Spring管理Bean的原理
- myeclipse远程调试