win7下配置eclipse mapreduce编程环境
2015-10-22 11:27
375 查看
1. 未解决问题:本地eclipse-plugin版本改变,会使得eclipse显示不了插件,最好不要改hadoop的版本。
配置步骤:
1. 下载与服务器hadoop相同版本的插件,可以自己下载源代码编译,或者从网上下载eclipse-hadoop-plugin。
2. 把plugin放到eclipse的plugins目录下,这里的eclipse版本必须是JavaEE的。
3. 修改eclipse中window/appleance中的hadoop路径为hadoop的安装路径,不要有中文。
4. 从window/show view里面添加mapreduce view。
5. 添加mapreduce location,ip,端口(从左到右分别与mapreduce-site.xml,core-site.xml相同,默认为9001和9000),用户名设立必须是服务器的用户名。
注:这里我把9000变成9002了,这里的服务器用户名是pentaho。
6. 连接上后,会在DFS下显示,默认目录在/user/本机用户名,所以添加input和output文件夹必须在这个目录下。
这里的win7系统用户名是user-u1。
7. 在run configuration里面添加输入和输出目录,input output。
这里的input对应dfs上的user/user-u1/input
8. 运行时配置:
1. 设置环境变量HADOOP_HOME,PATH下面添加%HADOOP_HOME%\bin
2. 把自己编译或者从网上下载的hadoop.dll,winutils.exe等文件放到%HADOOP_HOME%\bin目录下面。
9. 测试WorldCount程序:
1. 创建mapreduce工程,这里会自动把对应的jar都导入到工程中。然后将hdfs-site.xml,core-site.xml,log4j.properties文件copy到src目录下面。
2. 运行之后出现结果。
配置步骤:
1. 下载与服务器hadoop相同版本的插件,可以自己下载源代码编译,或者从网上下载eclipse-hadoop-plugin。
2. 把plugin放到eclipse的plugins目录下,这里的eclipse版本必须是JavaEE的。
3. 修改eclipse中window/appleance中的hadoop路径为hadoop的安装路径,不要有中文。
4. 从window/show view里面添加mapreduce view。
5. 添加mapreduce location,ip,端口(从左到右分别与mapreduce-site.xml,core-site.xml相同,默认为9001和9000),用户名设立必须是服务器的用户名。
注:这里我把9000变成9002了,这里的服务器用户名是pentaho。
6. 连接上后,会在DFS下显示,默认目录在/user/本机用户名,所以添加input和output文件夹必须在这个目录下。
这里的win7系统用户名是user-u1。
7. 在run configuration里面添加输入和输出目录,input output。
这里的input对应dfs上的user/user-u1/input
8. 运行时配置:
1. 设置环境变量HADOOP_HOME,PATH下面添加%HADOOP_HOME%\bin
2. 把自己编译或者从网上下载的hadoop.dll,winutils.exe等文件放到%HADOOP_HOME%\bin目录下面。
9. 测试WorldCount程序:
1. 创建mapreduce工程,这里会自动把对应的jar都导入到工程中。然后将hdfs-site.xml,core-site.xml,log4j.properties文件copy到src目录下面。
2. 运行之后出现结果。
相关文章推荐
- myeclipse与eclipse的常用快捷键
- 简单粗暴的eclipse hadoop 2.5.2 插件
- Struts2 XML配置详解
- 【图解】Eclipse下JRebel6.2.0热部署插件安装、破解及配置【转】
- Java反射基础(一)--Class对象获取
- Java继承时的初始化顺序
- Java继承时的初始化顺序
- MyEclipse中安装findBugs插件(摘)
- java解析Properties文件
- int 和Integer的区别
- struts2文件下载 <result type="stream">
- eclipse c 编译工程(已有makefile文件的完整工程)
- 【JAVA】常用加解密算法总结及JAVA实现【BASE64,MD5,SHA,DES,3DES,AES,RSA】
- 汽车租赁系统
- 解决eclipse乱码问题
- springmvc3.1.4+spring3.1.4+mybatis3.2.3整合
- Java语言基础之Scanner类小结
- Java并发编程详解:Executor框架
- Eclipse系列:如何断点调试web项目
- 在servlet中使用spring注解