windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
2015-08-02 19:07
701 查看
一、环境介绍
宿主机:windows8
虚拟机:Ubuntu14.04
hadoop2.6伪分布:搭建教程/article/1939417.html
Eclipse:eclipse-jee-luna-SR2-win32-x86_64
二、准备阶段
网上下载hadoop-eclipse-plugin-2.6.0.jar (点击下载)
也可以自行编译(网上教程挺多的,可以自己百度 or Google)
三、begin
复制编译好的jar到eclipse插件目录(如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),进入eclipse目录,执行sudo chmod 777 * -R,重启eclipse 这一步特别重要网上好多资料都不是这样写的,所以配置一直不成功。
配置 hadoop 安装目录
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
配置Map/Reduce 视图
window ->Open Perspective -> other->Map/Reduce -> 点击“OK”
windows → show view → other->Map/Reduce Locations-> 点击“OK”
控制台会多出一个“Map/Reduce Locations”的Tab页
在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop location…”,弹出对话框“New hadoop location…”,配置如下内容:将ha1改为自己的hadoop用户
接着再切换到 Advanced parameters 选项面板,这边有详细的配置,切记需要与 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要进行修改。
网上几乎所有的教程都是如此,的确按这个教程配置完成后会在eclipse左上角出现DFS Locations,如下图
但其实还会碰见各种各样的问题,小编只将本人遇到的和解决办法呈现
(1)注意:将虚拟机的hadoop下修改的配置文件(core-site.xml hdfs-site.xml log4j.properties复制到程序的src目录下)
(2)DFS下一些文件加载不出来,提示 permission denied错误
解决办法:给HDFS目录文件添加权限,hdfs dfs -chmod -R 777 /
附:推荐一篇不错的文章http://www.aboutyun.com/thread-8780-1-1.html
参考:www.tuicool.com/articles/BRBzquj
www.cnblogs.com/aijianiula/p/4546021.html
常见错误和解决办法参考:/article/1939385.html
宿主机:windows8
虚拟机:Ubuntu14.04
hadoop2.6伪分布:搭建教程/article/1939417.html
Eclipse:eclipse-jee-luna-SR2-win32-x86_64
二、准备阶段
网上下载hadoop-eclipse-plugin-2.6.0.jar (点击下载)
也可以自行编译(网上教程挺多的,可以自己百度 or Google)
三、begin
复制编译好的jar到eclipse插件目录(如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),进入eclipse目录,执行sudo chmod 777 * -R,重启eclipse 这一步特别重要网上好多资料都不是这样写的,所以配置一直不成功。
配置 hadoop 安装目录
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
配置Map/Reduce 视图
window ->Open Perspective -> other->Map/Reduce -> 点击“OK”
windows → show view → other->Map/Reduce Locations-> 点击“OK”
控制台会多出一个“Map/Reduce Locations”的Tab页
在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop location…”,弹出对话框“New hadoop location…”,配置如下内容:将ha1改为自己的hadoop用户
接着再切换到 Advanced parameters 选项面板,这边有详细的配置,切记需要与 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要进行修改。
网上几乎所有的教程都是如此,的确按这个教程配置完成后会在eclipse左上角出现DFS Locations,如下图
但其实还会碰见各种各样的问题,小编只将本人遇到的和解决办法呈现
(1)注意:将虚拟机的hadoop下修改的配置文件(core-site.xml hdfs-site.xml log4j.properties复制到程序的src目录下)
(2)DFS下一些文件加载不出来,提示 permission denied错误
解决办法:给HDFS目录文件添加权限,hdfs dfs -chmod -R 777 /
附:推荐一篇不错的文章http://www.aboutyun.com/thread-8780-1-1.html
参考:www.tuicool.com/articles/BRBzquj
www.cnblogs.com/aijianiula/p/4546021.html
常见错误和解决办法参考:/article/1939385.html
相关文章推荐
- 双击不能运行可执行的jar文件
- java多线程6--线程池
- Java多线程之---ThreadGroup 管理Thread
- 解决eclipse中egit中的cannot open git-upload-pack问题
- Java_Web三大框架之Hibernate+jsp+HQL分页查询
- java错误篇二
- 【Java EE 学习 25 上】【网上图书商城项目实战】
- 解决eclipse在线安装不了genymotion
- JAVA设计模式
- Java基础——IO流(三)
- eclipse编码
- java 实现socket基于UDP的双机通讯
- spring中的设计模式
- 用反射和内省技术实现简单 SpringIOC
- struts2拦截器(JDK反射,JDK动态代理)
- 因为权限原因要在filter里使用spring- service所产生的问题
- 最长回文子序列的java解法
- Java虚拟机工作原理详解
- Java中的构造代码块与静态代码块的特点
- Java反射机制