Win8上MyEclipse10开发hadoop的环境搭建和连接Linux集群
2013-02-01 19:19
351 查看
用了一整天的时间,终于搭建完成了hadoop开发环境。我的
之前用的centos来开发,开发是很方便,不过其它体验确实久了不能忍受。
今天换回win8发现hadoop开发成了问题。研究了一天,记录一下。
一,
1.首先是插件的安装,我选的是hadoop-eclipse-plugin用于hadoop1.0.2的版本。没有专门对应这个版本的插件,需要修改一下jar包。不过网上很多人已经改好了,随便下个便是。eg:http://download.csdn.net/detail/e10514001/4229811
2.下好之后,将jar包放到...MyEclipse\MyEclipse 10\dropins目录下,重启IDE。
3.“windows”-> "open perspective" -> "other",会看到一只小象map/reduce(如无,请勾上“show all”)。就可以打开
4.我的端口是mapreduce 9001,hdfs 9000其它要改的就是user,换成你linux集群的用户名,然后点advacned parameters把里面用看到不是你的集群用户名的字符串,全改成和集群里一致的。那个用户是插件System类拿到的,很可能是什么Adminstrator什么的,改掉它。
二,
1. 以上其实只是一个图形界面ui加了进来,hadoop Clouder CDH3B3之后的版本,是不能操作的。因为原本用hadoop.job.ugi参数可以直接对HDFS写操作,现在不可以了。我感觉这样也比较安全。可以放心的用线上集群做测试了(只要你的程序没有狂建目录的bug)。
2. 虽然ui不能操作,但是程序里还是可以的。这里要介绍一下,怎么在程序里连接,并取得写权限。
1)建一个map/reduce项目,拷贝下http://hadoop.apache.org/docs/r1.1.0/cn/mapred_tutorial.html里的wordcount代码,粘到自己的程序里。
2)在IDE里设置一下程序的启动参数如:/test/input/ /test/output,input目录是要提前建好的。然后启动。
我的1.0.2版本发现错误:Failed to set permissions of path: \tmp\hadoop-Administrator,的解决方法,更换hadoop-core-1.0.2-modified.jar包(网上有改 好的),这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
3. 再次运行程序,发现在已经能启动,去集群上或者用ui看一下,已经有新的内容了。
之前用的centos来开发,开发是很方便,不过其它体验确实久了不能忍受。
今天换回win8发现hadoop开发成了问题。研究了一天,记录一下。
一,
1.首先是插件的安装,我选的是hadoop-eclipse-plugin用于hadoop1.0.2的版本。没有专门对应这个版本的插件,需要修改一下jar包。不过网上很多人已经改好了,随便下个便是。eg:http://download.csdn.net/detail/e10514001/4229811
2.下好之后,将jar包放到...MyEclipse\MyEclipse 10\dropins目录下,重启IDE。
3.“windows”-> "open perspective" -> "other",会看到一只小象map/reduce(如无,请勾上“show all”)。就可以打开
4.我的端口是mapreduce 9001,hdfs 9000其它要改的就是user,换成你linux集群的用户名,然后点advacned parameters把里面用看到不是你的集群用户名的字符串,全改成和集群里一致的。那个用户是插件System类拿到的,很可能是什么Adminstrator什么的,改掉它。
二,
1. 以上其实只是一个图形界面ui加了进来,hadoop Clouder CDH3B3之后的版本,是不能操作的。因为原本用hadoop.job.ugi参数可以直接对HDFS写操作,现在不可以了。我感觉这样也比较安全。可以放心的用线上集群做测试了(只要你的程序没有狂建目录的bug)。
2. 虽然ui不能操作,但是程序里还是可以的。这里要介绍一下,怎么在程序里连接,并取得写权限。
1)建一个map/reduce项目,拷贝下http://hadoop.apache.org/docs/r1.1.0/cn/mapred_tutorial.html里的wordcount代码,粘到自己的程序里。
2)在IDE里设置一下程序的启动参数如:/test/input/ /test/output,input目录是要提前建好的。然后启动。
我的1.0.2版本发现错误:Failed to set permissions of path: \tmp\hadoop-Administrator,的解决方法,更换hadoop-core-1.0.2-modified.jar包(网上有改 好的),这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
3. 再次运行程序,发现在已经能启动,去集群上或者用ui看一下,已经有新的内容了。
相关文章推荐
- 基于vmware workstations 10 、centos6.4和hadoop-2.7.1的hadoop完全分布式集群的开发环境搭建
- hadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount
- MyEclipse10搭建Strust2开发环境(2)
- Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- linux(ubuntu)eclipse for hadoop开发环境搭建
- 使用 MyEclipse 10 搭建 SSH2 框架整合开发环境
- Java+大数据开发——Hadoop集群环境搭建(二)
- windows eclipse hadoop 集群开发环境搭建(分布式模式)
- Win10搭建Linux开发环境之网络连接设定
- Linux系统下Hadoop开发环境的搭建
- (Mac版)Eclipse搭建hadoop集群开发环境
- 【大数据】开发环境搭建(三):hadoop伪分布式集群环境搭建(下)
- 手动搭建搭建Hadoop虚拟机集群与windows远程开发环境
- 搭建基于MyEclipse的Hadoop开发环境
- Linux下Hadoop2.7.1集群环境的搭建(超详细版)
- Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
- 使用 MyEclipse 10 搭建 SSH2 框架整合开发环境
- Linux开发环境搭建与使用——arm开发板连接终端( xshell )
- Linux下搭建hadoop开发环境-超详细
- 在linux中搭建hadoop开发环境