您的位置:首页 > 编程语言 > Java开发

windows下搭建MyEclipse开发环境

2016-01-13 18:13 399 查看
可以在windows下连接服务端的hdfs,直接测试MR程序和连接hbase

1、安装MyEclipse插件,下载hadoop-eclipse-plugin-2.2.0.jar插件,放入MyEclipse_home1\dropins目录下。

2、重启MyEclipse,在window->preference中会多出一个Hadoop Map/Reduce的项。选择hadoop存放目录。 hadoop-2.2.0-x64.rar (解压后的目录)

3、配置hadoop的环境变量(windows重启才会生效,原因不明)

4、添加Map/Reduce Locations ,Map/Reduce的host和post是你URL访问hdfs的主机名和端口。DFS Master的host不变,port是你在core-site中配置的fs.default的value中的端口号,如果做了HA,此处写的是集群对外访问的URL,那么端口在hdfs-site.xml中,是各个namenode的rpc端口号。



5、点击finish,切换到project explorer视图,就可以直接在MyEclipse中访问hdfs的文件了

6、后面就可以在MyEclipse中直接调试MR程序或者操作hbase

为什么仅仅设置了用户名  不用密码就可以直接访问HDFS  并作操作呢?

hfs-site.xml中 df.permissions.enabled 这个要设置为false

MapReduce的端口是dfs.datanode.ipc.address的端口号

DFS的端口是默认的core-site中的端口

参考地址:http://www.aboutyun.com/thread-8190-1-1.html
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: