windows下搭建MyEclipse开发环境
2016-01-13 18:13
399 查看
可以在windows下连接服务端的hdfs,直接测试MR程序和连接hbase
1、安装MyEclipse插件,下载hadoop-eclipse-plugin-2.2.0.jar插件,放入MyEclipse_home1\dropins目录下。
2、重启MyEclipse,在window->preference中会多出一个Hadoop Map/Reduce的项。选择hadoop存放目录。 hadoop-2.2.0-x64.rar (解压后的目录)
3、配置hadoop的环境变量(windows重启才会生效,原因不明)
4、添加Map/Reduce Locations ,Map/Reduce的host和post是你URL访问hdfs的主机名和端口。DFS Master的host不变,port是你在core-site中配置的fs.default的value中的端口号,如果做了HA,此处写的是集群对外访问的URL,那么端口在hdfs-site.xml中,是各个namenode的rpc端口号。
5、点击finish,切换到project explorer视图,就可以直接在MyEclipse中访问hdfs的文件了
6、后面就可以在MyEclipse中直接调试MR程序或者操作hbase
为什么仅仅设置了用户名 不用密码就可以直接访问HDFS 并作操作呢?
hfs-site.xml中 df.permissions.enabled 这个要设置为false
MapReduce的端口是dfs.datanode.ipc.address的端口号
DFS的端口是默认的core-site中的端口
参考地址:http://www.aboutyun.com/thread-8190-1-1.html
1、安装MyEclipse插件,下载hadoop-eclipse-plugin-2.2.0.jar插件,放入MyEclipse_home1\dropins目录下。
2、重启MyEclipse,在window->preference中会多出一个Hadoop Map/Reduce的项。选择hadoop存放目录。 hadoop-2.2.0-x64.rar (解压后的目录)
3、配置hadoop的环境变量(windows重启才会生效,原因不明)
4、添加Map/Reduce Locations ,Map/Reduce的host和post是你URL访问hdfs的主机名和端口。DFS Master的host不变,port是你在core-site中配置的fs.default的value中的端口号,如果做了HA,此处写的是集群对外访问的URL,那么端口在hdfs-site.xml中,是各个namenode的rpc端口号。
5、点击finish,切换到project explorer视图,就可以直接在MyEclipse中访问hdfs的文件了
6、后面就可以在MyEclipse中直接调试MR程序或者操作hbase
为什么仅仅设置了用户名 不用密码就可以直接访问HDFS 并作操作呢?
hfs-site.xml中 df.permissions.enabled 这个要设置为false
MapReduce的端口是dfs.datanode.ipc.address的端口号
DFS的端口是默认的core-site中的端口
参考地址:http://www.aboutyun.com/thread-8190-1-1.html
相关文章推荐
- Spring与Hibernate整合时的核心类LocalSessionFactoryBean详解
- 通过spring,在项目的任意位置获取当前Request
- RxJava:Schedulers选择 newThread vs io
- Android:在eclipse中的快捷键
- Myeclipse安装spket插件字体太小的解决方法
- java实现定时任务的三种方法
- java语言中除数为零问题
- Java-高精度
- spring启动component-scan类扫描加载过程---源码分析
- java.io.NotSerializableException: java.util.ArrayList$SubList
- 扩展Spring PropertyPlaceholderConfigurer实现根据环境加载配置文件
- 一个简单的SpringMVC需要哪些jar包[Spring4]
- 在java下使用log4j2记录日志
- java的property配置文件的用法
- @produces在spring mvc中是什么意思
- MyBatis整合Spring
- 三句话总结jdk与cglib代理的特点
- 详细解释Spring与Hibernate的整合
- Java安全应用——Bouncy Castle Crypto API
- CXF3.0.2+Spring3.2.14 WebService入门实例四