eclipse中集成hadoop插件以及远程调试hadoop的resourcemanager
2016-08-21 14:38
357 查看
一:eclipse集成hadoop开发插件
二:eclipse远程debughadoop集群上的resourcemanager
远程调试的实现是借助于jvm的rpc功能,所以需要远程服务器端的支持,也就是远程服务器端再启动程序的时候,需要加入相关的启动参数
在${hadoop_install}\bin\yarn文件有一个参数:
YARN_RESOURCEMANAGER_OPTS
这个参数是为开发人员准备的。只需要在系统中手动设置这个变量即可实现调试的功能。
在eclipse中,我们就可以选择run as —> debug –> debug comfig –> remote debug —> 选择远程服务器的ip和端口就可以了。
在eclipse的安装目录下的plugins中加入:hadoop2x-eclipse-plugin.zip包下的: hadoop-eclipse-kepler-plugin-2.2.0.jar hadoop-eclipse-kepler-plugin-2.4.1.jar hadoop-eclipse-plugin-2.6.0.jar 重启即可
二:eclipse远程debughadoop集群上的resourcemanager
远程调试的实现是借助于jvm的rpc功能,所以需要远程服务器端的支持,也就是远程服务器端再启动程序的时候,需要加入相关的启动参数
在${hadoop_install}\bin\yarn文件有一个参数:
YARN_RESOURCEMANAGER_OPTS
这个参数是为开发人员准备的。只需要在系统中手动设置这个变量即可实现调试的功能。
1.在windows 的dos下 set YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000" 2.Linux 的shell下 export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000"
在eclipse中,我们就可以选择run as —> debug –> debug comfig –> remote debug —> 选择远程服务器的ip和端口就可以了。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- hadoop上传文件功能实例代码
- java结合HADOOP集群文件上传下载
- Hadoop 2.x伪分布式环境搭建详细步骤
- Java访问Hadoop分布式文件系统HDFS的配置说明