mapreduce 调试
2015-11-20 10:11
169 查看
mapreduce 如何进行有效的调试。
1)、对工程先编译,打jar包,再传到集群的节点上,在执行Hadoop jar 命令。
2)、每次发现有个bug,1)又得执行一次,那个叫浪费生命啊。
有没有比较方便些的方法呢。
1、因在Hadoop集群下不好进行远程调试,我们可以通过设置文件的大小(或控制分片的大小)使测试阶段map个数为1,同时设置reduce的个数也为1,使用打印日志的方式(可以写个小工具,让输出到hdfs)。
2、每次把要更改的.class文件传到执行的节点,通过 解jar,把.class替换掉,再打成jar包。这些都可以固化成脚本。
3、每次通过看输出的日志,可以很方便的查看异常。
1)、对工程先编译,打jar包,再传到集群的节点上,在执行Hadoop jar 命令。
2)、每次发现有个bug,1)又得执行一次,那个叫浪费生命啊。
有没有比较方便些的方法呢。
1、因在Hadoop集群下不好进行远程调试,我们可以通过设置文件的大小(或控制分片的大小)使测试阶段map个数为1,同时设置reduce的个数也为1,使用打印日志的方式(可以写个小工具,让输出到hdfs)。
2、每次把要更改的.class文件传到执行的节点,通过 解jar,把.class替换掉,再打成jar包。这些都可以固化成脚本。
3、每次通过看输出的日志,可以很方便的查看异常。
相关文章推荐
- linux下文件合并、分割、去重
- 推荐系统比较好的论
- sqlite3 OC 提供的方法
- python logging模块的多文件应用
- 常见的502错误
- ios view的frame和bounds之区别(位置和大小)
- android:layout_weight的真实含义
- SecureCRT快捷键
- SSH:Struts2框架(搭建运行第一个程序)
- ViewSwitcher和TextSwithcher打造不一样的视觉效果
- Adnroid中消除ImageButton默认背景
- android 中如何限制 EditText 最大输入字符数
- js和jQuery的区别和联系 localstorage 和sessionstorage的区别
- Angularjs快速入门(一)
- 微软算法100道题-----:在一个字符串中找到第一个只出现一次的字符
- SQL_多条记录中取最大日期的记录
- 异步载入资源
- AFX_MANAGE_STATE(AfxGetStaticModuleState());
- 程序员的福利:Android_JNI整套视频分享
- Kafka Java API 之Producer源码解析