您的位置:首页 > 运维架构

在hadoop中如何进入本地调试、及如何设置split的大小

2015-12-16 15:36 274 查看
在mapreduce中,如果想进入debug模式进行调试,则需要在main函数中去掉下面一行代码:

Configuration conf = new Configuration();

conf.set("mapred.job.tracker", "master:9001");//这行不能要,否则进入集群模式,不能单步调试,不设置jobtracker默认进入本地模式

 

在hadoop中设置每个split大小

Job job = new Job(conf, "combine smallfiles map");

job.getConfiguration().setLong("mapreduce.input.fileinputformat.split.maxsize", (long)(113*1024*1024));//split的大小设置为113M

 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  Hadoop