您的位置:首页 > 产品设计 > UI/UE

mapreduce 自定义key/value 输出分隔符

2013-12-27 10:53 961 查看

mapreduce 默认情况下 key/value 分隔符为:“\t”

测试的输出如下:



我们可以在代码中进行设置来自定义 key/value 输出分隔符:在代码中添加如下一行代码:

conf.set("mapred.textoutputformat.separator", ";"); //此处以”;“作为分割符,后边介绍为什么这么修改



修改代码后,测试修改结果:



修改原因:

我们checkout hadoop-1.2.1版本

打开文件:TextOutputFormat.java



我们可以看到如下一行代码:

String keyValueSeparator= conf.get("mapred.textoutputformat.separator",

"\t");

代码的意思是:读取设置的key/value输出分隔符,如果没有读取到,默认使用 "\t"

所以我们就在任务执行前设置名称为:mapred.textoutputformat.separator 的自定义值 即可

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐