mapreduce 自定义key/value 输出分隔符
2015-12-21 21:10
183 查看
转载:http://blog.csdn.net/lihuinihao/article/details/17607197
mapreduce 默认情况下 key/value 分隔符为:“\t”
测试的输出如下:
我们可以在代码中进行设置来自定义 key/value 输出分隔符:在代码中添加如下一行代码:
conf.set("mapred.textoutputformat.separator", ";"); //此处以”;“作为分割符,后边介绍为什么这么修改
修改代码后,测试修改结果:
修改原因:
我们checkout hadoop-1.2.1版本
打开文件:TextOutputFormat.java
我们可以看到如下一行代码:
String keyValueSeparator= conf.get("mapred.textoutputformat.separator",
"\t");
代码的意思是:读取设置的key/value输出分隔符,如果没有读取到,默认使用 "\t"
所以我们就在任务执行前设置名称为:mapred.textoutputformat.separator 的自定义值 即可
相关文章推荐
- 【iOS】UITextField限制输入长度
- UI day 22 block动画 CAlayer动画
- UI day 20 iOS FMDB自己封装的单例类
- UI day 19 UICollectionView
- UI day 18 数据库SQL语句
- SelectAllStu GetNameById queryStuById
- UI 17 day 初级数据持久化
- UI day 16 KVO观察者模式
- UI day 13 Xib可视化编程 storyboard可视化编程
- UI day 12 UITabBarController 标签视图控制器 微信的界面 Block 传值
- UI day 11 模态
- UI day 10 UItabelView 编辑和移动 UItabelViewController
- UI day 9 UITabelView
- UI day 8 导航控制器 属性传值 代理传值 单例传值
- UI day 7 UIScrollView
- UI day 6 UIImageView UIImage图片类 UISitch开关控件 UIStepper加减控件 U UISegmentedControl 分段控制器
- UI day 5 target...action模式 代理模式 手势识别器
- UI day 4 事件处理(UIEvent) 触摸 晃动 远程控制事件
- miniui·琐碎
- UI day 1 UIView