KeyValueTextInputFormat 分割key value For hadoop 1.0
2014-09-11 14:44
459 查看
对于要分割这样的文本:
1,2
1,3
2,4
.......
需要使用hadoop的KeyValueTextInputFormat,于是乎就要配置:
Configuration conf = new Configuration();
Job job = new Job(conf,"MyJob");
conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ",");
job.setInputFormatClass(KeyValueTextInputFormat.class);
重点是红色部分代码,配置这两个地方就可以,这是hadoop1.0的配置方法
但是很多书上写的都是
jobConf.set("key.value.separator.in.input.line", ",");
job.setOutputFormatClass(TextOutputFormat.class);
很多书上都是这么写的,因为这是旧的api,网上也有很多同学问 为什么KeyValueTextInputFormat 无法分割,
对于hadoop 1.0 要用mapreduce.input.keyvaluelinerecordreader.key.value.separator
hadoop 0.2 要用 key.value.separator.in.input.line
1,2
1,3
2,4
.......
需要使用hadoop的KeyValueTextInputFormat,于是乎就要配置:
Configuration conf = new Configuration();
Job job = new Job(conf,"MyJob");
conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ",");
job.setInputFormatClass(KeyValueTextInputFormat.class);
重点是红色部分代码,配置这两个地方就可以,这是hadoop1.0的配置方法
但是很多书上写的都是
jobConf.set("key.value.separator.in.input.line", ",");
job.setOutputFormatClass(TextOutputFormat.class);
很多书上都是这么写的,因为这是旧的api,网上也有很多同学问 为什么KeyValueTextInputFormat 无法分割,
对于hadoop 1.0 要用mapreduce.input.keyvaluelinerecordreader.key.value.separator
hadoop 0.2 要用 key.value.separator.in.input.line
相关文章推荐
- KeyValueTextInputFormat 分割key value For hadoop 1.0
- Hadoop on Mac with IntelliJ IDEA - 6 解决KeyValueTextInputFormat读取时只有key值问题
- hadoop 之 InputFormat类 --- KeyValueTextInputFormat 实例
- KeyValueTextInputFormat 分割key value 设置问题:key.value.separator.in.input.line
- Hadoop Problem : hadoop0.20.2中的KeyValueTextInputFormat
- KeyValueTextInputFormat用法
- MapReduce的输入格式---KeyValueTextInputFormat---源码分析
- MapReduce的KeyValueTextInputFormat使用
- hadoop0.20.2中的KeyValueInputFormat
- KeyValueTextInputFormat实例
- KeyValueTextInputFormat 重写
- MapReduce的KeyValueTextInputFormat
- Hadoop中的KeyValueInputFormat
- Hadoop源码解析之: TextInputFormat如何处理跨split的行
- 自定义hadoop map/reduce输入文件切割InputFormat 更改输入value的分隔符
- Oracle - ORA-01840: input value not long enough for date format
- 自定义hadoop map/reduce输入文件切割InputFormat 更改输入value的分隔符
- Hadoop源码解析之: TextInputFormat如何处理跨split的行
- 报错:this class is not key value coding-compliant for the key closeLotTextField解决方法
- Hadoop源码解析之: TextInputFormat如何处理跨split的行