如何将多个输入文件合并到hadoop中的一个文件
2011-12-28 17:23
891 查看
在使用hadoop是，我们有时候需要将本地文件系统上的多个文件合并为hadoop文件系统上的一个文件，但是 hadoop文件系统本身的shell命令并不支持这样的功能，但是hadoop的put命令支持从标准输入读取数据，所以实现标题功能的hadoop命令如下：
cat localfile1 localfile2 | bin/hadoop fs -put /dev/fd/0 destfile
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Windows 如何将分卷文件合并为一个文件
- 如何将多个excel文件合并成一个
- Hadoop-采样器－多输入路径－只采一个文件－（MultipleInputs+getsample(conf.getInputFormat)
- 如何有效合并两个文件：一个是1亿条的用户基本信息，另一个是用户每天看电影连续剧等的记录，5000万条。其中内存只有1G。
- 如何有效合并两个文件：一个是1亿条的用户基本信息，另一个是用户每天看电影连续剧等的记录，5000万条。其中内存只有1G。
- 如何将一个目录下的所有文件，合并成一个文件
- Hadoop-采样器－多输入路径－只采一个文件－（MultipleInputs+getsample(conf.getInputFormat)
- 如何将很多文件合并称一个文件
- 本人写的如何使用DFS API 合并为一个大的天气数据文件
- 如何把一个现成的exe文件合并到合并到我的程序里？运行时再释放出来？
- 多个excel文件如何快速合并到一个excel中
- Visio如何合并多张工作表（将多个文件合并成一个文件）
- 如何把多个lib文件合并在一个lib文件中
- 如何有效合并两个文件：一个是1亿条的用户基本信息，另一个是用户每天看电影连续剧等的记录，5000万条。其中内存只有1G。
- 如何将Nios II硬件和软件合成一个文件（NIOS II）（硬件）（软件）（合并）
- Hadoop文件合并――Hadoop In Action上的一个示例
- 如何将多个vmdk文件合并为一个或者将一个vmdk文件拆分为多个
- Java ,如何用标准的输入输出流重定向到一个文件
- （原创）如何将Nios II硬件和软件合成一个文件（NIOS II）（硬件）（软件）（合并）
- 如何将多个PPT文件合并到一个PPT中