hadoop 应用(1)-cat大量文件并上传至HDFS

//函数功能：将本地的大量文件cat到一起并上传至HDFS上

1.mkdir ./src

2.代码 ./src/PutMerge.java 

package com.sdn.hadoop;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class PutMerge{

        public static void main(String[] args) throws IOException{

                Configuration conf = new Configuration();

                //get FileSystem object of HDFS 

                FileSystem hdfs = FileSystem.get(conf);

                //get FileSystem object of local file system

                FileSystem local = FileSystem.getLocal(conf);

                Path inputDir = new Path(args[0]);

                Path hdfsFile = new Path(args[1]);

                

                try{

                        // get file list of inputDir

                        FileStatus[] inputFiles = local.listStatus(inputDir);

                        FSDataOutputStream out = hdfs.create(hdfsFile);

                        

                        for(int i=0;i<inputFiles.length;i++){

                                System.out.println(inputFiles[i].getPath().getName());

                                FSDataInputStream in = local.open(inputFiles[i].getPath());

                                byte buffer[] = new byte[256];

                                int bytesRead = 0;

                                while( (bytesRead = in.read(buffer)) > 0){

                                        out.write(buffer, 0, bytesRead);

                                }

                                in.close();

                        } 

                        out.close();

                }catch (IOException e){

                        e.printStackTrace();

                }

        }

}

       

3.在./data 目录下准备输入数据，并放入待cat到一起的文件

4.编译java
javac -classpath /usr/local/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar:/usr/local/hadoop-0.20.203.0/lib/commons-cli-1.2.jar -d classes src/PutMerge.java

-classpath 是指定源代码中使用的各种类的库文件路径，中间以:分隔，-d 指定生成的class文件的放置路径
由于指定了package，因此其class文件是位于./classes/com/sdn/hadoop目录下的   

5.打包
jar -cvf PutMerge.jar -C classes/ .
-C 表示在执行jar的时候要切换至classes目录，该目录下有编译好的class文件

6.执行
hadoop jar PutMerge.jar com.sdn.hadoop.PutMerge  ./data /dw_ext/recmd/putmerge.data 
输入路径：./data
输出文件：/dw_ext/recmd/putmerge.data 

7.查看结果
hadoop fs -cat /dw_ext/recmd/putmerge.data 
该文件就是将data目录下的所有文件cat到一起后生成的新文件   

PS：

源代码中未加入package com.sdn.hadoop 时，直接执行hadoop jar PutMerge.jar   ./data /dw_ext/recmd/putmerge.data时，报错如下：

Exception in thread "main" java.lang.ClassNotFoundException...

只需改成如下命令即可正常执行：

hadoop jar PutMerge.jar PutMerge
 ./data /dw_ext/recmd/putmerge.data