hadoop的基本命令、java程序处理hd…

基本命令：

hadoop fs -命令 （这里命令一般和Linux中的命令一样）

※这里一定要在~/.bashrc中进行配置，不然不会生效，在配置文件中加上下面语句

export HADOOP_HOOM=/usr/local/hadoop （这要写自己hadoop的安装路径）

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

常用命令：

hadoop fs -mkdir /user/用户名 ——创建默认工作目录，用户名是你的用户名也可以用这个语句创建其他目录

hadoop fs -ls —— 查看

hadoop fs -lsr —— 递归查看

hadoop fs -put example.txt . —— 从本地复制到hdfs的默认工作目录，注意后面有个.

hadoop fs -get example.txt —— 从hdfs中取出example.txt

hadoop fs -cat example.txt —— 显示hdfs中example.txt数据

hadoop fs -help 命令 —— 了解该命令详细内容

hadoop fs —— 查看hadoop该版本全部命令

※这些命令基本都是对hdfs的操作

java编程处理hdfs文件

FileSystem类：与文件系统交互，调用factory方法

Configuration类：保留键值对

例：

package org.apache.hadoop.examples;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PutMerge {

publicstatic void main(String[] args) throws IOException{
Configuration conf = new Configuration();
FileSystemhdfs = FileSystem.get(conf);
FileSystemlocal = FileSystem.getLocal(conf);

PathinputDir = new Path(args[0]);  //设置输入目录
PathhdfsFile = new Path(args[1]);  //设置输出目录

try{
FileStatus[]inputFiles = local.listStatus(inputDir); //得到本地文件列表
FSDataOutputStream out = hdfs.create(hdfsFile); //生成hdfs输出流

for(int i=0;i
System.out.println(inputFiles[i].getPath().getName());
FSDataInputStream in = local.open(inputFiles[i].getPath());//打开本地输入流
bytebuffer[] = new byte[256];  //java复制过程
intbytesRead=0;
while((bytesRead = in.read(buffer))>0){
out.write(buffer, 0, bytesRead);
}
in.close();
}
out.close();
}catch(IOException e){
e.printStackTrace();
}
}
}