您的位置:首页 > 大数据 > Hadoop

对HDFS文件系统文件的读、写、删操作

2011-04-20 16:35 281 查看
HDFS文件系统是Hadoop的分布式文件系统,Hadoop的API中提供了一些方法,以便在编程的时候向HDFS中写入和读出文件。

下面通过一个例子来说明:
public[/b] static[/b] void[/b] readAndWrite(){
Configuration conf = new[/b] Configuration();//获得conf对象,以便能够获得配置文件的信息
FileSystem fs;
try[/b] {
fs = FileSystem.get(
URI.create(conf.get("fs.default.name")), conf);
//读取HDFS系统中的一个文件
InputStream input =fs.open(new[/b] Path("/user/root/urlLib/ftpurl"));
byte[/b] [] b= new[/b] byte[/b][1024];
input.read(b, 0,b.length);
String s =new[/b] String(b);
system.out.println(s);
input.close();
//将刚刚读出来的字符串再写入到HDFS系统中
OutputStream out = fs.create(new[/b] Path(/user/root/urlLib/ftpurl2), true[/b]);
out.write(s.getBytes());
out.flush();
out.close();
//将user/root/urlLib/ftpurl这个文件删除
fs.delete(new[/b] Path("/user/root/urlLib/ftpurl") , true);

} catch[/b] (IOException e) {
// TODO[/b] Auto-generated catch block
e.printStackTrace();
}
}
这个过程和普通的文件读写类似,唯一不同的就是通过Hadoop中FileSystem来获取读写流,以便在读写的时候能够将文件写入到HDFS系统中。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: