Hadoop-利用java API操作HDFS文件

这段时间学习了python和hadoop，主要用于数据处理方面，因此打算写几篇这方面的博客。不过不是我的原创，我也是利用前辈的工作展示给大家。把自己学到的东西，也是比较初级的东西展示给需要的同学。

首先说一说hadoop的安装和配置。这里我不打算把怎么配置怎么安装一步一步的说，我这里给出一些资料和视频，大家可以下载下来，视频里面详细讲述了如何安装和配置hadoop。

链接: http://pan.baidu.com/s/1kTxZxQJ 密码: 8974

该链接下包含了视频、以及视频中所用到的全部软件和视频笔记。

有了上面的资料，完全可以完成hadoop的安装和配置工作。下面就是使用eclipse进行开发。关于eclipse开发mapreduce，可以配置eclipse的mapreduce插件。我也给出链接如下：http://www.ithao123.cn/content-1384302.html

该链接下说明了如何编译hadoop的eclipse插件，然后把编译好的jar放在eclipse的plugins目录下即可。然后重新启动eclipse



如图所示即可。

然后，在eclipse->window->showview



打开mapreduce locations



这里配置好之后就可以了。

这里我也给出视频的所使用的hadoop1.1.2版本的eclipse 插件下载：请猛戳这里！

到此，基本完成了所有的准备工作。

现在就在Windows下的eclipse中进行hadoop的开发。下面我把项目目录结构截图如下：



朦胧的地方是本节内容不需要的部分，配置的依赖包比较多，其中关于hadoop的jar包是必不可少的，commons的三个包也不可少。ant.jar在上面的下载资料中已经有了，可以单独下载下来添加进来。

以上的包在hadoop的解压目录里面都有。

创建目录：

/**
* 创建目录
* @param folder
* @throws IOException
*/
public void mkdirs(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
if (!fs.exists(path)) {
fs.mkdirs(path);
System.out.println("Create: " + folder);
}
fs.close();
}

FileSystem类是hadoop中的类，mkdirs方法创建目录。

类似于命令：



以上是命令行方式实现创建文件。实现在根目录下创建test文件夹

删除文件：

/**
* 删除文件或目录
* @param folder
* @throws IOException
*/
public void rmr(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.deleteOnExit(path);
System.out.println("Delete: " + folder);
fs.close();
}

hadoop命令如下：



命令行方式删除文件。提示我删除目录使用命令：

hadoop fs -rmr 路径

方式删除目录。

重命名文件：

/**
* 重命名文件
* @param src
* @param dst
* @throws IOException
*/
public void rename(String src, String dst) throws IOException {
Path name1 = new Path(src);
Path name2 = new Path(dst);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.rename(name1, name2);
System.out.println("Rename: from " + src + " to " + dst);
fs.close();
}

把out.txt文件重命名为out文件名。

遍历文件：

/**
* 遍历文件
* @param folder
* @throws IOException
*/
public void ls(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
FileStatus[] list = fs.listStatus(path);
System.out.println("ls: " + folder);
System.out
.println("==========================================================");
for (FileStatus f : list) {
System.out.printf("name: %s, folder: %s, size: %d\n", f.getPath(),
f.isDir(), f.getLen());
}
System.out
.println("==========================================================");
fs.close();
}

上面是遍历了out.txt文件夹下面的文件======分割线内为out.txt文件夹下的文件。

hadoop命令行结果：hadoop fs -ls /out



返回指定文件的位置以及主机信息：

/**
* Return an array containing hostnames, offset and size of
* portions of the given file.
*/
public void location() throws IOException {
String folder = hdfsPath + "/";
String file = "sample.txt";
FileSystem fs = FileSystem.get(URI.create(hdfsPath),
new Configuration());
FileStatus f = fs.getFileStatus(new Path(folder + file));
BlockLocation[] list = fs.getFileBlockLocations(f, 0, f.getLen());

System.out.println("File Location: " + folder + file);
for (BlockLocation bl : list) {
String[] hosts = bl.getHosts();
for (String host : hosts) {
System.out.println("host:" + host);
}
}
fs.close();
}

结果：



本节内容关于HDFS的部分，只有一个类，算不得mapreduce的代码，全部代码如下：

package org.conan.myhadoop.hdfs;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.mapred.JobConf;

/**
* 利用HDFS java API操作文件
*
*/
public class HdfsDAO {
//修改成自己的HDFS主机地址
private static final String HDFS = "hdfs://centos:9000/";
/**
* 两个构造器
* @param conf
*/
public HdfsDAO(Configuration conf) {
this(HDFS, conf);
}

public HdfsDAO(String hdfs, Configuration conf) {
this.hdfsPath = hdfs;
this.conf = conf;
}

private String hdfsPath;
private Configuration conf;
/**
* 测试方法入口
*/
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
/**
* 测试拷贝文件
*/
//      hdfs.copyFile("datafile/item.csv", "/tmp/new");
/**
* 测试遍历文件目录
*/
hdfs.ls("/out");
/**
* 测试重命名文件
*/
//      hdfs.rename("/out.txt", "/out");
/**
* 测试获取给定文件的主机名，偏移量，大小
*/
hdfs.location();
}

public static JobConf config() {
JobConf conf = new JobConf();
conf.setJobName("HdfsDAO");
//      conf.addResource("classpath:/hadoop/core-site.xml");
//      conf.addResource("classpath:/hadoop/hdfs-site.xml");
//      conf.addResource("classpath:/hadoop/mapred-site.xml");
return conf;
}
/**
* 创建目录
* @param folder
* @throws IOException
*/
public void mkdirs(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
if (!fs.exists(path)) {
fs.mkdirs(path);
System.out.println("Create: " + folder);
}
fs.close();
}
/**
* 删除文件或目录
* @param folder
* @throws IOException
*/
public void rmr(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.deleteOnExit(path);
System.out.println("Delete: " + folder);
fs.close();
}
/**
* 重命名文件
* @param src
* @param dst
* @throws IOException
*/
public void rename(String src, String dst) throws IOException {
Path name1 = new Path(src);
Path name2 = new Path(dst);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.rename(name1, name2);
System.out.println("Rename: from " + src + " to " + dst);
fs.close();
}
/**
* 遍历文件
* @param folder
* @throws IOException
*/
public void ls(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
FileStatus[] list = fs.listStatus(path);
System.out.println("ls: " + folder);
System.out
.println("==========================================================");
for (FileStatus f : list) {
System.out.printf("name: %s, folder: %s, size: %d\n", f.getPath(),
f.isDir(), f.getLen());
}
System.out
.println("==========================================================");
fs.close();
}
/**
* 创建文件
* @param file
* @param content
* @throws IOException
*/
public void createFile(String file, String content) throws IOException {
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
byte[] buff = content.getBytes();
FSDataOutputStream os = null;
try {
os = fs.create(new Path(file));
os.write(buff, 0, buff.length);
System.out.println("Create: " + file);
} finally {
if (os != null)
os.close();
}
fs.close();
}
/**
* 拷贝文件到HDFS
* @param local
* @param remote
* @throws IOException
*/
public void copyFile(String local, String remote) throws IOException {
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.copyFromLocalFile(new Path(local), new Path(remote));
System.out.println("copy from: " + local + " to " + remote);
fs.close();
}
/**
* 从HDFS中下载文件到本地中
* @param remote
* @param local
* @throws IOException
*/
public void download(String remote, String local) throws IOException {
Path path = new Path(remote);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.copyToLocalFile(path, new Path(local));
System.out.println("download: from" + remote + " to " + local);
fs.close();
}
/**
* 查看文件中的内容
* @param remoteFile
* @return
* @throws IOException
*/
public String cat(String remoteFile) throws IOException {
Path path = new Path(remoteFile);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
FSDataInputStream fsdis = null;
System.out.println("cat: " + remoteFile);

OutputStream baos = new ByteArrayOutputStream();
String str = null;
try {
fsdis = fs.open(path);
IOUtils.copyBytes(fsdis, baos, 4096, false);
str = baos.toString();
} finally {
IOUtils.closeStream(fsdis);
fs.close();
}
System.out.println(str);
return str;
}
//返回给定文件的位置
/**
* Return an array containing hostnames, offset and size of
* portions of the given file.
*/
public void location() throws IOException {
String folder = hdfsPath + "/";
String file = "sample.txt";
FileSystem fs = FileSystem.get(URI.create(hdfsPath),
new Configuration());
FileStatus f = fs.getFileStatus(new Path(folder + file));
BlockLocation[] list = fs.getFileBlockLocations(f, 0, f.getLen());

System.out.println("File Location: " + folder + file);
for (BlockLocation bl : list) {
String[] hosts = bl.getHosts();
for (String host : hosts) {
System.out.println("host:" + host);
}
}
fs.close();
}
}

以上内容，并非我的原创，代码来源地址：https://github.com/bsspirit/maven_hadoop_template

该项目下包含了很多代码实例，本文中的hdfs操作，只是其中之一。我这里调试通过才有了这篇简单的文章。再次感谢作者！

学习~~！！

原作者本人的github地址：https://github.com/bsspirit

本项目的代码地址：请猛戳这里（欢迎关注我的GITHUB）

项目使用eclipse构建。方便易用，代码注释详细。