hadoop学习记（3）--HDFS（java_demo）

这篇我就直接开始java代码编写啦，其实就是调用hadoop的api，对HDFS进行增删改查操作，HDFS本身对外提供服务是没有什么密码验证的，只认用户名，所以我们是需要对它进行一步封装，然后再提供我们封装好后的api。

这里我就只是简单的写个demo，很简单，我直接贴代码

pom.xml文件：

<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.5.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.5.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.5.1</version>
</dependency>

<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
</dependencies>

HdfsTest.java:

package com.cwh.hdfs;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;

public class HdfsTest {
FileSystem fileSystem;
@Before
public void connect() throws IOException, URISyntaxException, InterruptedException{
URI uri = new URI("hdfs://192.168.27.131:9000");
Configuration conf = new Configuration();
fileSystem = FileSystem.get(uri, conf,"root");//root是linux用户，我设置的就只有这个用户有访问权限
}

//创建目录
@Test
public void mkdir() throws IOException{
fileSystem.mkdirs(new Path("/hdfsTest"));
fileSystem.close();
}

//上传文件
@Test
public void upload() throws Exception{
Path srcPath = new Path("D://text.txt");
Path dstPath = new Path("/hdfsTest");
fileSystem.copyFromLocalFile(false, srcPath, dstPath);
fileSystem.close();
}

//下载文件
@Test
public void download() throws Exception{
InputStream in = fileSystem.open(new Path("/hdfsTest/text.txt"));
OutputStream out = new FileOutputStream("E://text.txt");
IOUtils.copyBytes(in, out, 4096, true);
fileSystem.close();
}

//删除文件
@Test
public void delete() throws Exception{
Path path = new Path("/hdfsTest/text.txt");
fileSystem.delete(path,true);
fileSystem.close();
}

//查看文件
@Test
public void view() throws Exception{
Path path = new Path("/hdfsTest/text.txt");
FSDataInputStream fsDataInputStream = fileSystem.open(path);
System.out.println("打印信息：");
int c;
while((c = fsDataInputStream.read()) != -1){
System.out.print((char)c);
}
fsDataInputStream.close();
}

//查看目录
@Test
public void viewPath() throws Exception{
Path path = new Path("/hdfsTest");
FileStatus fileStatus = fileSystem.getFileStatus(path);
System.out.println("文件根目录: "+fileStatus.getPath());
System.out.println("这文件目录为：");
for(FileStatus fs : fileSystem.listStatus(path)){
System.out.println(fs.getPath());
}
}
}

ok!这样我们先来调用下
1.调用mkdir来创建一个目录

通过hadoop客户端我们可以看到创建了一个目录：





注意：这里客户端默认用的权限用户是dr.who，进行操作的时候会报错，所以需要进行修改，打开 core-site.xml进行修改，然后需要重启

添加如下内容即可：

<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>

2.调用upload来上传一个文件到hdfsTest目录下

查看客户端：



点击name可以查看详细信息：



可以看到它上传到了两台DataNode上，因为我就只集群了两台，默认会是3台。

3.调用view查看文本信息



4.调用viewPath可以查看目录结构






大概就这么多了，其他api我就不一一测试了，基本没问题。