java 实现hadoop的hdfs文件的上传下载删除创建
2017-02-19 20:42
846 查看
java 实现 hdfs文件的上传下载删除创建
对于ubuntu14.04 下 Hadoop 的安装和eclipse配置hadoop的文档参考:安装hadoop http://www.powerxing.com/install-hadoop/
安装eclipse配置hadoop http://www.powerxing.com/hadoop-build-project-using-eclipse/
package org.apache.hadoop.examples; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; /** * hdfs在java 的方法(创建文件夹 上传文件 下载文件 删除文件) * @author hadoop * */ public class HdfsUtil { public static final String HDFS_PATH = "hdfs://localhost:9000/user/hadoop/hello"; public static final String DIR_PATH = "hdfs://localhost:9000/user/hadoop/hello"; public static final String FILE_PATH = "hdfs://localhost:9000/user/hadoop/hello"; public static void main(String[] args) throws Exception { final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH), new Configuration()); // 创建文件夹 // makeDirectory(fileSystem); // 上传文件 // uploadData(fileSystem); // 下载文件 // downloadData(fileSystem); // 删除文件 deleteFile(fileSystem); } private static void deleteFile(final FileSystem fileSystem) throws IOException { // 删除文件-true/false(文件夹-true) fileSystem.delete(new Path(FILE_PATH), true); } private static void downloadData(final FileSystem fileSystem) throws IOException { final FSDataInputStream in = fileSystem.open(new Path(FILE_PATH)); IOUtils.copyBytes(in, System.out, 1024, true); } private static void makeDirectory(final FileSystem fileSystem) throws IOException { // 创建文件夹 fileSystem.mkdirs(new Path(DIR_PATH)); } private static void uploadData(final FileSystem fileSystem) throws IOException, FileNotFoundException { // 上传文件 final FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH)); //上传后的文件命令名 FileInputStream in = new FileInputStream("./hello.txt"); //上传的文件 IOUtils.copyBytes(in, out, 1024, true); } }
谢谢。
相关文章推荐
- java实现对hdfs文件系统的上传,下载,删除,创建文件夹的操作演示
- 调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能
- (2-4)HDFS的Java接口,上传,下载,创建文件,删除文件
- java操作hadoop hdfs,实现文件上传下载demo
- Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
- Java实现远程HDFS的文件操作(新建、上传、下载、删除)
- Java实现远程HDFS的文件操作(新建、上传、下载、删除)
- java操作FTP,实现文件上传下载删除操作
- java文件上传(文件大小校验)、下载、删除的实现代码
- Java代码使用FTPClient实现ftp文件上传下载和删除的功能
- Java 使用ftp的方式上传文件到linux,并实现删除,下载
- java创建SFTP通道实现文件的上传与下载
- java操作hdfs,实现文件上传、下载以及查看当前文件夹下所有文件
- Java实现FTP文件上传、下载和删除
- java基于Apache FTP实现文件上传、下载、修改文件名、删除
- java实现-hdfs上的文件上传下载(windows)
- Hadoop之HDFS上测试创建目录、上传、下载文件
- hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
- 十三、根据HDFS提供的API,实现文件上传、下载、删除、重命名、移动