您的位置:首页 > 大数据 > Hadoop

hadoop学习笔记(八):Java HDFS API

2019-04-23 09:42 495 查看

hadoop学习笔记(八):Java HDFS API

阅读目录

回到顶部

一、使用HDFS FileSystem详解

HDFS依赖的第三方包:

  hadoop 1.x版本:

  commons-configuration-1.6.jar

  commons-lang-2.4.jar

  commons-loggin-1.1.1.jar

  hadoop-core-1.2.1.jar

  log4j-1.2.15.jar

  hadoop2.x版本:

  hadoop-mapreduce-client-core-2.2.0.jar

  hadoop-common-2.2.0.jar 

  hadoop-mapreduce-client-common-2.2.0.jar

  hadoop-mapreduce-client-jobclient-2.2.0.jar

注意:可根据自身的情况和版本信息手动添加或maven仓库依赖。

文件操作

  1 工具类的创建:

  创建一个工具类HDFSUtils,主要用来加载公共信息:  

 HDFSUtils

  2 上传文件到HDFS

 上传文件

  3 读取文件

 读取文件

 查看目录

  4 在hadoop fs中新建文件,并写入

 创建文件

 创建文件并写入内容

  5 重命名文件

 重命名

  6 删除hadoop fs上的文件

 删除

HDFS信息

  1 查找某个文件在HDFS集群中的位置

 查找某个文件在HDFS中的位置

  2 获取HDFS集群上所有节点名称信息

 获取HDFS集群上所有节点名称信息

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: