hadoop学习笔记(八):Java HDFS API
2019-04-23 09:42
495 查看
hadoop学习笔记(八):Java HDFS API
阅读目录
一、使用HDFS FileSystem详解
HDFS依赖的第三方包:
hadoop 1.x版本:
commons-configuration-1.6.jar
commons-lang-2.4.jar
commons-loggin-1.1.1.jar
hadoop-core-1.2.1.jar
log4j-1.2.15.jar
hadoop2.x版本:
hadoop-mapreduce-client-core-2.2.0.jar
hadoop-common-2.2.0.jar
hadoop-mapreduce-client-common-2.2.0.jar
hadoop-mapreduce-client-jobclient-2.2.0.jar
注意:可根据自身的情况和版本信息手动添加或maven仓库依赖。
文件操作
1 工具类的创建:
创建一个工具类HDFSUtils,主要用来加载公共信息:
HDFSUtils
2 上传文件到HDFS
上传文件
3 读取文件
读取文件
查看目录
4 在hadoop fs中新建文件,并写入
创建文件
创建文件并写入内容
5 重命名文件
重命名
6 删除hadoop fs上的文件
删除
HDFS信息
1 查找某个文件在HDFS集群中的位置
查找某个文件在HDFS中的位置
2 获取HDFS集群上所有节点名称信息
获取HDFS集群上所有节点名称信息
相关文章推荐
- hadoop学习笔记--5.HDFS的java api接口访问
- Hadoop学习笔记:HDFS的java API使用
- 学习笔记:从0开始学习大数据-5.hadoop hdfs文件读写api操作
- Hadoop学习笔记(十六)---HBase JAVA API
- Hadoop学习笔记(十九)---Hive Java Api
- hadoop学习笔记4:java实现hdfs -ls/-lsr
- Hadoop学习二(java api调用操作HDFS)
- hadoop学习之HDFS(2.8):hdfs的javaAPI使用及示例
- hadoop学习笔记:创建maven项目与使用hdfs的读写API
- Hadoop学习笔记——1.java读取Oracle中表的数据,创建新文件写入Hdfs
- HDFS学习笔记(2)hdfs_shell & JavaAPI
- Hadoop 学习笔记(二) HDFS API
- hadoop学习笔记-java操作hdfs
- Hadoop学习笔记(3)-java操作hdfs的API接口
- 云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin
- Hadoop 学习笔记(一) HDFS API
- Hadoop Java API 操作 hdfs--1
- Hadoop HDFS源码学习笔记(五)
- hadoop学习笔记-HDFS原理
- hadoop学习笔记1.使用shell和JAVA API操作HDFS