学习日志---本地javaApi连接集群hdfs
2015-09-30 08:05
585 查看
本地电脑连接指定集群的代码:
这里实现的是把hdfs上一个文件删除,并新建,然后把hdfs上的一个文件复制到该文件中。
需要注意的是:hdfs上删除和新建时,需要打开操作文件下的权限:
上面是一种,这里也是一种
DirFile为hdfs的入口地址,如
public class Tt_one { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop1:9000"); FileSystem hdfs = FileSystem.get(conf); FSDataInputStream in1 = null; in1 = hdfs.open(new Path("/input/t1.txt")); BufferedReader br1 = new BufferedReader(new InputStreamReader(in1)); String line = br1.readLine(); System.out.println(line); } }本地删除和添加集群文件
这里实现的是把hdfs上一个文件删除,并新建,然后把hdfs上的一个文件复制到该文件中。
需要注意的是:hdfs上删除和新建时,需要打开操作文件下的权限:
package bbdt.steiss.test; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Tt_one { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop1:9000"); FileSystem fs = FileSystem.get(conf); FSDataInputStream in1 = null; in1 = fs.open(new Path("/output/part-r-00000")); BufferedReader br1 = new BufferedReader(new InputStreamReader(in1)); fs.delete(new Path("/input/test2.txt"),true); FSDataOutputStream fsDataOutputStream = fs.create(new Path("/input/test2.txt")); BufferedWriter bw1 = new BufferedWriter(new OutputStreamWriter(fsDataOutputStream)); String s1 = null; while ((s1 = br1.readLine()) != null) { bw1.write(s1); bw1.write("\n"); } bw1.close(); fsDataOutputStream.close(); br1.close(); in1.close(); } }创建FileSystem的方法:
上面是一种,这里也是一种
DirFile为hdfs的入口地址,如
hdfs://hadoop1:9000
Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(DirFile), conf);
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试
- Hadoop安装感悟
- hadoop安装lzo