java读取HDFS的数据
2015-10-06 14:51
686 查看
通过JAVA直接读取HDFS中的时候,一定会用到FSDataInputStream类,通过FSDataInputStream以流的形式从HDFS读数据代码如下:
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class FileReadFromHdfs {public static void main(String[] args) {try {String dsf = "hdfs://hadoop1:9000/tmp/wordcount/kkk.txt";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(dsf),conf);FSDataInputStream hdfsInStream = fs.open(new Path(dsf));byte[] ioBuffer = new byte[1024];int readLen = hdfsInStream.read(ioBuffer);while(readLen!=-1){System.out.write(ioBuffer, 0, readLen);readLen = hdfsInStream.read(ioBuffer);}hdfsInStream.close();fs.close();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}
相关文章推荐
- Java FileInputStream与FileReader的区别
- eclipse+ADT 进行android应用签名打包
- Java中的并发工具集
- eclipse常用快捷键
- 启动入口Start.java分析
- java springmvc 定时器方法执行两次问题
- 利用jdk的wsimport.exe生成WebServices客户端代码
- java进销存总结
- JAVA 放射、类的加载机制与垃圾回收
- eclipse 插件subclipse 错误 This client is too old to work with working copy
- java学习——XML文件导入
- [转载] 深入理解Java的接口和抽象类
- Java+NetBeans实现简易的计算器
- State 模式
- java中br.readLine与 br.read的用法区别
- Java8新特性 - Lambda表达式 - 基本知识
- spring InitializingBean接口分析
- Command模式
- 我为什么要写《一起学java》这个系列
- java中InputStream中read()与read(byte[] b) 用法介绍