Java从hdfs上读取文件中的某一行
2016-06-30 14:35
381 查看
package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class ReadHDFS { public static String getStringByTXT(String txtFilePath, Configuration conf) { StringBuffer buffer = new StringBuffer(); FSDataInputStream fsr = null; BufferedReader bufferedReader = null; String lineTxt = null; try { FileSystem fs = FileSystem.get(URI.create(txtFilePath),conf); fsr = fs.open(new Path(txtFilePath)); bufferedReader = new BufferedReader(new InputStreamReader(fsr)); while ((lineTxt = bufferedReader.readLine()) != null) { if(lineTxt.split("\t")[0].trim().equals("00067")){ return lineTxt; } } } catch (Exception e) { e.printStackTrace(); } finally { if (bufferedReader != null) { try { bufferedReader.close(); } catch (IOException e) { e.printStackTrace(); } } } return lineTxt; } /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub Configuration conf = new Configuration(); String txtFilePath = "hdfs://master:9000/OutPutBus/line/part-r-00000"; String mbline = getStringByTXT(txtFilePath, conf); System.out.println(mbline); } }
相关文章推荐
- hadoop的hdfs文件操作实现上传文件到hdfs
- java连接hdfs ha和调用mapreduce jar示例
- java实现将ftp和http的文件直接传送到hdfs
- Java访问Hadoop分布式文件系统HDFS的配置说明
- 在Hadoop2.5.0下利用Java读写HDFS
- HDFS 文件操作
- Spark中将对象序列化存储到hdfs
- 读<王垠:一种新的操作系统设计>
- hadoop中RPC通信文件上传原理
- 测试Hadoop的hdfs的问题?
- 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
- hadoop特性讲解
- HDFS 恢复某时刻删除的文件
- #Note# Analyzing Twitter Data with Apache Hadoo...
- tachyon与hdfs,以及spark整合
- CentOS6.5安装Hadoop2.7.1
- HDFS Federation(HDFS 联盟)介绍
- HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)
- HDFS文件系统和OpenStack swift对象存储有何不同
- Hadoop分布式文件系统和OpenStack对象存储有何不同