hdfs获取文件列表,利用正则表达式选择文件并作下一步处理
2016-05-10 15:47
483 查看
Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(URI.create(args[1]),conf); FileStatus[] listStatus = hdfs.listStatus(new Path(args[1])); Path[] listPath = FileUtil.stat2Paths(listStatus); for(Path p : listPath){ String fileNamePath = p.toString();//获得带路径的文件名字符串 String fileName = p.getName();//获取文件名 String regex = "keyword+//-[0-9]+//-r+//-00000";//keyword-00-r-00000 Pattern pattern = Pattern.compile(regex); Matcher matcher = pattern.matcher(fileName); if(matcher.matches()){ //找到满足的文件,做下一步处理 }
相关文章推荐
- hadoop2.6在window上搭建测试环境
- HDFS文件上传,命令行模式执行WordCount自带实例
- hdfs的实现机制和文件系统概念
- hadoop namenode safe mode
- 漫画解读HDFS机制
- HDFS 读写流程
- HDFS块检查命令Fsck机理的相关分析
- HDFS跨集群数据合并方案之ViewFileSystem
- Hadoop 2.x伪分布式环境搭建详细步骤
- ceph和hdfs
- hadoop
- 大数据实验室(大数据基础培训)——Hadoop的安装、配置及基础使用
- HDFS的实现思想和概念
- 写了2个简单的工具脚本用来分发hdfs集群上的文件到所有节点,和远程执行命令
- flume保存文件到hdfs的时候报错
- 在HDFS上配置Alluxio
- DEPRECATED: Use of this script to execute hdfs command is deprecated.
- 笔记
- HDFS 读写数据详细步骤
- HDFS 基本文件操作API