spark使用正则表达式读入多个文件
2017-07-27 21:05
183 查看
String dir = "s3a://example/";
String currentDir = dir + "{1[5-9],2[01]}/*.txt";
JavaRDD<String> input = sc.textFile(currentDir);
此段代码会读入amazon s3上example目录下的15, 16, 17, 18, 19, 20, 21目录下的所有txt文件
String currentDir = dir + "{1[5-9],2[01]}/*.txt";
JavaRDD<String> input = sc.textFile(currentDir);
此段代码会读入amazon s3上example目录下的15, 16, 17, 18, 19, 20, 21目录下的所有txt文件
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark读取hdfs文件的路径使用正则表达式
- [Python]_[使用正则表达式提取迅雷界面配置文件XLUE的图片]
- 使用Linux正则表达式灵活搜索文件中的文本
- 使用正则表达式读取简单的xml文件
- awk 系列：如何使用 awk 和正则表达式过滤文本或文件中的字符串
- C#使用正则表达式读取log4net日志文件
- 关于ultraedit的使用，利用正则表达式过滤有用信息到新的文件中
- 使用正则表达式匹配进行文件类名的更改并且去除注释
- 使用正则表达式对xml文件中数据字典进行整理
- 学习 Linux，101: 使用正则表达式搜索文本文件
- Hadoop 和 spark 读取多个文件通配符规则（正则表达式）joe
- C# 在.cs文件中使用正则表达式
- eclipse使用正则表达式查找文件内容
- 如何使用 awk 和正则表达式过滤文本或文件中的字符串
- 使用perl的正则表达式对文件中的特定类型超链接里面的换行去掉，使其在一行
- 在Ant Build文件中使用正则表达式替换文件内容
- 使用Android Studio查找文件中含有中文字符串位置（正则表达式）
- 使用perl的正则表达式对文件中的特定类型超链接里面的换行去掉，使其在一行
- 如何使用 awk 和正则表达式过滤文本或文件中的字符串
- 使用正则表达式替换文件内容 分类： python 小练习 2013-08-13 15:07 332人阅读 评论(0) 收藏