python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob
2013-11-06 11:46
405 查看
在hadoop的开发中,经常要根据streaming中不同的文件名做不同的处理,需要获取文件名。
1,hadoop上在java开发可用:
来获取文件名称。
,2,同样python开发时,可以用:
来获取文件名:
import os
os.environ["map_input_file"]
这里的 map_input_file 相当于map.input.file
参考:
http://stackoverflow.com/questions/11434850/how-to-get-the-name-of-input-file-in-mrjob/11437781#11437781
1,hadoop上在java开发可用:
FileSplit fileSplit = (FileSplit)reporter.getInputSplit(); String fileName = fileSplit.getPath().getName();
来获取文件名称。
,2,同样python开发时,可以用:
来获取文件名:
import os
os.environ["map_input_file"]
这里的 map_input_file 相当于map.input.file
参考:
http://stackoverflow.com/questions/11434850/how-to-get-the-name-of-input-file-in-mrjob/11437781#11437781
相关文章推荐
- python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob
- python hadoop 在streaming中获取文件名的方法
- Java: 获取当前执行位置的文件名/类名/方法名/行号
- Hadoop WordCount(Streaming,Python,Java三合一)
- paip.uapi 获取网络url内容html 的方法java php ahk c++ python总结.
- 利用Java获取文件名、类名、方法名和行号的方法小结
- Java中获取文件名、类名、方法名、行号的方法
- Java从文件路径中获取文件名的几种方法
- python获取文件所在目录和文件名,以及检索当前文件名的方法
- python获取指定目录下所有文件名列表的方法
- Mark一下.根据文件路径获取文件名的java方法
- 利用Java获取文件名、类名、方法名和行号的方法小结
- 3种Java从文件路径中获取文件名的方法
- 3种Java从文件路径中获取文件名的方法
- Python面向对象,类,继承,多态及鸭子类型,获取类的类型,方法和属性(类似java的反射)
- 3种Java从文件路径中获取文件名的方法
- Java获取文件名/类名/函数名/行号的方法
- Python获取指定文件夹下的文件名的方法
- 获取python文件扩展名和文件名方法
- 3种Java从文件路径中获取文件名的方法