【spark】使用scala读取项目中的文件的方法
2017-04-13 19:23
936 查看
在IDAL下面读取本地文件,可以使用绝对路径也可以使用相对路径
一,直接路径的表达:
直接将文件的绝对路径放在某个变量中,然后再使用textFile()读取里面的内容
但是一般开发都采用这种方法吧
二,相对路径
在使用maven创建的项目中,在编译时会在项目下生成target文件夹,其下面的class文件夹里面生成src->main中的数据如resources中的文件或者是scala文件夹下面的.scala文件的“倒影”。
所以寻找文件的相对位置时,要先找到target这个目录下的地址,然后再找具体的文件。
下面这三条语句都能找到这个地址:
val resource1: URL = Test.getClass.getClassLoader.getResource("")
val resource2: URL = MyRouteMain.getClass.getResource("")
val resource3: URL = MyRouteMain.getClass.getResource("/")
println("resource1 => " + resource1)
println("resource2 => " + resource2)
println("resource3 => " + resource3)
打印结果如下:
resource1 => file:/E:/mycode/Spark/mylearn/target/classes/
resource2 => file:/E:/mycode/Spark/mylearn/target/classes/org/
resource3 => file:/E:/mycode/Spark/mylearn/target/classes/
可见第一、三条语句寻找的是文件class的地址,第二条语句具体的class所在的文件夹地址。然后通过:
val path3 = resource1+"data/hello.txt"
val data = sc.textFile(path3)
data.foreach(println)
来输出文件中的内容。
一,直接路径的表达:
val path2 ="E:\\data\\TEST1.txt" val data = sc.textFile(path2) data.foreach(println)
直接将文件的绝对路径放在某个变量中,然后再使用textFile()读取里面的内容
但是一般开发都采用这种方法吧
二,相对路径
在使用maven创建的项目中,在编译时会在项目下生成target文件夹,其下面的class文件夹里面生成src->main中的数据如resources中的文件或者是scala文件夹下面的.scala文件的“倒影”。
所以寻找文件的相对位置时,要先找到target这个目录下的地址,然后再找具体的文件。
下面这三条语句都能找到这个地址:
val resource1: URL = Test.getClass.getClassLoader.getResource("")
val resource2: URL = MyRouteMain.getClass.getResource("")
val resource3: URL = MyRouteMain.getClass.getResource("/")
println("resource1 => " + resource1)
println("resource2 => " + resource2)
println("resource3 => " + resource3)
打印结果如下:
resource1 => file:/E:/mycode/Spark/mylearn/target/classes/
resource2 => file:/E:/mycode/Spark/mylearn/target/classes/org/
resource3 => file:/E:/mycode/Spark/mylearn/target/classes/
可见第一、三条语句寻找的是文件class的地址,第二条语句具体的class所在的文件夹地址。然后通过:
val path3 = resource1+"data/hello.txt"
val data = sc.textFile(path3)
data.foreach(println)
来输出文件中的内容。
相关文章推荐
- Spark Scala 读取GBK文件的方法
- 使用J2SE API读取Properties文件的六种方法
- 使用J2SE API读取Properties文件的六种方法
- 项目经验二则:读取war包中的文件及Ant使用中的OutOfMemoryError解决
- Fortran 从文件中读取数据放入数组中,然后对其进行bubble sort,使用了一些方法防止人为错误
- 使用J2SE API读取Properties文件的六种方法(转)
- 使用J2SE API读取Properties文件的六种方法
- 使用J2SE API读取Properties文件的六种方法
- 使用RFileReadStream读取文件时,判断文件结束的方法
- 使用J2SE API读取Properties文件的六种方法
- 当类库项目中无法使用Application.StartupPath的时侯 (注:主要是在进行反射读取文件的时候!!)
- 使用J2SE API读取Properties文件的六种方法
- 使用J2SE API读取Properties文件的六种方法
- 用vb.net读取INI配置文件的方法,使用API
- [ZT]使用J2SE API读取Properties文件的六种方法
- [导入]在 Visual Studio .NET IDE 内使用“从源代码管理打开”时出现无法读取项目文件的错误
- [导入]在 Visual Studio .NET IDE 内使用“从源代码管理打开”时出现无法读取项目文件的错误
- [导入]在 Visual Studio .NET IDE 内使用“从源代码管理打开”时出现无法读取项目文件的错误
- 使用J2SE API读取Properties文件的六种方法
- 使用J2SE API读取Properties文件的六种方法(转)