Spark读取文件

1.textFile：

其定义为:def textFile(path: String, minPartitions: Int = defaultMinPartitions): RDD[String]；从HDFS，本地或者任何Hadoop支持的文件系统URI读取文件，返回String RDD。

2.wholeTextFiles：

其定义为:def wholeTextFiles(path: String, minPartitions: Int = defaultMinPartitions): RDD[(String, String)]；例如，有下列文件:

hdfs://a-hdfs-path/part-00000

hdfs://a-hdfs-path/part-00001

…

hdfs://a-hdfs-path/part-nnnnn

读取：

val rdd = sparkContext.wholeTextFile(“hdfs://a-hdfs-path”)

之后RDD所包含的内容：

(a-hdfs-path/part-00000, its content)

(a-hdfs-path/part-00001, its content)

…

(a-hdfs-path/part-nnnnn, its content)

3.binaryFiles：

用于读取二进制文件，跟wholeTextFiles的用法相同。