SparkStreaming找不到reduceByKey的解决方法

今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：

package com.company.scala.lk

import org.apache.spark.streaming._

/**
* Created by kai on 15/1/14.
*/
object SparkStreamingTest {
def loadFile(): Unit = {
val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15))
val fileStreaming = ssc.textFileStream("/user/kai")
val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print()
ssc.start()
ssc.awaitTermination()
}

def main(args: Array[String]) {
loadFile()
}
}

IDE里面提示找不到“reduceByKey”方法，但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了，然后各种版本确认之后也没发现问题（我用的Spark1.2.0版本），一时无解

。
没办法，上网查吧，最后在Spark的mailing list中找到线索：
http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E

原来是缺少“import StreamingContext._”，Scala会将DStream隐式转换成PairDStreamFunctions，该类中有K/V数据类型相关的函数，例如groupByKey、reduceByKey、join等。
查看Spark的源代码，在StreamingContext文件中找到如下代码：

implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)])
(implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = {
new PairDStreamFunctions[K, V](stream)
}

可以看到，上面的隐式转换函数会将DStream转换为PairDStreamFunctions。
隐式转换函数需要额外import，否则无法正常转换。
可以直接import转换函数：

import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions
或者import org.apache.spark.streaming.StreamingContext._

本文出自 “RunningMan” 博客，请务必保留此出处http://running8.blog.51cto.com/2687882/1603894