scala语言二次排序实现
2016-12-18 09:22
225 查看
object SecondSort {
def main(args: Array[String]) {
val conf=new SparkConf().setAppName("SecondSort").setMaster("local[2]")
val sc=new SparkContext(conf)
val textFile=sc.textFile("/spark/second.txt")
val word=textFile
.map(_.split("\t")) //: RDD[Array[String]]
.map(tuple=>(tuple(0),tuple(1).toInt))
//: RDD[(String, Int)]
.groupByKey() //: RDD[(String, Iterable[Int])]
.map(tuple=>{
val key=tuple._1
val value=tuple._2
(key,value.toList.sorted)
}) //: RDD[(String, List[Int])]
.sortByKey() //: RDD[(String, List[Int])]
word.foreach(count=>println(count._1+":"+count._2.toString()))
}
}
def main(args: Array[String]) {
val conf=new SparkConf().setAppName("SecondSort").setMaster("local[2]")
val sc=new SparkContext(conf)
val textFile=sc.textFile("/spark/second.txt")
val word=textFile
.map(_.split("\t")) //: RDD[Array[String]]
.map(tuple=>(tuple(0),tuple(1).toInt))
//: RDD[(String, Int)]
.groupByKey() //: RDD[(String, Iterable[Int])]
.map(tuple=>{
val key=tuple._1
val value=tuple._2
(key,value.toList.sorted)
}) //: RDD[(String, List[Int])]
.sortByKey() //: RDD[(String, List[Int])]
word.foreach(count=>println(count._1+":"+count._2.toString()))
}
}
相关文章推荐
- 插入排序(Scala语言实现)
- Spark Scala 实现二次排序和相加
- 数据处理中Java与scala实现二次排序
- 43.top10热门品类之使用Scala实现二次排序
- Spark入门-scala实现二次或多次排序问题
- 汇编语言实现快速冒泡排序
- python 实现Hadoop的partitioner和二次排序
- Scala中的语言特性是如何实现的(2)
- Scala中的语言特性是如何实现的2
- 贴一个数据结构老师布置的作业(各种排序) c 语言实现
- ThinkCMF二次开发--实现批量删除以及排序
- 快速排序Java语言实现
- C 语言 实现int数组的插值排序
- 算法导论 - 归并排序的 C 语言实现
- Spark1.0.0 多语言编程之Scala实现
- 插入排序 java语言实现
- Spark1.0.0 多语言编程之Scala实现
- Scala中的语言特性是如何实现的(2)
- (数据结构与算法分析 八)------插入排序,希尔排序,归并排序的实现( Java语言描述)
- 插入排序(3种语言实现 c/java/python)