Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
2015-01-23 16:27
232 查看
从前一篇文章中的wordcount的输出结果可以看出来结果是未经排序的，如何对spark的输出结果进行排序呢？
先对reduceByKey的结果进行key,value位置置换（数字，字符），然后再进行数字排序，再将key，value位置置换后就是排序后的结果了，最终将结果存储到HDFS中
可以发现我们成功对输出结果进行排序！
先对reduceByKey的结果进行key,value位置置换（数字，字符），然后再进行数字排序，再将key，value位置置换后就是排序后的结果了，最终将结果存储到HDFS中
可以发现我们成功对输出结果进行排序！
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
- Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践
- Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践
- Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、lookup（一）
- 编程产生一个int数组，长度为30，并向其中随机插入1-30,并且不能重复输出数组。实现一个冒泡排序算法对其进行排序，输出排序结果
- Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、look
- 编写一个多线程函数实现对数组排序，要求： 1.至少用两个线程 2.数组的元素值可以事先定义好，或者可以从键盘输入（增加一个线程）。 3.用一个线程对数组排序，用另一个线程输出排序结果。 4.保证先排好序，再输出。
- 3． 编写一个C程序，实现对10个整数进行升序排序输出。
- 《栈的应用_版本1.2（实现了可以在一次运行后进行多次操作）》
- as通过gradle实现多渠道打包+使用配置文件进行版本管理+指定apk输出路径和apk文件名
- Lucene实战（三）多Field搜索，并且对搜索结果进行过滤和[自定义]排序
- 编写一个void sort(int*x,int n)实现将x数组中的n个数据从大到小排序。n及数组元素在主函数中输入。将结果显示在屏幕上并输出到文件
- JAVA_WEB项目之Lucene实现检索结果排序和关键字在索引库中多字段查询结果进行高亮显示
- //@"6",@"34",@"56","78"存入数组，并进行排序降序输出结果
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
- pymongo实现多结果进行多列排序的方法
- Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count
- Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
- Spark API编程动手实战-05-spark文件操作和debug
- 编写一个void sort(int*x,int n)实现将x数组中的n个数据从大到小排序。n及数组元素在主函数中输入。将结果显示在屏幕上并输出到文件