Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
2016-07-22 12:01
851 查看
take
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素,不排序。
def top(num: Int)(implicit ord: Ordering[T]): Array[T]
top函数用于从RDD中,按照默认(降序)或者指定的排序规则,返回前num个元素。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21
scala> rdd1.top(1)
res2: Array[Int] = Array(12)
scala> rdd1.top(2)
res3: Array[Int] = Array(12, 10)
//指定排序规则
scala> implicit val myOrd = implicitly[Ordering[Int]].reverse
myOrd: scala.math.Ordering[Int] = scala.math.Ordering$$anon$4@767499ef
scala> rdd1.top(1)
res4: Array[Int] = Array(2)
scala> rdd1.top(2)
res5: Array[Int] = Array(2, 3)
takeOrdered
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
takeOrdered和top类似,只不过以和top相反的顺序返回元素。
def take(num: Int): Array[T]
take用于获取RDD中从0到num-1下标的元素,不排序。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3)) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21 scala> rdd1.take(1) res0: Array[Int] = Array(10) scala> rdd1.take(2) res1: Array[Int] = Array(10, 4)top
def top(num: Int)(implicit ord: Ordering[T]): Array[T]
top函数用于从RDD中,按照默认(降序)或者指定的排序规则,返回前num个元素。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21
scala> rdd1.top(1)
res2: Array[Int] = Array(12)
scala> rdd1.top(2)
res3: Array[Int] = Array(12, 10)
//指定排序规则
scala> implicit val myOrd = implicitly[Ordering[Int]].reverse
myOrd: scala.math.Ordering[Int] = scala.math.Ordering$$anon$4@767499ef
scala> rdd1.top(1)
res4: Array[Int] = Array(2)
scala> rdd1.top(2)
res5: Array[Int] = Array(2, 3)
takeOrdered
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
takeOrdered和top类似,只不过以和top相反的顺序返回元素。
scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3)) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21 scala> rdd1.top(1) res4: Array[Int] = Array(2) scala> rdd1.top(2) res5: Array[Int] = Array(2, 3) scala> rdd1.takeOrdered(1) res6: Array[Int] = Array(12) scala> rdd1.takeOrdered(2) res7: Array[Int] = Array(12, 10)
相关文章推荐
- openpyxl读取xlsx
- hdu 5730 Shell Necklace fft+cdq分治
- linux下安装mysql最简教程
- 开源日志分析工具elk安装部署
- [经验交流] Kubernetes Nginx Ingress 安装与使用
- linux下vi命令大全
- SolrCloud 4.3.1+Tomcat 7安装配置实践
- SecureCRT远程连接Linux(Ubuntu)
- 【Linux】进程的创建执行和优先级
- opencv学习(5)图像像素的访问、颜色通道的分离和融合
- Java事务--spring+atomikos+tomcat实现分布式事务
- docker基础命令
- new,operator new和placement new
- linux之svn回滚/回退到某个版本
- Linux - ubuntu cheat sheet
- 添物不花钱学JavaEE(基础篇)- Tomcat
- 添物不花钱学JavaEE(基础篇)- Tomcat
- 中小型网站架构分析及优化
- 嵌入式linux 项目开发(一)——CGIC编程
- 大型网站架构演化解析