Spark Python API 学习(3)
2017-03-06 12:06
155 查看
常用API讲解-转换操作
Python知识补充:lambda表达式(重要)在对RDD操作的过程中需要向Spark传递自定义函数,就需要用到Python的lambda表达式
格式:
lambda x: fun(x) #将x传递给fun(x)函数
转换操作:RDD的转换操作是返回新RDD的操作
对单个RDD的转换操作API
1.filter():过滤器,接收的参数是一个函数,首先将RDD中的每个元素分别作用这个函数,然后筛选出符合这个函数的元素组成新的RDD rdd = sc.parallelize([1,2,2,3]) result = rdd.filter(lambda x: x != 1) #过滤掉 x = 1 的元素,result的结果为内容为[2,2,3]的新RDD print(result.collect()) #collect()的作用是输出result的内容,collect()方法是行动操作,前边讲了,spark采取的是惰性运算, #转化操作cpu实际是不计算的,只有到了行动操作cpu才进行计算。 2.distinct():去掉重复元素 rdd = sc.parallelize([1,2,2,3]) result = rdd.distinct() #去掉重复元素2,返回新的RDD,包含元素[1,2,3] print(result.collect()) #行动操作,程序只有行动操作cpu才会真正运算。 3.simple():没看懂,不知道干啥的 4.map():将函数应用于RDD中的每一个元素,将返回 值 组成新的RDD rdd = sc.parallelize([1,2,2,3]) result = rdd.map(lambda x: x*x) #map函数将RDD中的每一个元素作用于lambda这个传递表达式,经过lambda返回新的元素组成新的RDD,包含元素[1,4,4,9] print(result.collect()) #行动操作,程序只有行动操作cpu才会真正运算。 5.flatMap():说实话,我并没有太分清他和map的区别,但是我用map的例子换成flatmap操作就报错,说什么不是迭代器。 #接收的参数为传递表达式,将原RDD中的元素分别作用于传递进的函数,然后将所有的原RDD经过传递表达式产生的所有元素组成新的RDD。 #多用来切分单词,具体例子可以看书34页,那个图比较明白。
对两个RDD的转换操作API
1.union():将连个RDD中的元素加起来,生成新的RDD rdd1 = sc.parallelize([1,2,3]) rdd2 = sc.parallelize([3,4,5]) rdd3 = rdd1.uoion(rdd2) print(rdd3.collect()) #输出[1,2,3,3,4,5],不合并相同元素 2.intersection():筛选出两个RDD中相同的元素组成新的RDD rdd1 = sc.parallelize([1,2,3]) rdd2 = sc.parallelize([3,4,5]) rdd3 = rdd1.uoion(rdd2) print(rdd3.collect()) #输出[3] 3.subtract():从前边的RDD中移除参数RDD中的元素 rdd1 = sc.parallelize([1,2,3,4,5]) rdd2 = sc.parallelize([3,4]) rdd3 = rdd1.uoion(rdd2) print(rdd3.collect()) #输出[1,2,5] 4.cartesian():求两个RDD的笛卡尔积 rdd1 = sc.parallelize([1,2,3]) rdd2 = sc.parallelize([3,4,5]) rdd3 = rdd1.uoion(rdd2) print(rdd3.collect()) #输出[(1, 4), (1, 5), (1, 6), (2, 4), (2, 5), (2, 6), (3, 4), (3, 5), (3, 6)]
相关文章推荐
- Spark Python API 学习(2)
- Spark Python API 学习(1)
- Spark Python API 学习(4)
- Spark (Python版) 零基础学习笔记(三)—— Spark Actions总结及举例
- Python RESTful API 学习(一)
- Python RESTful API 学习(一)
- Python RESTful API 学习(一)
- 效率对比:Spark的Scala API与Python API(利用PageRank)
- Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL
- Python RESTful API 学习(一)
- Python RESTful API 学习(一)
- Python 调用cobbler API 学习笔记
- python Web框架 Django学习(4) API
- 【原】Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL
- 【原】Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习
- Python RESTful API 学习(一)
- Openstack python api 学习文档 api创建虚拟机
- python2学习笔记之mysql连接,中文乱码的解决和文件api的使用
- Python RESTful API 学习(一)
- Python RESTful API 学习(一)