Spark Core 调优指南

1 体系

体系

2 配置

资源分配

num-executors：executor的个数

executor-cores：cpu core 的两倍

executor-memory：每个executor的内存大小

driver-memory：driver的内存大小

并行度

spark.default.parallelism

spark.sql.partitions

repartition(num)

内存使用

spark.storage.memoryFraction：用于cache的内存比例

spark.shuffle.memoryFraction：shffule阶段的缓存占内存比例

3 代码

不要重复创建RDD

重复使用的RDD进行cache

使用高性能算子
mapPartition代替map

foreachPartition代替foreach

用reduceByKey代替groupByKey

filter以后使用coalesce减少小任务

广播大变量:sc.broadcast

4 数据

序列化
使用KryoSerializer代替Java序列化

文件格式
使用parquet文件格式，列式存储，读取效率高

5 倾斜

聚合(xxByKey)

造成倾斜的Key数量小且不重要

抽样+过滤

造成倾斜的Key数量多且重要

增加并行度

局部聚合+全局聚合给每个Key加上前缀，聚合

对上步聚合结果的Key去前缀，聚合

连接

小表连接大表

将reduce join 转成map join

使用广播变量将小表数据进行广播

SparkSQL设置spark.sql.autoBroadcastJoinThreshold，默认10m

大表连接大表

造成倾斜的Key不多

对RDD1进行sample找出造成倾斜的Key

分别对RDD1和RDD2进行filter将其分成skewRDD1和commonRDD1以及skewRDD1和commonRDD2

然后对skewRDD1的key添加随机前缀n，对skewRDD2进行n倍扩容，然后join，再对结果的key进行前缀移除得到joinRDD1

将commonRDD1和commonRDD2进行连接，得到joinRDD2

joinRDD1.union(joinRDD2)

造成倾斜的Key多

对RDD1进行随机前缀n的添加

对RDD2进行n倍扩容

然后进行连接

进行随机前缀的移除处理得到结果

作者：_朝和
链接：http://www.jianshu.com/p/87a9c33b4009
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。