大数据IMF传奇行动绝密课程第50课：Spark性能优化第六季

Spark性能优化第六季

1、关于Shuffle的再次说明

2、Shuffle性能优化

一、Shuffle性能调优

1、问题：Shuffle output file lost?

如果GC尤其是Full GC产生通常会导致线程停止工作，这个时候下一个Stage的Task在默认情况下会尝试重试来获取数据，一般重试3次每次重试的时间为5s，也就是说默认情况下15s内如果还是无法抓到数据的话，就会出现Shuffle output file lost等情况，进而会导致Task重试，甚至会导致Stage重试，最严重的是会导致Application失败；在这个时候，首先就要采用高效的内存数据结构和序列化机制、JVM的调优来减少Full GC的产生；

2、在Shuffle的时候Reducer端获取数据会有一个指定大小的缓存空间，如果内存足够大的情况下，可以适当的增大该缓存空间，否则会spill到磁盘上， 影响效率。

此时可以调整（增大）spark.reducer.maxSizeInFlight 48m(调到128m以上)

3、在ShuffleMapTask端通常也会增大Map任务的写磁盘的缓存spark.shuffle.file.buffer，默认情况下是32k

4、调整获取Shuffle数据的重试次数，默认3次，通常建议增大重试次数；调整获取Shuffle数据的重试时间间隔，默认5s，强烈建议提高该时间 spark.shuffle.io.retryWait 5s

5、在reducer端做Aggregation的时候，默认是20%的内存用来做Aggregation，如果超出了这个大小就会溢出到磁盘上，建议调大百分比来提高性能