第121课：Spark Streaming性能优化：通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数调试

通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数调试

1、Spark Streaming处理摄像头图像

2、Spark Streaming新的性能评估方式

3、Spark Streaming性能调优参数的使用

对于图像处理，数据肯定是在RDD中的，Receiver接收到数据后放在缓存中，然后按照特定的时间周期通过BlockManager存储数据，对于图像处理而言，数据肯定是有特定格式的，在处理的时候HOG进行特征的提取与检测等

在做这个项目的时候，我们采用了自己实现的算法来对性能进行评估，这里主要是写了一个自己的算法实现对CPU使用率的监控，并且通过调优一些参数来提升对Spark Streaming性能的优化。

假设Spark Streaming可以使用n个Core，我们设定每个Core在特定时间里使用的状态为

CPU的占用率

p=∑nn=1∑mt=1Cnt1m∗n

其中Cnt取值0，1

Receiver设置在2-5个比较好

Spark Streaming总共使用的Cores的总数 = receivers * BatchDuration / blockInterval