flink1.10版local模式提交job流程分析

1、WordCount程序实例

2、本地监听9000端口后测试结果

3、job提交流程

4、local模式执行StreamGraph任务

5、流程分析
flink job提交流程个人理解可以大致分为定义和提交两个环节：以下以WordCount程序为例进行分析
5.1 定义流程
流程定义包含执行环境构建和算法流程定义：
5.1.1 执行环境构建
执行环境是整个flink程序执行的上下文，记录其相关配置，并提供一系列方法，如读取输入流等，同时提供execute真正开启提交计算的入口。

下面具体来看getExecutionEnvironment方法

本地运行时，其实执行的是createStreamExecutionEnvironment方法

继续往下看发现不断重载createLocalEnvironment方法，最终new了一个LocalStreamEnvironment对象，并设置其并行度等于当前机器的CPU核心数

至此执行环境构建完毕，返回一个LocalStreamEnvironment对象

5.1.2 算法流程定义
算法流程简单来说通常包含三个部分：定义source、operator和sink，对应到示例程序为socketTextStream、（flatMap、keyBy、sum）和print三部分
首先：socketTextStream其本质是向执行环境中添加了SocketTextStreamFunction作为source


其次：faltMap、keyBy和sum其本质是向执行环境中添加FlatMapFunction、KeySelector和AggregationFunction三种算子




下面分别为keyBy和sum的关键细节



最后：print其本质是向执行环境中添加PrintSinkFunction作为sink

5.2 提交任务
提交任务个人理解又包含client提交作业和Executor提交作业两部分
5.2.1 第一个环节client根据流程定义提交作业如job提交流程图所示
这个过程其实又可以可以分为两部分：生成StreamGraph和executeAsync两部分：
首先看生成StreamGraph部分，这一部分比较简单，将执行环境中定义好的流程参数构建出StreamGraph即可，核心细节如下：


executeAsync部分其实就是加载一个PipelineExecutor提交StreamGraph，细节如下：


5.2.2 第二个环节Executor提交作业部分源码如下：

本地模式主要包含了以下环节：
1> 由StreamGraph生成JobGraph
2> 创建启动miniCluster集群，启动JobMaster等等
3> 提交任务到JobMaster