Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式的集群运行）

一：打包成jar

1.修改代码

　　


2.使用maven打包

　　但是目录中有中文，会出现打包错误

　　


3.第二种方式

　　


4.下一步

　　


5.下一步

　　


6.下一步

　　


7.下一步

　　


8.下一步

　　


9.完成

　　


二：在集群上运行（local模式）

1.上传

　　


2.运行（local模式）

　　


3.运行结果

　　


三：集群上运行（standalone模式）

1.DeoloyMode

　　表示Driver执行的位置。

　　client如果是参数，则表示driver执行在执行spark-submit命令的机器上。

　　cluster是参数，则表示driver会运行在集群中选择的某一台机器上。

2.运行（standalone模式的client）

　　


3.结果（8080端口）

　　


4.运行（standalone模式的cluster）

　　


5.结果

　　


三：介绍模式

1.client

　　


2.cluster