Spark-submit提交任务到集群

1 IDEA 打包

示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar



选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。



点击ok，然后选择build --》build artifacts，SparkSQLTest --》build，然后在工程目录的子目录下会生成j对应的jar文件：

2 提交任务

首先启动集群，然后客户端来到spark-submit目录：/app/hadoop/spark131/bin



spark-submit通过命令行的方式提交任务，具体参数信息如下参考：



提交示例如下：



在命令行输入如下命令：
./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar



在web监控界面可以看到：

3 运行结果

结果如下：