本地开发spark代码上传spark集群服务并运行
2017-07-29 10:42
260 查看
打包 ：右击、export、Java 、jar File
把TestSpark.jar包上传到spark集群服务器的 spark_home下的myApp下：
提交spark任务：
cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7
bin/spark-submit --class "ClusterWordCount" --master local[4] myApp/TestSpark.jar
把TestSpark.jar包上传到spark集群服务器的 spark_home下的myApp下：
提交spark任务：
cd /usr/local/spark/spark-2.1.1-bin-hadoop2.7
bin/spark-submit --class "ClusterWordCount" --master local[4] myApp/TestSpark.jar
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 本地开发spark代码上传spark集群服务并运行（基于spark官网文档）
- 本地开发spark代码上传spark集群服务并运行（基于spark官网文档）
- 本地开发spark代码上传spark集群服务并运行（基于spark官网文档）
- 本地开发spark代码上传spark集群服务并运行
- 3-2、Intellij IDEA开发、集群提交运行Spark代码
- eclipse或idea中开发spark程序本地运行以及提交集群运行
- spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行
- 在IDEA中开发代码，并运行在Spark集群中的问题
- 将java开发的wordcount程序提交到spark集群上运行
- Java代码在本地运行没有问题。上传到阿里云服务器后。出现了中文乱码解决
- 以hdfs上文件或者本地文件作为输入在Pycharm中运行spark程序代码示例
- 解决网站项目本地运行ok,将代码上传到服务器中或github中无CSS效果
- 在spark开发环境中使用Standalone模式调试集群运行
- JDK8+Scala2.11+spark-2.0.0+Intellij2017.3.4开发wordcount程序并在集群中运行
- Spark入门--基于Intellij IDEA开发Spark应用并在集群上运行
- 在本地将spark作业运行到远程集群
- Spark wordcount开发并提交到集群运行
- 将java开发的wordcount程序部署到spark集群上运行
- IDEA上Spark——Java、Scala的本地测试版与集群运行版
- 使用ngrok本地开发微信，代码无需上传到服务器