Spark提交作业运行原理及其参数设置
2018-03-27 16:29
344 查看
运行原理：
样例：
/opt/spark/bin/spark-submit \
--conf spark.num.executors=4 \
--conf spark.executor.memory=16g \
--conf spark.executor.cores=4 \
--conf spark.debug.maxToStringFields=1024 \
--conf spark.driver.memory=4g \
--conf spark.driver.cores=16 \
样例：
/opt/spark/bin/spark-submit \
--conf spark.num.executors=4 \
--conf spark.executor.memory=16g \
--conf spark.executor.cores=4 \
--conf spark.debug.maxToStringFields=1024 \
--conf spark.driver.memory=4g \
--conf spark.driver.cores=16 \
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Java虚拟机垃圾回收(三) 7种垃圾收集器：主要特点 应用场景 设置参数 基本运行原理
- hadoop作业调优参数整理及原理（整个mapreduce运行流程都讲的清楚，一步一步优化）
- spark-submit提交参数设置
- spark 提交参数设置
- spark-submit提交参数设置
- Spark作业运行架构原理解析
- 提交jar作业到spark上运行
- 7种垃圾收集器 主要特点 应用场景 设置参数 基本运行原理
- 提交第一个spark作业到集群运行
- spark-shell运行spark任务参数设置
- Java虚拟机垃圾回收(三) 7种垃圾收集器：主要特点 应用场景 设置参数 基本运行原理
- spark运行方式及其常用参数
- Spark提交作业的流程以及作业是如何被触发在集群中运行的
- Spark作业运行原理
- Spark提交作业运行过程
- hadoop作业调优参数整理及原理（整个mapreduce运行流程都讲的清楚，一步一步优化）
- Java虚拟机垃圾回收(三) 7种垃圾收集器：主要特点 应用场景 设置参数 基本运行原理
- 通过超链接及其提供的参数来实现分页查询功能时出现提交中文后servlet获取的值是??乱码
- IDEA 设置java运行参数
- Spark集群Job，Task 的具体运行原理