spark standalone模式单节点启动多个executor
2015-10-08 17:55
274 查看
以前为了在一台机器上启动多个executor都是通过instance多个worker来实现的,因为standalone模式默认在一台worker上启动一个executor,造成了很大的不便利,并且会造成不同节点间任务负载不均衡,后来发现了另一种解决方法,方法如下。
限制cpu使用数量,这里会启动3个executor(12/4)
设置每个executor的内存大小为8g
以上设置将会启动3个executor,每个executor使用4cpu,12gRAM。
总共占用worker资源12cpu,36gRAM。
也可以在提交任务的时候添加
设置参数
设置每个executor使用的cpu数为4spark.executor.cores 4
限制cpu使用数量,这里会启动3个executor(12/4)
spark.cores.max 12
设置每个executor的内存大小为8g
spark.executor.memory 12g
以上设置将会启动3个executor,每个executor使用4cpu,12gRAM。
总共占用worker资源12cpu,36gRAM。
也可以在提交任务的时候添加
--total-executor-cores 12 --executor-cores 24 --executor-memory 12g
tip
在使用过程中发现如果使用spark1.5以下版本有时候会出现即使有资源也申请不到的情况。相关文章推荐
- windows系统下,django1.8+python3.5使用pymysql链接 mysql数据库
- sql server 还原备份的bak文件
- React入门2
- C++ for循环 纯指针遍历多维数组
- 【MSF笔记】入侵XP系统——MSF初体验
- MTK6580上面Flash DDR调试经过
- 多语言网站框架实践问题(实体数据模型问题未解决)
- java系统学习(十四) --------常用数据结构
- java系统学习(十四) --------常用数据结构
- 设计模式 观察者模式 以Android中TextView文本内容发生变化为背景
- linux 注意事项
- 万能密码使用原理
- gitlab操作
- LBP算子入门
- PostThreadMessage Lost Message
- 自定义actionbar 样式
- Circular buffer
- Java学习之文件及异常处理
- 两个整数的加减乘除
- 笔记12 export to excel (NPOI)