Hadoop YARN中内存配置
2015-11-16 16:51
363 查看
主要参数
RM
● yarn.scheduler.minimum-allocation-mb对每个Contaioner,向RM申请内存的最小配置,请求低于此配置,抛出InvalidResourceRequestException。
● yarn.scheduler.maximum-allocation-mb
对每个Contaioner,向RM申请内存的最大配置,请求大于此配置,抛出InvalidResourceRequestException。
NM
● yarn.nodemanager.pmem-check-enabled是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
● yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是ture。
● yarn.nodemanager.resource.memory-mb
每个节点,所有Contaioners可以申请的物理内存总量。
● yarn.nodemanager.vmem-pmem-ratio
每个节点,1MB物理内存可以使用多少倍虚拟内存,默认2.1。
AM
● mapreduce.map.memory.mb对于每个map任务,向调度器申请的内存量。
● mapreduce.reduce.memory.mb
对于每个reduce任务,向调度器申请的内存量。
注:上面两项不设置,则按:max{MIN_Container_Size,(Total Available RAM/containers)}计算。一般reduce设置为map的两倍。
● yarn.app.mapreduce.am.resource.mb
MR AppMaster需要的内存量。
案例举例
[code]比如我们机器内存为8G,我们可以配置: yarn.scheduler.minimum-allocation-mb 512M yarn.scheduler.maximum-allocation-mb 8192M yarn.nodemanager.resource.memory-mb 8192M yarn.nodemanager.vmem-pmem-ratio 4 mapreduce.map.memory.mb 410M mapreduce.reduce.memory.mb 820M
小结
根据上述配置的内存参数,并不是这么多内存就硬性地都被使用,这些内存参数表明YARN服务最多可使用的内存量。当无任务提交时,其实占用的内存很少。对于不同的数据量,不同的机器配置,应该不断地去尝试调整,直至符合要求。相关文章推荐
- 修改维护计划,提示“库没有注册”
- CentOS 7下关于systemd的一些唠叨话二:systemd服务脚本的编写
- windows程序设计POPPAD3的关键难点详解(二)
- paas-openshift
- CentOs常见命令问题集合
- Ubuntu 14.04+Cuda 7.0+Opencv2.4.10+Cudnn+(PNG++)+Torch7配置
- 网站每日签到功能设计 hibernate数据层框架
- nginx-0.1.0文件分析1:ngx_daemon.c
- ubuntu14.4安装linux问题
- 我学习嵌入式linux开发入门过程(五)
- CentOS 7下关于systemd的一些唠叨话一:systemd的特点和使用
- myeclipse编写的代码部署到tomcat以及环境变量的配置
- 面向对象OOP 02
- shopnc商城专题页的伪静态支持
- SharePoint PowerShell命令系列 (15) Get-SPFarm
- linux 安装nginx php mysql
- tomcat源码分析
- centos+nginx+uwsgi+virtualenv+flask 多站点环境搭建
- linux服务器(一)之时间与帮助详解
- php apache