Hadoop Map Reduce Task默认任务数调优
2012-12-23 11:38
393 查看
mapred.tasktracker.map.tasks.maximum
官方解释:The maximum number of map tasks that will berun simultaneously by a tasktracker.我的理解:一个tasktracker最多可以同时运行的map任务数量
默认值:2
优化值:mapred.tasktracker.map.tasks.maximum = cpu数量
cpu数量 = 服务器CPU总核数 / 每个CPU的核数
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'
mapred.map.tasks
官方的解释:The default number of map tasks per job我的解释:一个Job会使用task tracker的map任务槽数量,这个值≤ mapred.tasktracker.map.tasks.maximum
默认值:2
优化值:
CPU数量 (我们目前的实践值)
(CPU数量 > 2) ? (CPU数量 * 0.75) : 1 (mapr的官方建议)
注意:map任务的数量是由inputspilit决定的,和上面两个参数无关
mapred.tasktracker.reduce.tasks.maximum
官方解释:The maximum number of reduce tasks that will berun simultaneously by a tasktracker.我的理解:一个task tracker最多可以同时运行的reduce任务数量
默认值:2
优化值: (CPU数量 > 2) ? (CPU数量 * 0.50):1 (mapr的官方建议)
mapred.reduce.tasks
官方解释:The default number of reduce tasks per job. Typically set to99% of the cluster's reducecapacity, so that if a node fails the reducescan still be executed in asingle wave.我的理解:一个Job会使用task tracker的reduce任务槽数量
默认值:1
优化值:
0.95 * mapred.tasktracker.tasks.maximum
理由:启用95%的reduce任务槽运行task, recudetask运行一轮就可以完成。剩余5%的任务槽永远失败任务,重新执行
1.75 * mapred.tasktracker.tasks.maximum
理由:因为reduce task数量超过reduce槽数,所以需要两轮才能完成所有reducetask。具体快的原理我没有完全理解,上原文:
hadoop官方wiki: 写道
At 1.75 the faster nodes will finish their first round of reducesand launch a second round of reduces doing a much better job ofload balancing.
原文:/article/3649992.html
相关文章推荐
- Hadoop2调优(一):如何控制job的map任务和reduce任务的数量
- Hadoop MapReduce之ReduceTask任务执行(一):远程拷贝map输出
- Hadoop MapReduce之ReduceTask任务执行(二):GetMapEventsThread线程
- hadoop中每个节点map和reduce个数的设置调优
- Hadoop MapReduce之ReduceTask任务执行(三)
- hadoop中每个节点map和reduce个数的设置调优
- hadoop中每个节点map和reduce个数的设置调优
- hadoop中每个节点map和reduce个数的设置调优
- Hadoop的MapReduce框架中map和reduce的各自任务(能力工场--整理)
- Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)
- hadoop中每个节点map和reduce个数的设置调优
- Hadoop的MapReduce框架中map和reduce的各自任务(能力工场--整理)
- hadoop中每个节点map和reduce个数的设置调优
- Hadoop MapReduce之ReduceTask任务执行(一)
- Hadoop MapReduce之ReduceTask任务执行(二)
- hadoop中每个节点map和reduce个数的设置调优
- hadoop中每个节点map和reduce个数的设置调优
- hadoop MapReduce - 从作业、任务(task)、管理员角度调优
- Hadoop跑map-reduce任务时停滞不前的问题(二)
- hadoop的map和reduce任务的执行步骤