您的位置:首页 > 编程语言

Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

2016-07-28 10:05 435 查看
首先,来说的是,reduce并发任务数,默认是1。

即,在jps后,出现一个yarnchild。之后又消失。







   这里,我控制reduce并发任务数6。



  有多少个reduce的并发任务数可以在程序里控制,但有多少个map的并发任务数还没。

  其实啊,有多少个map的并发任务数还没(是在分片中控制的)。

 [b]1、现在,我们控制为map的并发任务数为4。(即是在分片中控制)[/b]







   2、 jps -> 生成个Runjar ->



     [b]3、[/b]jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务)





soga

 4、 jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->



  5、 jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务) -> 查看map并发任务数 -> Map的Task进程被回收 ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps



        以上是单独控制了Mapreduce的map并发任务数和reduce并发任务数。

[b]总结[/b]

  前者Mapreduce的map并发任务数默认是1,控制reduce并发任务数为6。

  后者控制map并发任务数为4,Mapreduce的reduce并发任务数默认是1。

  综合即控制map,又控制reduce,不再赘述。

欢迎大家,加入我的微信公众号:大数据躺过的坑 免费给分享

同时,大家可以关注我的个人博客

http://www.cnblogs.com/zlslch/ http://www.cnblogs.com/lchzls/

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

以及对应本平台的QQ群:161156071(大数据躺过的坑)





内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: