Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)
2016-07-28 10:05
435 查看
首先,来说的是,reduce并发任务数,默认是1。
即,在jps后,出现一个yarnchild。之后又消失。
这里,我控制reduce并发任务数6。
有多少个reduce的并发任务数可以在程序里控制,但有多少个map的并发任务数还没。
其实啊,有多少个map的并发任务数还没(是在分片中控制的)。
[b]1、现在,我们控制为map的并发任务数为4。(即是在分片中控制)[/b]
2、 jps -> 生成个Runjar ->
[b]3、[/b]jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务)
soga
4、 jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->
5、 jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务) -> 查看map并发任务数 -> Map的Task进程被回收 ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps
以上是单独控制了Mapreduce的map并发任务数和reduce并发任务数。
[b]总结[/b]
前者Mapreduce的map并发任务数默认是1,控制reduce并发任务数为6。
后者控制map并发任务数为4,Mapreduce的reduce并发任务数默认是1。
综合即控制map,又控制reduce,不再赘述。
欢迎大家,加入我的微信公众号:大数据躺过的坑 免费给分享
同时,大家可以关注我的个人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/
人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获
以及对应本平台的QQ群:161156071(大数据躺过的坑)
即,在jps后,出现一个yarnchild。之后又消失。
这里,我控制reduce并发任务数6。
有多少个reduce的并发任务数可以在程序里控制,但有多少个map的并发任务数还没。
其实啊,有多少个map的并发任务数还没(是在分片中控制的)。
[b]1、现在,我们控制为map的并发任务数为4。(即是在分片中控制)[/b]
2、 jps -> 生成个Runjar ->
[b]3、[/b]jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务)
soga
4、 jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->
5、 jps -> 生成个Runjar -> 生成个MRAppMaster(运行map任务) -> 查看map并发任务数 -> Map的Task进程被回收 ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps
以上是单独控制了Mapreduce的map并发任务数和reduce并发任务数。
[b]总结[/b]
前者Mapreduce的map并发任务数默认是1,控制reduce并发任务数为6。
后者控制map并发任务数为4,Mapreduce的reduce并发任务数默认是1。
综合即控制map,又控制reduce,不再赘述。
欢迎大家,加入我的微信公众号:大数据躺过的坑 免费给分享
同时,大家可以关注我的个人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/
人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获
以及对应本平台的QQ群:161156071(大数据躺过的坑)
相关文章推荐
- Python新手学习基础之运算符——成员运算与身份运算
- Struts2与OGNL表达式
- Spring mapping浅析
- struts2文件上传小结
- 一些需要禁用的PHP危险函数
- 【HDU】1130 - How Many Trees?(java - BigDecimal & 卡特兰大数打表)
- spring中的PropertyPlaceholderConfigurer访问properties文件配置
- Spring整合HDFS
- 使用IntelliJ IDEA 14和Maven创建java web项目
- 封装的意义和喻义
- Shiro 整合 SpringMVC 配置文件详解篇
- Python新手学习基础之运算符——成员运算与身份运算
- C++实现RTMP协议发送H.264编码及AAC编码的音视频(转)
- C++实现RTMP协议发送H.264编码及AAC编码的音视频(转)
- c语言描述的双向链表的基本操作
- 从OpenCV源码学习cpp_explicit
- POJ - 3320 Jessica's Reading Problem 尺取法+映射 重庆一中高2018级竞赛班第三次测试 2016.7.24 Problem 4
- C/C++动态分配与释放内存的区别详细解析
- blocker critical Java (转)
- python——列表与元组