map任务数量控制
2016-06-25 14:15
162 查看
mapred-site.xml
<property>
<name>mapred.min.split.size</name>
<value>94371840</value>
</property>
hdfs-site.xml
<property>
<name>dfs.block.size</name>
<value>67108864</value>
</property>直接配置mapred.job.maps好像不是很管用。
首先通过dfs.block.size设置好块的大小,然后通过mapred.min.split.size来控制分片的大小,分片的个数也就确定了,最终分片的个数就是map任务的个数。在这个过程中,分片的大小只能比块的大小要大,如果分片的大小还要小的话,将不起作用。
如果不设置块的大小,仅仅通过mapred.min.split.size配置,实验结果显示map任务将无法改变。
<property>
<name>mapred.min.split.size</name>
<value>94371840</value>
</property>
hdfs-site.xml
<property>
<name>dfs.block.size</name>
<value>67108864</value>
</property>直接配置mapred.job.maps好像不是很管用。
首先通过dfs.block.size设置好块的大小,然后通过mapred.min.split.size来控制分片的大小,分片的个数也就确定了,最终分片的个数就是map任务的个数。在这个过程中,分片的大小只能比块的大小要大,如果分片的大小还要小的话,将不起作用。
如果不设置块的大小,仅仅通过mapred.min.split.size配置,实验结果显示map任务将无法改变。
相关文章推荐
- Unit Test - Level 2
- android studio 启动错误
- POI开发入门(四)遍历Excel 和文本提取
- 快看看你躺枪了吗?最全搞笑中式英语大集合
- 在ubuntu下,进行php7源码安装
- poj2186 强连通缩点
- C++中建立对象间消息连接的系统方法
- code-push 交互式命令行脚本
- svn通信项目文件收发
- KafKa(0.10)安装部署和测试
- WAIT EVENT:read by other session
- getElementById在IE和FireFox浏览器中的区别
- bit与byte的区别
- Android WebView下拉刷新
- RecyclerView实现多布局
- [原创]学会批处理,用心学很容易!
- Dll注入--修改PE文件头
- bzoj2938 病毒
- 易语言汇编rc4算法源码
- 《代码大全2》读书笔记——变量(使用变量的一般事项)