hadoop参数调优 mapred-site.xm
2013-05-31 11:40
316 查看
property | default | description |
io.sort.mb | 100(mb) | 缓存map中间结果的buffer大小 |
io.sort.record.percent | 0.05 | io.sort.mb中用来保存map output记录边界的百分比,其他缓存用来保存数据 |
io.sort.spill.percent | 0.8 | map开始做spill操作的阈值 |
io.sort.factor | 10 | 做merge操作时同时操作的stream数上限。 |
min.num.spill.for.combine | 3 | combiner函数运行的最小spill数 |
mapred.compress.map.output | FALSE | map中间结果是否采用压缩 |
mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | |
min.num.spill.for.combine | 3 | combiner函数运行的最小spill数 |
mapred.compress.map.output | FALSE | map中间结果是否采用压缩 |
mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | |
mapred.reduce.parallel.copies | 5 | 每个reduce并行下载map结果的最大线程数 |
mapred.reduce.copy.backoff | 300(s) | reduce下载线程最大等待时间 |
io.sort.factor | 10 | |
mapred.job.shuffle.input.buffer.percent | 0.7 | 用来缓存shuffle数据的reduce task heap百分比 |
mapred.job.shuffle.merge.percent | 0.66 | 缓存的内存中多少百分比后开始做merge操作 |
mapred.job.reduce.input.buffer.percent | 0 | ort完成后reduce计算阶段用来缓存数据的百分比 |
相关文章推荐
- hadoop参数调优 mapred-site.xm
- hadoop三个配置文件的参数含义说明core-site.xml、hdfs-site.xml、mapred-site.xml
- hadoop三个配置文件的参数含义说明core-site.xml、hdfs-site.xml、mapred-site.xml
- Hadoop配置文件参数整理(3)---mapred-site.xml
- hadoop 2.2.X 配置参数说明:mapred-site.xml
- hadoop三个配置文件的参数含义说明core-site.xml,hdfs-site.xml,mapred-site.xml
- hadoop 2.2.X 配置参数说明:mapred-site.xml
- Hadoop中mapred.child.java.opds参数意义
- hadoop作业调优参数整理及原理
- Hadoop 参数 mapred.map.child.java.opts
- hadoop2.2.0 mapred-site.xml--Job Notification Configuration
- hadoop 性能调优 重要参数设置技巧
- hadoop作业调优参数整理及原理
- hadoop参数-hdfs-mapred
- hadoop作业reduce过程调优使用到的参数笔记
- Hadoop配置项整理(mapred-site.xml)
- Hadoop中mapred.child.java.opds参数意义
- hadoop作业调优参数整理及原理
- hadoop 性能调优 重要参数设置技巧
- Hadoop 调优 性能参数