您的位置:首页 > 运维架构

hadoop 关键属性配置

2012-05-10 14:30 141 查看
摘自网友:

其中红色的配置为必须配置参数

参数取值备注

fs.default.nameNameNode 的URI。hdfs://主机名/
dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要,用这个文件控制许可的datanode列表。
dfs.replication默认: 3数据复制的分数
dfs.name.dir举例:/home/username/hadoop/namenode

默认:/tmp

当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。
dfs.data.dir举例:/home/username/hadoop/datanode

默认: /tmp

当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。
dfs.datanode.max.xcievers

65535设置同一时间打开文件数目的上限
mapred.system.dirMap/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问。
mapred.local.dir本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方。多路径有助于利用磁盘i/o。
mapred.tasktracker.{map|reduce}.tasks.maximum某一TaskTracker 上可运行的最大Map/Reduce任务数,这些任务将同时各自运行。默认为2(2个map和2个reduce),可依据硬件情况更改。
mapred.job.trackerJobTracker 的主机(或者IP)和端口。主机:端口 。
mapred.hosts/mapred.hosts.exclude许可/拒绝TaskTracker列表。如有必要,用这个文件控制许可的TaskTracker列表。
hadoop.job.history.user.location默认:mapred.output.dir/_logs/history

也可以设置为none 来停用

作业的历史文件记录目录
conf/slaves 写入全部的slave的机器名或者IP

nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。

hadoop 默认的block 是 64MB
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: