您的位置：首页 > 大数据 > Hadoop

hdfs常用的端口配置

2016-03-10 09:44 405 查看
常用的端口配置
1、 HDFS端口
 
参数
描述
默认
配置文件
例子值
fs.default.name namenode
namenode RPC交互端口
8020
core-site.xml
hdfs://master:8020/
dfs.http.address 
NameNode web管理端口
50070
hdfs- site.xml
0.0.0.0:50070
dfs.datanode.address
datanode　控制端口
50010 
hdfs -site.xml 
0.0.0.0:50010
dfs.datanode.ipc.address
datanode的RPC服务器地址和端口
50020
hdfs-site.xml
0.0.0.0:50020
dfs.datanode.http.address
datanode的HTTP服务器和端口
50075
hdfs-site.xml 
0.0.0.0:50075
2、 MR端口
参数
描述
默认
配置文件
例子值
mapred.job.tracker
job-tracker交互端口 
8021
mapred-site.xml
hdfs://master:8021/
job
tracker的web管理端口
50030
mapred-site.xml
0.0.0.0:50030
mapred.task.tracker.http.address
task-tracker的HTTP端口
50060
mapred-site.xml
0.0.0.0:50060
3  其它端口
参数
描述
默认
配置文件
例子值
dfs.secondary.http.address
secondary NameNode web管理端口
50090
hdfs-site.xml
0.0.0.0:50090
3、三个缺省配置参考文件说明
3.1  core-default.html
参数名
参数值
参数说明
hadoop.tmp.dir
/tmp/hadoop-${user.name}
临时目录设定
hadoop.native.lib
true
使用本地hadoop库标识。
io.file.buffer.size
4096
流文件的缓冲区为4K
fs.default.name
file:/// 
缺省的文件URI标识设定。
3.2  hdfs-default.html/mapred-default.html
参数名
参数值
参数说明
dfs.namenode.logging.level
info
输出日志类型
dfs.secondary.http.address
0.0.0.0:50090
备份名称节点的http协议访问地址与端口
dfs.datanode.handler.count
3             
数据节点的服务连接处理线程数
dfs.name.dir 
${hadoop.tmp.dir}/dfs/name
存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份
dfs.data.dir 
${hadoop.tmp.dir}/dfs/data
数据节点的块本地存放目录
mapred.local.dir
${hadoop.tmp.dir}/mapred/local
MR的中介数据文件存放目录
mapred.system.dir 
${hadoop.tmp.dir}/mapred/system
MR的控制文件存放目录
mapred.temp.dir 
${hadoop.tmp.dir}/mapred/temp
MR临时共享文件存放区 
mapred.map.tasks 
2
每个作业缺省的map任务数为2
mapred.reduce.tasks
1
每个作业缺省的reduce任务数为1
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航