hadoop 中 RPC HTTP TCP/IP 服务器的用途

hadoop 守护进程一般同时运行RPC 和HTTP两个服务器，RPC服务器支持守护进程间的通信，HTTP服务器则提供与用户交互的Web页面。需要分别为各个服务器配置网络地址和端口号。当网络地址被设为 0.0.0.0的时候，Hadoop将于本机上所有的地址绑定。用户也可以将服务器与某个指定的地址绑定。端口号为0 表示服务器会选择一个空闲的端口号：但这种做法与集群范围的防火墙策略不兼容，因为防火墙通常开放一定的端口不会放开全部的端口，防止对服务器造成冲击。

RPC 服务器的属性

fs.default.name  被设置为一个HDFS的URI时，该属性描述namenode的RPC服务器地址和端口。若未指定端口，那端口号默认是8020

dfs.datanode.ipc.address  datanode 的RPC 服务器的地址和端口

mapred.job.tracker 被设为主机名称和端口号时，该属性指定jobtracker的RPC服务器地址和端口。常用的端口号是8021

mapred.task.tracker.report.address tasktracker的RPC 服务器地址和端口号，tashtracker的子JVM利用它和tasktracker通信。默认是127.0.0.0:0表示可以使用任一空闲端口，因为服务器进对回送地址隐藏。如果本机器没有回送地址，则需变更默认设置。

HTTP服务器的属性

mapred.job.tracker.http.address 默认0.0.0.0:50030

mapred.task.tracker.http.address  默认0.0.0.0:50060

dfs.http.address  默认0.0.0.0:50070

dfs.datanode.http.address  默认0.0.0.0:50075

dfs.secondary.http.address  默认0.0.0.0:50090

除了 RPC服务器之外，datanode也运行TCP/IP服务器以支持块传输。服务器地址和端口属性有 

dfs.datanode.address 默认是 0.0.0.0:50010

当有多个网络接口时，还可以选择某一个网络接口作为各个datanode和tasktracker 的IP地址(针对RPC和HTTP服务器)。相关属性包括

dfs.datanode.dns.interface

mapred.tasktracker.dns.interface 

默认都是default 表示使用默认的网络接口，可以修改者两个属性项来变更网络接口的地址 例如 ech0;