大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记

• 大数据Hadoop组件常用端口
• 9000端口是与NameNode进行RPC通信的端口
• 50070端口 Active NameNode Web页面
• 50090端口 Secondary NameNode HDFS Web页面
• 50010 50075端口 DataNode Web页面
• 8088 8042 YARN （Yet Another Resource Negotiator）的Web页面

• Azkaban Web 服务器8443

• HBase Web UI界面16010

• SPARK_MASTER_PORT 7077
• SPARK_MASTER_WEBUI_PORT
• Spark Master Web UI 8080
• SPARK_WORKER_WEBUI_PORT 8081

大数据Hadoop组件常用端口

9000端口是与NameNode进行RPC通信的端口

[root@Hadoop284 hadoop] vi core-site.xml

<!--配置HDFS主节点的地址，就是NameNode的地址-->
<!--9000是RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://CentOS7Hadoop284-111:9000</value>
</property>

50070端口 Active NameNode Web页面

(active)：http://10.10.10.111:50070

50090端口 Secondary NameNode HDFS Web页面

Secondary NameNode：http://10.10.10.112:50090

50010 50075端口 DataNode Web页面

http://10.10.10.112:50075
http://10.10.10.113:50075/

8088 8042 YARN （Yet Another Resource Negotiator）的Web页面

http://10.10.10.111:8088
http://10.10.10.112:8042
http://10.10.10.113:8042/

ZooKeeper端口

1、2181：对cline端提供服务

2、3888：选举leader使用

3、2888：集群内机器通讯使用（Leader监听此端口）

[root@Hadoop284-111 conf]# vi zoo.cfg

# The number of milliseconds of each tick
# 指定ZooKeeper中的基本时间单元（以毫秒为单位），心跳间隔时间；
tickTime=2000

# The number of ticks that the initial
# synchronization phase can take
# LF初始通信时限
initLimit=10

# The number of ticks that can pass between
# sending a request and getting an acknowledgement
# LF同步通信时限
syncLimit=5

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# dataDir属性设置zookeeper存储持久数据的本地文件系统位置
dataDir=/opt/zookeeper-3.4.10/zpdata
#dataDir=/tmp/zookeeper

# the port at which the clients will connect
# 指定监听客户端连接的端口
clientPort=2181

# server后面的数字id在整体中必须是唯一的，并且应该具有1到255之间的值，所以一个zookeeper集群最多可以有255个机器。
server.1= CentOS7Hadoop284-111:2888:3888
server.2= CentOS7Hadoop284-112:2888:3888
server.3= CentOS7Hadoop284-113:2888:3888

# the maximum number of client connections.
# increase this if you need to handle more clients
# 最大客户端连接数
maxClientCnxns=100

Flume监听端口

# Describe/configure the source 描述source角色，进行内容定制
# 此配置属于TCP source，必须是netcat类型
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

Azkaban端口

[root@Hadoop284-111 conf]# vi azkaban.properties

#Azkaban 执行器 配置
# 时区
#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins插件配置
# 插件位置
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

# 数据库 连接配置
# 数据库连接类型 (目前只支持 mysql)
database.type=mysql
# mysql端口号
mysql.port=3306
# mysql数据库 主机名和IP
mysql.host=localhost
# 数据库 库名 实例名
mysql.database=azkaban
# mysql用户名
mysql.user=root
# mysql密码
mysql.password=
# mysql最大的连接数
mysql.numconnections=100

# Azkaban Executor settings
# 执行器 最大线程数
executor.maxThreads=50
# 执行器 端口 (如修改,请与 web 服务中一致)
executor.port=12321
# 执行器 流 线程数
executor.flow.threads=30

Azkaban Web 服务器8443

https://10.10.10.111:8443

HBase16000

hbase.master.port
[root@Hadoop284-111 conf]# vi hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
<!-- 设置namenode所在位置 通过rootdir设置 也就是设置hdfs中存放的路径 -->
<name>hbase.rootdir</name>
<value>hdfs://CentOS7Hadoop284-111:9000/hbase</value>
</property>

<property>
<!-- 是否开启集群 -->
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000 -->
<name>hbase.master.port</name>
<value>16000</value>
</property>

<property>
<!-- zookeeper集群的位置 -->
<name>hbase.zookeeper.quorum</name>
<value>CentOS7Hadoop284-111:2181,CentOS7Hadoop284-112:2181,CentOS7Hadoop284-113:2181</value>
</property>

<property>
<!-- hbase的元数据信息存储在zookeeper的位置 -->
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/zookeeper-3.4.10/hbasezkdata</value>
</property>

HBase Web UI界面16010

http://10.10.10.111:16010/master-status

Storm端口

[root@Hadoop284-111 conf]# vi storm.yaml
注意：配置中，凡是有冒号的地方，冒号后都要有个空格。

########### These MUST be filled in for a storm configuration
# 配置ZooKeeper节点集群，设置ZooKeeper的主机名称
storm.zookeeper.servers:
- "CentOS7Hadoop284-111"
- "CentOS7Hadoop284-112"
- "CentOS7Hadoop284-113"

# 配置主节点Nimbus进程所在的主机名称
# nimbus.seeds: ["host1", "host2", "host3"]
nimbus.seeds: ["CentOS7Hadoop284-111"]

# 配置Storm的数据存储路径
storm.local.dir: "/optstorm/data"

# 配置Worker的端口号
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

Flink端口8081

http://10.10.10.111:8081

大数据Spark组件常用端口

SPARK_MASTER_PORT 7077

集群运行spark-shell：

spark-shell --master spark://10.10.10.111:7077

要监听的服务端口（默认值：7077用于主服务器，随机用于工作服务）

SPARK_MASTER_WEBUI_PORT

Web UI端口（默认值：8080为master，8081为worker）

Spark Master Web UI 8080

http://10.10.10.111:8080/

SPARK_WORKER_WEBUI_PORT 8081

http://10.10.10.112:8081/
http://10.10.10.113:8081/

Spark context Web UI 4040

http://10.10.10.111:4040