您的位置:首页 > 运维架构

Hadoop运行模式

2018-03-27 14:04 120 查看
单机模式(standalone)

在单机模式(standalone)适用于学习与测试环境,在单机模式中不会存在守护进程,所有东西都运行在一个 JVM 上,Hadoop会完全运行在本地。

伪分布模式(Pseudo-Distributed Mode)

伪分布式(Pseudo)适用于学习与测试环境,在这个模式中,所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。

完全分布式模式

完全分布模式通常被用于生产环境,使用 N 台主机组成一个 Hadoop 集群, 守护进程运行在每台主机之上。数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。

HA高可用集群模式

HA模式的集群里面会部署两台NN,以形成主备NN节点,达到高可用的目的。

两台NN之间同步数据有两种方法:QJM和NFC。

另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。

该模式下的集群配置是在完全分布式模式的基础上做了部分调整。

HA+Federation(高可用联邦)

HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager)

将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop 运行模式