Hadoop运行模式
2018-03-27 14:04
120 查看
单机模式(standalone)
在单机模式(standalone)适用于学习与测试环境,在单机模式中不会存在守护进程,所有东西都运行在一个 JVM 上,Hadoop会完全运行在本地。
伪分布模式(Pseudo-Distributed Mode)
伪分布式(Pseudo)适用于学习与测试环境,在这个模式中,所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。
完全分布式模式
完全分布模式通常被用于生产环境,使用 N 台主机组成一个 Hadoop 集群, 守护进程运行在每台主机之上。数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。
HA高可用集群模式
HA模式的集群里面会部署两台NN,以形成主备NN节点,达到高可用的目的。
两台NN之间同步数据有两种方法:QJM和NFC。
另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。
该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
HA+Federation(高可用联邦)
HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager)
将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。
在单机模式(standalone)适用于学习与测试环境,在单机模式中不会存在守护进程,所有东西都运行在一个 JVM 上,Hadoop会完全运行在本地。
伪分布模式(Pseudo-Distributed Mode)
伪分布式(Pseudo)适用于学习与测试环境,在这个模式中,所有守护进程都在同一台机器上运行。通常用来用作实验、开发和调试用。
完全分布式模式
完全分布模式通常被用于生产环境,使用 N 台主机组成一个 Hadoop 集群, 守护进程运行在每台主机之上。数据块副本的数量通常也设置为2以上,拥有Namenode和Secondary Namenode。
HA高可用集群模式
HA模式的集群里面会部署两台NN,以形成主备NN节点,达到高可用的目的。
两台NN之间同步数据有两种方法:QJM和NFC。
另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。
该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
HA+Federation(高可用联邦)
HA联邦模式解决了单纯HA模式的性能瓶颈(主要指Namenode、ResourceManager)
将整个HA集群划分为两个以上的集群,不同的集群之间通过Federation进行连接,使得HA集群拥有了横向扩展的能力。理论上,在该模式下,能够通过增加计算节点以处理无限增长的数据。联邦模式下的配置在原HA模式的基础上做了部分调整。
相关文章推荐
- Hadoop1.2.1单机模式运行Wordcount程序
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Hadoop 伪分布式模式 MapReduce 任务不能继续运行 解决方案
- 3、Hadoop运行模式的设置(伪分布式)
- Hadoop在Ubuntu9.10上以单机(非分布式)模式运行
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- Hadoop2.x环境搭建之搭建伪分布模式以及运行wordcount案例【HDFS上的数据】
- Hadoop在Ubuntu9.10上以单机(非分布式)模式运行
- hadoop中mapreduce程序的几种提交运行模式
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)
- Hadoop 的三种运行模式以及伪分布式模式配置
- Spark笔记一之简介,启动,与Hadoop对比,运行模式
- HADOOP的运行模式
- Hadoop之本地运行模式详解
- hadoop的运行模式
- hadoop入门学习系列之一hadoop伪分布式模式下安装及运行
- Hadoop词频统计(二)之本地模式运行
- 【Hadoop】YARN 原理、MR本地&YARN运行模式