hadoop-2.2.0-yarn-resourcemanager恢复
2013-12-03 14:21
295 查看
十月份hadoop正式发布了hadoop2.2.0稳定版,让人期待的hadoop 2.0框架总算有个里程碑进展。个人最关注的还是namenode ha实现和yarn框架。为了使知识得到有效积累,特将自己的实验过程用文字描述出来,做个记忆,方便自己也方便有需要的人查看。
目前的版本yarn resourcemanager还没有实现ha,但是可以实现故障恢复,即有任务正在运行,此时将resourcemanager kill后再启动,resourcemanager会将正在运行的job杀掉重新运行。经过试验,这种恢复只能恢复已经有部分map成功的job,如果有job正在运行,但是没有一个map运行成功,那么还是不能重新启动。
配置文件yarn-site.xml:
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能重新启动-->
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.store.class</name>
<!--此版本的rmstate信息存放主要有两种,一种是FileSystemRMStateStore,另一种是MemoryRMStateStore,还有一种目前较为主流的是zkstore,正在测试中,2.2版本还未提供-->
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.fs.state-store.uri</name>
<!--此处配置为hdfs存储状态信息,还可以配置为存放在本地路径,之所以存放在hdfs上是考虑都如果rm节点完全挂掉,还可以在其他节点上启动rm直接读取hdfs信息,如果放在本地文件系统上还需要进行状态信息的同步。-->
<value>hdfs://mycluster/rmstore</value>
</property>
目前的版本yarn resourcemanager还没有实现ha,但是可以实现故障恢复,即有任务正在运行,此时将resourcemanager kill后再启动,resourcemanager会将正在运行的job杀掉重新运行。经过试验,这种恢复只能恢复已经有部分map成功的job,如果有job正在运行,但是没有一个map运行成功,那么还是不能重新启动。
配置文件yarn-site.xml:
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能重新启动-->
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.store.class</name>
<!--此版本的rmstate信息存放主要有两种,一种是FileSystemRMStateStore,另一种是MemoryRMStateStore,还有一种目前较为主流的是zkstore,正在测试中,2.2版本还未提供-->
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.fs.state-store.uri</name>
<!--此处配置为hdfs存储状态信息,还可以配置为存放在本地路径,之所以存放在hdfs上是考虑都如果rm节点完全挂掉,还可以在其他节点上启动rm直接读取hdfs信息,如果放在本地文件系统上还需要进行状态信息的同步。-->
<value>hdfs://mycluster/rmstore</value>
</property>
相关文章推荐
- hadoop2.2.0 yarn-site.xml--Map Reduce configuration
- hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
- hadoop2.2.0 yarn-site.xml--WebAppProxy Configuration
- Apache Hadoop YARN – ResourceManager
- Hadoop2.2.0--Hadoop Federation、Automatic HA、Yarn完全分布式集群搭建
- Hadoop2.0中yarn中的resourcemanager的作用
- hadoop2.2.0 yarn-site.xml--IPC Configs
- Hadoop2.2.0--Hadoop Federation、Automatic HA、Yarn完全分布式集群结构
- hadoop2.2.0 yarn-site.xml--Resource Manager Configs
- Hadoop v2(Yarn)调度分析(2)ResourceManager
- Hadoop-2.2.0中文文档——MapReduce--写YARN应用
- hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
- hadoop2.2.0 yarn-site.xml--Node Manager Configs
- Hadoop 学习笔记 (十) hadoop2.2.0 生产环境部署 HDFS HA Federation 含Yarn部署
- Hadoop 2.2.0 (YARN)搭建笔记(作者的工作很细致,赞一个!)
- hadoop2.2.0 yarn-site.xml--Map Reduce configuration
- Hadoop 2.2.0 (YARN)搭建笔记
- Ubuntu上搭建hadoop 2.2.0环境,配置yarn(单机)
- Hadoop2.2.0(yarn)编译部署手册
- Hadoop2.2.0集群搭建(HA,联邦,yarn)