Hadoop升级步骤cdh3u3到cdh3u6
2013-10-23 11:32
120 查看
8月份的时候做了下hadoop的升级,小版本升级
参考文档:http://wiki.apache.org/hadoop/Hadoop_Upgrade
原文地址:/article/2116034.html
在此做一个记录:
从版本 hadoop-0.20.2-cdh3u3 升级到 hadoop-0.20.2-cdh3u6
步骤如下:
1.备份namenode信息
#hadoop dfs –lsr / >/opt/namenode_back/namenode-lsr-v-old.log
#hadoop fsck / >/opt/namenode_back/namenode-fsck-v-old.log
前面2项用于升级之后对数据的对比
#cp –r ${dfs.name.dir} /opt/ namenode_back/name/
备份namenode的meta数据,用户升级失败后的恢复
2.关闭旧集群,上传最新稳定版本cdh3u6,配置各个文件:core、hdfs、mapred、master、slaves,也可以使用先前的配置文件,根据当前版本的情况来决定是否要对配置文件做修改,配置hadoop-env.sh
3.将配置好的新版本目录分发给集群中所有的机器节点,注意文件目录的所属用户,若不同则用chown进行修改。
4.将老版本${dfs.name.dir}目录下的文件拷贝到新版本${dfs.name.dir}的目录下面,要是新老版本的目录一样,可以不要拷贝
5.开始更新操作:
#${NEW_HADOOP_HOME}/bin/start-dfs.sh–upgrade
使用如下命令进行监控,查看是否升级完成:
#$ { NEW_HADOOP_HOME }/bin/hadoop dfsadmin -upgradeProgressstatus
出现Upgrade for version - hadoop-0.20.2-cdh3u6 has been completed.的提示即完成了升级。
6.修改环境变量:
在root用户下修改。
#vi /etc/profile
主要是修改$HADOOP_HOME
7.启动新集群
#${NEW_HADOOP_HOME}/bin/start-all.sh
8.生成新的信息:
#hadoop fs –lsr / >/opt/namenode_back/namenode-lsr-v-new.log
#hadoop fsck / >/opt/namenode_back/namenode-fsck-v-new.log
对比1中2个old-log 若信息不符合(丢失最要数据),可以选择回滚。
9.回滚操作:
#${NEW_HADOOP_HOME}/bin/stop-all.sh
#${NEW_HADOOP_HOME}/bin/start-dfs.sh –rollback
改回环境变量,
#${OLD_HADOOP_HOME}/bin/start-all.sh
参考文档:http://wiki.apache.org/hadoop/Hadoop_Upgrade
原文地址:/article/2116034.html
在此做一个记录:
从版本 hadoop-0.20.2-cdh3u3 升级到 hadoop-0.20.2-cdh3u6
步骤如下:
1.备份namenode信息
#hadoop dfs –lsr / >/opt/namenode_back/namenode-lsr-v-old.log
#hadoop fsck / >/opt/namenode_back/namenode-fsck-v-old.log
前面2项用于升级之后对数据的对比
#cp –r ${dfs.name.dir} /opt/ namenode_back/name/
备份namenode的meta数据,用户升级失败后的恢复
2.关闭旧集群,上传最新稳定版本cdh3u6,配置各个文件:core、hdfs、mapred、master、slaves,也可以使用先前的配置文件,根据当前版本的情况来决定是否要对配置文件做修改,配置hadoop-env.sh
3.将配置好的新版本目录分发给集群中所有的机器节点,注意文件目录的所属用户,若不同则用chown进行修改。
4.将老版本${dfs.name.dir}目录下的文件拷贝到新版本${dfs.name.dir}的目录下面,要是新老版本的目录一样,可以不要拷贝
5.开始更新操作:
#${NEW_HADOOP_HOME}/bin/start-dfs.sh–upgrade
使用如下命令进行监控,查看是否升级完成:
#$ { NEW_HADOOP_HOME }/bin/hadoop dfsadmin -upgradeProgressstatus
出现Upgrade for version - hadoop-0.20.2-cdh3u6 has been completed.的提示即完成了升级。
6.修改环境变量:
在root用户下修改。
#vi /etc/profile
主要是修改$HADOOP_HOME
7.启动新集群
#${NEW_HADOOP_HOME}/bin/start-all.sh
8.生成新的信息:
#hadoop fs –lsr / >/opt/namenode_back/namenode-lsr-v-new.log
#hadoop fsck / >/opt/namenode_back/namenode-fsck-v-new.log
对比1中2个old-log 若信息不符合(丢失最要数据),可以选择回滚。
9.回滚操作:
#${NEW_HADOOP_HOME}/bin/stop-all.sh
#${NEW_HADOOP_HOME}/bin/start-dfs.sh –rollback
改回环境变量,
#${OLD_HADOOP_HOME}/bin/start-all.sh
相关文章推荐
- hadoop1.0.4升级到hadoop2.2 详细流程步骤
- hadoop1.0.4升级到hadoop2.2 具体流程步骤
- hadoop1.0.4升级到hadoop2.2 详细流程步骤
- 从Hadoop1.x集群升级到Hadoop2.x步骤
- 从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤
- Hadoop 2.x hdfs(热/冷)升级步骤
- Oracle 9i 从9.2.0.1升级到 9.2.0.6 步骤
- win10预览版9879更新步骤 win10 9879升级教程
- Hadoop 集群安装详细步骤
- Ubuntu 14.04 LTS 升级到Ubuntu 14.10的步骤
- (12) Hadoop 升级技能
- Linux中安装配置hadoop集群详细步骤
- [Hadoop] 第一篇 Hadoop 安装步骤
- Hadoop HDFS 升级到2.0 笔记
- ubuntu安装hadoop详细步骤
- 某电子订单系统升级步骤
- eclipse hadoop 插件安装步骤
- 启动Hadoop的步骤
- 升级g++详细步骤
- CentOS7安装Hadoop2.7.3完整步骤