hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2
2016-04-19 17:40
459 查看
升级前准备:
如果是 centos6.x的系统得升级glibc和pam包
在/etc/ld.so.conf 文件里添加 /usr/src/jdk1.6.0_23/jre/lib/amd64/server,然后运行ldconfig命令
配置好新的hadoop-2.7.2到各个集群服务器上
配置好新的环境变量备用
开始升级:
1.停止hive、hbase、zookeeper等相关服务
2.检查文件(如果文件太多太费时间可以不做)
检查元数据块(过滤所有以小圆点开始的行):
3.停止hadoop集群
4.修改环境变量
source /etc/profile 各个集群都执行
echo $HADOOP_HOME 看是否是新的hadoop目录了
5.开始升级
hadoop-daemon.sh start namenode -upgrade 启动namenode升级
hadoop-daemons.sh start datanode 启动各个数据节点
打开日志文件观察有误错误,如果报内存溢出,修改hadoop-env.sh 文件的export HADOOP_HEAPSIZE,HADOOP_CLIENT_OPTS参数值和yarn-env.sh文件JAVA_HEAP_MAX参数值
打开50070端口web页面观察升级过程
等所有数据节点全部升级完成后,检查数据完整性(此过程根据集群数量得等一段时间)
有问题回滚命令:
hadoop-daemon.sh start namenode -rollback
hadoop-daemons.sh start datanode –rollback
6.提交升级
运行一段时间后,观察没有问题,可以提交升级
如果是 centos6.x的系统得升级glibc和pam包
在/etc/ld.so.conf 文件里添加 /usr/src/jdk1.6.0_23/jre/lib/amd64/server,然后运行ldconfig命令
配置好新的hadoop-2.7.2到各个集群服务器上
配置好新的环境变量备用
开始升级:
1.停止hive、hbase、zookeeper等相关服务
2.检查文件(如果文件太多太费时间可以不做)
hadoop dfsadmin -safemode enter
检查元数据块(过滤所有以小圆点开始的行):
hadoop fsck / -files -blocks -locations |grep -v -E '^\.' > old-fsck.log hadoop dfsadmin -safemode leave
3.停止hadoop集群
$HADOOP_HOME/bin/stop-all.sh
4.修改环境变量
source /etc/profile 各个集群都执行
echo $HADOOP_HOME 看是否是新的hadoop目录了
5.开始升级
hadoop-daemon.sh start namenode -upgrade 启动namenode升级
hadoop-daemons.sh start datanode 启动各个数据节点
打开日志文件观察有误错误,如果报内存溢出,修改hadoop-env.sh 文件的export HADOOP_HEAPSIZE,HADOOP_CLIENT_OPTS参数值和yarn-env.sh文件JAVA_HEAP_MAX参数值
打开50070端口web页面观察升级过程
等所有数据节点全部升级完成后,检查数据完整性(此过程根据集群数量得等一段时间)
hadoop fsck /
有问题回滚命令:
hadoop-daemon.sh start namenode -rollback
hadoop-daemons.sh start datanode –rollback
6.提交升级
运行一段时间后,观察没有问题,可以提交升级
hdfs dfsadmin -finalizeUpgrade
相关文章推荐
- ubuntu on power服务器上安装docker binary package
- nginx、fastCGI、php-fpm关系梳理
- Tomcat 配置 默认应用 (去掉项目名称、移除项目名称)
- nginx配置location [=|~|~*|^~] /uri/ { … }用法
- 微软拥抱Linux,着实太晚了
- 正确配置Linux系统ulimit值的方法
- Linux下命令行安装weblogic10.3.6
- ISO-OSI的七层协议经典架构
- 配置apache的虚拟主机
- Linux 服务器时间同步
- 信号量(sem)
- shell判断文件是否存在
- linux grep命令详解
- GLFW Keyboard keys
- Linux电源管理(11)_Runtime PM之功能描述
- Linux swap分区使用率高进程排查方法
- 转:在线流程图制做网站
- Nginx Location配置总结
- CentOS7版本安装ntp服务
- Linux修改文件属性和权限