hadoop cluster decommission node (下线节点,超级实用)
2017-05-07 11:34
513 查看
一、描述
为了节约成本,避免资源浪费,下线集群中的一个节点,也就是把一台云主机回收喽。
centos 6.6_64bit
hadoop 2.6.0
二、操作步骤(动态下线)
下线节点主机名如下,在hadoop用户下操作,配置文件都在conf目录下
host-10-10-10-10 ##一看就在云上是不是
1.在conf目录下创建文件
touch excludes
echo "host-10-10-10-10" > exclude
less exclude ##要有验证
2.修改配置文件hdfs-site.conf
vi hdfs-site.xml
添加如下内容,路径根据自己的实际情况
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>
</property>
3.修改配置文件 yarn-site.conf
添加如下内容,路径根据自己的实际情况
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>
</property>
4.刷新hdfs节点(namenode active操作)
hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report ##观察节点是否decommission
5.刷新nodemanager节点(resourcemanager active操作)
yarn rmadmin -refreshNodes
6.修改slave文件
注释掉主机名
#host-10-10-10-10
7.同步exclude文件和slave文件
scp exclude 到namenode/resourcemanager 的 standby节点
8.再次验证,确保是我们想要的结果,通知运维同事可以回收云主机。
三、注意事项
1.生产环境操作之前一定要做好测试
2.查看官方文档,要知道自己修改的文件对系统有多大影响,做到心里有数。
为了节约成本,避免资源浪费,下线集群中的一个节点,也就是把一台云主机回收喽。
centos 6.6_64bit
hadoop 2.6.0
二、操作步骤(动态下线)
下线节点主机名如下,在hadoop用户下操作,配置文件都在conf目录下
host-10-10-10-10 ##一看就在云上是不是
1.在conf目录下创建文件
touch excludes
echo "host-10-10-10-10" > exclude
less exclude ##要有验证
2.修改配置文件hdfs-site.conf
vi hdfs-site.xml
添加如下内容,路径根据自己的实际情况
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>
</property>
3.修改配置文件 yarn-site.conf
添加如下内容,路径根据自己的实际情况
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>
</property>
4.刷新hdfs节点(namenode active操作)
hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report ##观察节点是否decommission
5.刷新nodemanager节点(resourcemanager active操作)
yarn rmadmin -refreshNodes
6.修改slave文件
注释掉主机名
#host-10-10-10-10
7.同步exclude文件和slave文件
scp exclude 到namenode/resourcemanager 的 standby节点
8.再次验证,确保是我们想要的结果,通知运维同事可以回收云主机。
三、注意事项
1.生产环境操作之前一定要做好测试
2.查看官方文档,要知道自己修改的文件对系统有多大影响,做到心里有数。
相关文章推荐
- hadoop 第二节 单节点集群配置 Setting up a Single Node Cluster
- Hadoop Cluster启动后数据节点(Datanode)进程状态丢失
- Hadoop Cluster启动后数据节点(DataNode)进程状态丢失
- hadoop datanode节点硬盘故障下线及上线方法
- datanode节点下线/删除/退役 Decommission Datanode
- Hadoop 生产环境集群平滑下线节点(datanode/tasktracker or nodemanager)
- Hadoop动态添加/删除节点(datanode和tacktracker)
- 【安装Hadoop 2.3 集群】Installing Hadoop 2.3.0 multi-node cluster on Ubuntu 13.10
- datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置
- Hadoop添加节点datanode(生产环境)
- 集群(Cluster),节点(Node),分片(Shard),Indices(索引),replicas(备份)之间是什么关系
- Hadoop 添加数据节点(datanode)
- hadoop datanode 启动正常,但master无法识别(50030不显示datanode节点)
- hadoop集群运行jps命令以后Datanode节点未启动的解决办法
- Setting up a Single Node Cluster on hadoop-0.23.9
- Hadoop动态添加Datanode节点
- Hadoop添加节点datanode
- Hadoop 委任和解除节点(DataNode和NodeManager)
- hadoop 动态添加节点datanode及tasktracker
- 【Hadoop】Hadoop DataNode节点超时时间设置