动态的删除Hadoop集群的节点（白名单与黑名单）
2015-04-27 11:37
393 查看
对于大多数使用hadoop集群的人来说，有时候因为项目数据大小或者是分工不同的原因，
总要把hadoop集群的机器分开使用，
那么为了使用方便，而不是每次都去配置每台机器的host文件。
这里我推荐使用动态删除节点的方法，
主要的意思就是在dfs的hadoop/conf/hadoop-site.xml
和JobTracker的hadoop/conf/mappred-site.xml中添加黑名单和白名单
首先，现在namenode里配置，白名单和黑名单：
先编辑/hadoop/conf/hadoop-site.xml文件
如图：
只需要添加<property>
<name>dfs,,,</name>
</......
</property
还有在JobTracker机器上配置/hadoop/conf/mappred-site.xml
区别是这里的是<name>mapred.hosts</name>
然后在分别建立conf/include文件，白名单（就是允许连接的）
和conf/exclude文件，黑名单（不允许连接的）
然后分别在两个文件中写入节点。
如图：
配置好以后重启stop-all.sh
接着start-all.sh就可以了。
具体实现动态的删除，就只需要把那个节点的名字在白名单里删除，然后去黑名单里添加即可。
最后在http://localhost:50030上查看。（这里的localhost因人而异，具体看hadoop部署的位置）。
总要把hadoop集群的机器分开使用，
那么为了使用方便，而不是每次都去配置每台机器的host文件。
这里我推荐使用动态删除节点的方法，
主要的意思就是在dfs的hadoop/conf/hadoop-site.xml
和JobTracker的hadoop/conf/mappred-site.xml中添加黑名单和白名单
首先，现在namenode里配置，白名单和黑名单：
先编辑/hadoop/conf/hadoop-site.xml文件
如图：
只需要添加<property>
<name>dfs,,,</name>
</......
</property
还有在JobTracker机器上配置/hadoop/conf/mappred-site.xml
区别是这里的是<name>mapred.hosts</name>
然后在分别建立conf/include文件，白名单（就是允许连接的）
和conf/exclude文件，黑名单（不允许连接的）
然后分别在两个文件中写入节点。
如图：
配置好以后重启stop-all.sh
接着start-all.sh就可以了。
具体实现动态的删除，就只需要把那个节点的名字在白名单里删除，然后去黑名单里添加即可。
最后在http://localhost:50030上查看。（这里的localhost因人而异，具体看hadoop部署的位置）。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop2.x集群动态添加删除数据节点
- Hadoop学习记录（5）|集群搭建|节点动态添加删除
- Hadoop2.x集群动态添加删除数据节点
- Hadoop集群节点的动态增加与删除
- Hadoop集群节点的动态增加与删除
- Hadoop集群节点的动态增加与删除
- Hadoop2.6集群动态添加和删除数据节点
- Hadoop2.x集群动态添加删除数据节点
- Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向 （四十三）
- Hadoop集群节点的动态增加与删除
- hadoop集群动态添加和删除节点说明
- hadoop集群中动态增加新的DataNode节点
- 【hadoop 2.7.1 】动态添加节点、删除节点
- 添加和删除hadoop集群中的节点
- hadoop 添加删除节点以及搭建集群注意问题
- Hadoop动态删除节点
- hadoop集群增加删除节点
- [Nutch]Hadoop动态删除DataNode节点和TaskTracker节点
- Hadoop集群安装、节点增添与删除
- 如何在不重启或重新格式化hadoop集群的情况下删除集群节点