Hadoop-HBASE 热添加新节点
2017-07-01 15:54
148 查看
Hadoop-HBASE 热添加新节点
环境:
192.168.137.101 hd1
192.168.137.102 hd2
192.168.137.103 hd3
192.168.137.104 hd4
四节点hadoop和hbase
1、设置hostname
vi /etc/sysconfig/network
hostname hd5
设置完毕后需要退出重新登录下方可生效
查看防火墙状态:service iptables status
停用防火墙:service iptables stop
2、hd5中修改/etc/hosts
加入 192.168.137.105 hd5
3、分发其到所有hd1, hd2, hd3, hd4
scp /etc/hosts hd1:/etc
scp /etc/hosts hd2:/etc
scp /etc/hosts hd3:/etc
scp /etc/hosts hd4:/etc
4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成
cd ~/.ssh
rm id_rsa
rm id_rsa.pub
ssh-keygen -t rsa
5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥
cat ~/.ssh/id_rsa.pub >> authorized_keys
6、分发改文件到其它各节点
scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh
7、前往各个节点进行第一次到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)
在hd1, ssh hd5 date
在hd2, ssh hd5 date
在hd3, ssh hd5 date
在hd4, ssh hd5 date
在hd5, ssh hd5 date
8、将某节点上的hadoop和hbase安装文件拷贝到新节点上,然后修改配置文件
在hd5修改hadoop的slave文件
vim /home/hadoop/hadoop/etc/hadoop/slaves
加入hd5
分发其到其它节点
scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop
9、在hd5启动datanode
./hadoop-daemon.sh start datanode
10、在hd5启动start-balancer.sh均衡当前hdfs块
start-balancer.sh
11、如果还有hbase在上面运行则需要部署hbase的hserver
修改
vim /home/hadoop/hbase/conf/regionservers
加入hd5 并复制regionservers文件到hd1,hd2,hd3,hd4
scp regionservers hd1:/home/hadoop/hbase/conf
scp regionservers hd2:/home/hadoop/hbase/conf
scp regionservers hd3:/home/hadoop/hbase/conf
scp regionservers hd4:/home/hadoop/hbase/conf
13、在hd5启动hbase regionserver
hbase-daemon.sh start regionserver
14、在hd1和hd5启动hbase shell
用status命令确认一下集群情况
环境:
192.168.137.101 hd1
192.168.137.102 hd2
192.168.137.103 hd3
192.168.137.104 hd4
四节点hadoop和hbase
1、设置hostname
vi /etc/sysconfig/network
hostname hd5
设置完毕后需要退出重新登录下方可生效
查看防火墙状态:service iptables status
停用防火墙:service iptables stop
2、hd5中修改/etc/hosts
加入 192.168.137.105 hd5
3、分发其到所有hd1, hd2, hd3, hd4
scp /etc/hosts hd1:/etc
scp /etc/hosts hd2:/etc
scp /etc/hosts hd3:/etc
scp /etc/hosts hd4:/etc
4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成
cd ~/.ssh
rm id_rsa
rm id_rsa.pub
ssh-keygen -t rsa
5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥
cat ~/.ssh/id_rsa.pub >> authorized_keys
6、分发改文件到其它各节点
scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh
7、前往各个节点进行第一次到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)
在hd1, ssh hd5 date
在hd2, ssh hd5 date
在hd3, ssh hd5 date
在hd4, ssh hd5 date
在hd5, ssh hd5 date
8、将某节点上的hadoop和hbase安装文件拷贝到新节点上,然后修改配置文件
在hd5修改hadoop的slave文件
vim /home/hadoop/hadoop/etc/hadoop/slaves
加入hd5
分发其到其它节点
scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop
9、在hd5启动datanode
./hadoop-daemon.sh start datanode
10、在hd5启动start-balancer.sh均衡当前hdfs块
start-balancer.sh
11、如果还有hbase在上面运行则需要部署hbase的hserver
修改
vim /home/hadoop/hbase/conf/regionservers
加入hd5 并复制regionservers文件到hd1,hd2,hd3,hd4
scp regionservers hd1:/home/hadoop/hbase/conf
scp regionservers hd2:/home/hadoop/hbase/conf
scp regionservers hd3:/home/hadoop/hbase/conf
scp regionservers hd4:/home/hadoop/hbase/conf
13、在hd5启动hbase regionserver
hbase-daemon.sh start regionserver
14、在hd1和hd5启动hbase shell
用status命令确认一下集群情况
相关文章推荐
- hadoop和hbase节点添加和单独重启
- Hadoop,HBase添加和删除节点
- hadoop和hbase节点添加和单独重启
- Hadoop 2.2.0 热添加新节点 (含HBASE)
- Hadoop热添加删除节点(含Hbase)
- Hadoop-HBASE 热添加新节点
- hadoop和hbase节点添加和单独重启
- hadoop和hbase节点添加和单独重启
- Hadoop添加删除节点
- 添加和删除hadoop集群中的节点
- Hadoop学习3_在HADOOP集群中添加节点和删除节点
- Hadoop 2.6.0动态添加节点
- Hadoop HDFS 添加节点
- hadoop删除节点和添加节点
- Hadoop添加删除节点
- Hadoop 委任和解除节点(DataNode和NodeManager) Hadoop 集群管理员经常需要向集群中添加或者移除节点。通常情况下,节点同时运行DataNode和NodeManager。
- Hadoop添加删除节点
- [喵咪大数据]Hadoop节点添加下线和磁盘扩容操作
- Linux下Hadoop(伪分布) + Zookeeper + HBase(一个节点) 部署
- Hadoop节点添加下线和磁盘扩容操作