开发环境 hadoop&hbase集群环境磁盘丢失处理总结
问题描述:
集群
192.168.22.178 master1
192.168.22.179 master2
192.168.22.40 data1&zk&kafka&es
192.168.22.69 data2&zk&kafka&es
192.168.22.177 data3&kafka&es
192.168.22.180 data4
主机192.168.22.40和192.168.22.177是hadoop集群的datanode同时也是hbase的regionserver,数据存放在/data和/data2两个目录,两个目录所挂载的磁盘因为异常情况丢失了,集群出现异常,不能正常提供服务。
恢复步骤:
1、等待云主机恢复状态,磁盘重新申请格式化挂载。
3、重建zk、kafka、es集群
2、把主机192.168.22.69上的/data、/data1下的目录拷贝到两台机器,之后删除其中的log文件及数据。
3、同步journal数据
把主机192.168.22.69上/data/hadoop_data/journal/masters 目录拷贝到其他两台机器的/data/hadoop_data/journal目录下。
4、启动两台hadoop服务,切换hbase数据存放目录
$ vim /data/hbase/conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
>>
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase1</value>
</property>
同步配置文件到所有的集群节点
上边的方式是彻底放弃了hbase的数据,这是因为是测试环境,如果不是测试环境,数据比较重要的话,则需要另外的方式,比如下面网站所示的方式:
https://blog.csdn.net/anyking0520/article/details/79064967
登录zk服务器192.168.22.40,删除zk集群中保存的hbase表的数据信息
# cd /home/box/zookeeper-3.4.6/bin
# ./zkCli.sh
进入shell后使用下面命令删除
rmr /hbase/table
5、关闭hadoop集群保护模式
在主节点上
$ cd /data/hadoop/bin
$ ./hadoop dfsadmin -safemode leave
6、注意启动集群的顺序
6.1、恢复启动zookeeper集群
在主节点上
6.2、启动hadoop集群服务
配置好hadoop集群后,启动整个hadoop集群服务
$ cd /data/hadoop/sbin
$ ./start-all.sh
离开hadoop集群安全模式
查看hdfs集群状态是否正常
$ cd /data/hadoop/bin
$ ./hdfs dfsadmin -report
6.3、关闭hadoop集群保护模式
6.4、配置好hbase后,启动hbase集群
$ cd /data/hbase/bin
$ start-hbase.sh
查看hbase集群状态是否正常
$ cd /data/hbase/bin
$ ./hbase shell
进入shell后使用status命令查看状态
- 基于HBase Hadoop 分布式集群环境下的MapReduce程序开发
- Hadoop实践(二)---集群和开发环境搭建(Intellij IDEA & Maven 开发Hadoop)
- Hadoop集群安装&Hbase实验环境搭建【1】
- MR-eclipse本地开发环境搭建&Hadoop学习总结
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】 分类: 1_Nutch 0_jediael开发 2015-01-24 17:24 3522人阅读 评论(1) 收藏
- hadoop-0.20.2 & hbase-0.90.1 集群启动错误“org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientP
- 配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 跨浏览器开发经验总结(六) —— XML文档处理 & XMLHttpRequest对象
- Win8上MyEclipse10开发hadoop的环境搭建和连接Linux集群
- Hadoop 2.2 & HBase 0.96 Maven 依赖总结
- Hadoop集群(第7期)_Eclipse开发环境设置
- Hadoop集群(第7期)_Eclipse开发环境设置
- Hadoop集群(第7期)_Eclipse开发环境设置
- yarn & hadoop2.2 与 HBase with zookeeper环境集成
- 利用虚拟机virtualbox配置Hadoop开发环境总结
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- Hadoop+Hbase+Zookeeper集群环境搭建
- Hadoop集群链接_Eclipse开发环境:成功运行mapreduce所遇问题
- Hadoop 2.2 & HBase 0.96 Maven 依赖总结
- Hadoop集群(第7期)_Eclipse开发环境设置