HBase的数据备份与恢复机制BDR
2014-10-05 04:45
393 查看
一、快照机制snapshots
简单在hbase上做个表做测试:
hbase(main):044:0> scan 'student'
ROW COLUMN+CELL
num1 column=shuxing:name, timestamp=1412189531346, value=jaybing
num2 column=shuxing:name, timestamp=1412189623682, value=jaychou
num3 column=shuxing:like, timestamp=1412189669404, value=game
3 row(s) in 0.0260 seconds
创建这个表的快照:
hbase(main):045:0> snapshot 'student','snapshot_student'
0 row(s) in 1.2620 seconds
[root@nn ~]# hadoop fs -ls /tmpdir/
Found 9 items
drwxr-xr-x - root supergroup 0 2014-10-02 02:58 /tmpdir/.hbase-snapshot
drwxr-xr-x - root supergroup 0 2014-10-01 21:48 /tmpdir/.tmp
drwxr-xr-x - root supergroup 0 2014-10-01 21:37 /tmpdir/WALs
drwxr-xr-x - root supergroup 0 2014-10-02 02:42 /tmpdir/archive
drwxr-xr-x - root supergroup 0 2014-09-28 00:42 /tmpdir/corrupt
drwxr-xr-x - root supergroup 0 2014-09-26 11:20 /tmpdir/data
-rw-r--r-- 2 root supergroup 42 2014-09-26 11:20 /tmpdir/hbase.id
-rw-r--r-- 2 root supergroup 7 2014-09-26 11:20 /tmpdir/hbase.version
drwxr-xr-x - root supergroup 0 2014-10-02 02:48 /tmpdir/oldWALs
[root@nn ~]# hadoop fs -ls /tmpdir/.hbase-snapshot
Found 2 items
drwxr-xr-x - root supergroup 0 2014-10-02 02:58 /tmpdir/.hbase-snapshot/.tmp
drwxr-xr-x - root supergroup 0 2014-10-02 02:58 /tmpdir/.hbase-snapshot/snapshot_student 这应该就是快照的数据文件;
删除student表两行,模拟数据文件损坏;
hbase(main):061:0> disable 'student'
0 row(s) in 2.0310 seconds
hbase(main):062:0> is_
is_a? is_disabled is_enabled
hbase(main):062:0> is_enabled 'student'
false
0 row(s) in 0.0800 seconds
hbase(main):063:0> drop
drop drop_all drop_namespace
hbase(main):063:0> drop 'student'
0 row(s) in 0.1940 seconds
hbase(main):064:0> list
TABLE
0 row(s) in 0.0200 seconds
=> []
用快照恢复表:
hbase(main):070:0> restore_snapshot 'snapshot_student'
0 row(s) in 6.4950 seconds
hbase(main):071:0> scan 'student'
ROW COLUMN+CELL
num1 column=shuxing:name, timestamp=1412189531346, value=jaybing
num2 column=shuxing:name, timestamp=1412189623682, value=jaychou
num3 column=shuxing:like, timestamp=1412189669404, value=game
3 row(s) in 0.2190 seconds
注: 快照只是保存着快照时hbase表那一刻的数据,至于快照以后的增量的数据,快照是 不支持的;
二、导出表Export
HBase的表导出工具是一个内置的功能,它使数据很容易从hbase导入hdfs目录下的sequencefiles文件,它创造了一个Map reduce任务,通过一系列的hbase api来调用集群,获取指定的表格的每一行数据,并将数据写入指定 的HDFS目录中;
........
三、拷贝表copytable
HBase的表拷贝工具和导出工具差不多,拷贝表也hbase api创建map reduce任务,从源数据读取数据,不同的是拷贝的输出是hbase 的另一个表;这个表可在本地集群,也可在远程集群;
本文出自 “Linux_蚂蚁” 博客,请务必保留此出处http://onlyoulinux.blog.51cto.com/7941460/1560656
简单在hbase上做个表做测试:
hbase(main):044:0> scan 'student'
ROW COLUMN+CELL
num1 column=shuxing:name, timestamp=1412189531346, value=jaybing
num2 column=shuxing:name, timestamp=1412189623682, value=jaychou
num3 column=shuxing:like, timestamp=1412189669404, value=game
3 row(s) in 0.0260 seconds
创建这个表的快照:
hbase(main):045:0> snapshot 'student','snapshot_student'
0 row(s) in 1.2620 seconds
[root@nn ~]# hadoop fs -ls /tmpdir/
Found 9 items
drwxr-xr-x - root supergroup 0 2014-10-02 02:58 /tmpdir/.hbase-snapshot
drwxr-xr-x - root supergroup 0 2014-10-01 21:48 /tmpdir/.tmp
drwxr-xr-x - root supergroup 0 2014-10-01 21:37 /tmpdir/WALs
drwxr-xr-x - root supergroup 0 2014-10-02 02:42 /tmpdir/archive
drwxr-xr-x - root supergroup 0 2014-09-28 00:42 /tmpdir/corrupt
drwxr-xr-x - root supergroup 0 2014-09-26 11:20 /tmpdir/data
-rw-r--r-- 2 root supergroup 42 2014-09-26 11:20 /tmpdir/hbase.id
-rw-r--r-- 2 root supergroup 7 2014-09-26 11:20 /tmpdir/hbase.version
drwxr-xr-x - root supergroup 0 2014-10-02 02:48 /tmpdir/oldWALs
[root@nn ~]# hadoop fs -ls /tmpdir/.hbase-snapshot
Found 2 items
drwxr-xr-x - root supergroup 0 2014-10-02 02:58 /tmpdir/.hbase-snapshot/.tmp
drwxr-xr-x - root supergroup 0 2014-10-02 02:58 /tmpdir/.hbase-snapshot/snapshot_student 这应该就是快照的数据文件;
删除student表两行,模拟数据文件损坏;
hbase(main):061:0> disable 'student'
0 row(s) in 2.0310 seconds
hbase(main):062:0> is_
is_a? is_disabled is_enabled
hbase(main):062:0> is_enabled 'student'
false
0 row(s) in 0.0800 seconds
hbase(main):063:0> drop
drop drop_all drop_namespace
hbase(main):063:0> drop 'student'
0 row(s) in 0.1940 seconds
hbase(main):064:0> list
TABLE
0 row(s) in 0.0200 seconds
=> []
用快照恢复表:
hbase(main):070:0> restore_snapshot 'snapshot_student'
0 row(s) in 6.4950 seconds
hbase(main):071:0> scan 'student'
ROW COLUMN+CELL
num1 column=shuxing:name, timestamp=1412189531346, value=jaybing
num2 column=shuxing:name, timestamp=1412189623682, value=jaychou
num3 column=shuxing:like, timestamp=1412189669404, value=game
3 row(s) in 0.2190 seconds
注: 快照只是保存着快照时hbase表那一刻的数据,至于快照以后的增量的数据,快照是 不支持的;
二、导出表Export
HBase的表导出工具是一个内置的功能,它使数据很容易从hbase导入hdfs目录下的sequencefiles文件,它创造了一个Map reduce任务,通过一系列的hbase api来调用集群,获取指定的表格的每一行数据,并将数据写入指定 的HDFS目录中;
........
三、拷贝表copytable
HBase的表拷贝工具和导出工具差不多,拷贝表也hbase api创建map reduce任务,从源数据读取数据,不同的是拷贝的输出是hbase 的另一个表;这个表可在本地集群,也可在远程集群;
本文出自 “Linux_蚂蚁” 博客,请务必保留此出处http://onlyoulinux.blog.51cto.com/7941460/1560656
相关文章推荐
- HBase数据备份恢复的几种机制总结
- HBase数据备份和恢复
- Linux 网络文件系统的数据备份及恢复机制实现
- HBase数据备份及恢复(导入导出)的常用方法
- Oracle+sde数据备份、恢复
- 注册表故障恢复 必须使用记录或另一备份以恢复包含系统注册表数据的文件。恢复成功
- 灾难备份与数据恢复及其解决方案
- oracle学习笔记(1)-数据备份与恢复
- asp实现数据记录的备份及恢复-----抛砖引玉
- 数据备份还原我有妙招----第3集:自动系统恢复(ASR)备份系统
- 用VB进行SQL2000的数据备份和恢复
- Vista数据备份恢复
- 备份与恢复windows 2003的AD数据库
- 没有备份、只有归档日志,如何恢复数据文件?
- 利用VB进行SQL2000的数据备份和恢复
- ArcSDE 中空间数据的备份与恢复
- 网络数据的备份和恢复
- 数据备份恢复后的完整性检测
- sps备份数据恢复过程中遇到的问题
- 数据恢复记(没有备份恢复数据)