Hadoop新旧集群迁移
2016-04-28 14:05
369 查看
Hive数据仓库迁移
HBase迁移
distcp 命令集群数据考备
参数一： 源集群（旧）
参数二： 目标集群（新）
如出现异常：
Caused by: java.io.IOException: Check-sum mismatch between
解决方法：
hdfs-site.xml将dfs.checksum.type属性设置为CRC32
<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
</property>
hadoop distcp -update -skipcrccheck hftp://X.X.X.X:50070/user/dd_edw/warehouse/X/dt=2014-04-10 /user/impala/warehouse/1
hadoop distcp hftp://bdc220.hexun.com:50070/dw /建hive映射表即可
HBase迁移
hadoop distcp hftp://bdc220.hexun.com:50070/hbase /HBase表结构考备后直接可用
distcp 命令集群数据考备
参数一： 源集群（旧）
参数二： 目标集群（新）
如出现异常：
Caused by: java.io.IOException: Check-sum mismatch between
解决方法：
hdfs-site.xml将dfs.checksum.type属性设置为CRC32
<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
</property>
hadoop distcp -update -skipcrccheck hftp://X.X.X.X:50070/user/dd_edw/warehouse/X/dt=2014-04-10 /user/impala/warehouse/1
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- tomcat server.xml中文版
- Linux chown改变文件所属关系命令
- linux 信号 --- 产生 阻塞 捕捉
- Apache 服务器
- ArcGIS Server 10.1 for Linux典型问题总结
- Apache Maven项目提供的Ant插件详解
- 3.linux文件操作跟磁盘存储对应过程
- 2.Linux文件和目录之间对应关系
- linux REDHAT6.4下安装ArcGIS Server 10.1
- VM安装linux
- linux按位运算datalab-handout
- log4j.properties
- Eclipse导入tomcat服务器
- 解决Linux c语言运行时候“段错误 (核心已转储)”问题-采用gdb 解决
- centos 6.7 zerorpc TypeError
- 搭建Hadoop平台（二）之SSH免密码登录配置
- Linux内核分析 期末总结
- Nginx漏洞利用与安全加固
- Openssl 加密，解密，CA认证
- 王高利：Kvm虚拟化（4）__为客户机添加virsh console支持