crontab 定时 hive2Mysql4sqoop
2016-06-08 16:54
323 查看
当我们手动执行脚本没有问题时,我们认为万事OK了 。其实不然放入crontab之后缺少各种东西。
我的业务是 使用hive中原始表当数据源,创建一个临时表,将数据原的数据清洗一遍放入临时表,再使用sqoop将临时表的数据导入到Mysql中。
首先我的hive表是orc文件压缩格式,sqoop无法直接读取,所以在清洗时顺便换了文件格式。一部分表是与hbase关联表,所以需要将hbase/lib中的 hbase相关的jar 和htrace相关的ja包复制到hive/lib中,将hbase-site.xml 中的 zookeeper 配置复制到hive-site.xml中,这样保证操作与hbase关联表时不会出错。
其次就时在crontab 执行时需要配置一些环境变量,可以临时添加,
export HADOOP_MAPRED_HOME=$HADOOP_HOME。
这样 sqoop就可以正常工作,可能会包一些其他的环境变量找到不到,可以忽略,已经不影响sqoop的执行了,看着不爽,就在sqoop/bin/configure-sqoop中把 相关的注释掉。
我的业务是 使用hive中原始表当数据源,创建一个临时表,将数据原的数据清洗一遍放入临时表,再使用sqoop将临时表的数据导入到Mysql中。
首先我的hive表是orc文件压缩格式,sqoop无法直接读取,所以在清洗时顺便换了文件格式。一部分表是与hbase关联表,所以需要将hbase/lib中的 hbase相关的jar 和htrace相关的ja包复制到hive/lib中,将hbase-site.xml 中的 zookeeper 配置复制到hive-site.xml中,这样保证操作与hbase关联表时不会出错。
其次就时在crontab 执行时需要配置一些环境变量,可以临时添加,
export HADOOP_MAPRED_HOME=$HADOOP_HOME。
这样 sqoop就可以正常工作,可能会包一些其他的环境变量找到不到,可以忽略,已经不影响sqoop的执行了,看着不爽,就在sqoop/bin/configure-sqoop中把 相关的注释掉。
相关文章推荐
- CentOS下使用yum命令安装计划任务程序crontab
- 解析Ubuntu下crontab命令的用法
- linux crontab实例分析
- 关于crontab的使用详解
- Web服务器日志统计分析完全解决方案
- MySQL定时备份之使用Linux下的crontab定时备份实例
- linux下使用crontab实现定时PHP计划任务失败的原因分析
- crontab无法执行php的解决方法
- 解析crontab php自动运行的方法
- linux使用crontab实现PHP执行计划定时任务
- Linux中使用Crontab定时监测维护Tomcat应用程序的方法
- sqoop使用mysql做为metastore
- 问题记录:[Sqoop]
- 大数据实验室(大数据基础培训)——Sqoop的安装、配置及基础使用
- 任务调度的使用crontab
- sqoop 中文文档 User guide 一
- sqoop 中文文档 User guide 二 import
- sqoop 中文文档 User guide 二 import续
- sqoop 中文文档 User guide 三 export
- sqoop 中文文档 User guide 四 validation