【sqoop】定时执行shell脚本,sqoop从mysql导出多张表信息到hbase
2017-08-02 16:32
633 查看
一、shell脚本
#!/bin/bash
#coding=UTF-8
#date_year=$(date +%Y)
#echo $date_year
source /etc/profile
for((i=3;i<=8;i++));
do
/opt/sqoop-1.4.6/bin/sqoop import --connect jdbc:mysql://192.168.150.86:3306/ablesky_play_log
--query "SELECT id_cpl,id_account_cpl,id_course_cpl,play_time_cpl,CONCAT_WS('_', id_cpl, play_time_cpl)AS rowkey FROM sta_course_play_log_cpl_2017_0"$i" WHERE 1=1 AND id_account_cpl != 19 AND is_trial_cpl=1 AND \$CONDITIONS"
--split-by id_cpl
--hbase-table courseAuditionLog
--column-family info
--hbase-row-key rowkey
--username 'zhang'
-password qzE@2UNYgowo
done
动态插入变量
二、定时任务设置
25 16 * * * /usr/bin/sh /opt/cronfile/test/zhang/sqoop.sh >> /opt/cronfile/test/zhang/logs/sqoop_`date +\%Y\%m\%d\%H\%M\%S`.log 2>&1
#!/bin/bash
#coding=UTF-8
#date_year=$(date +%Y)
#echo $date_year
source /etc/profile
for((i=3;i<=8;i++));
do
/opt/sqoop-1.4.6/bin/sqoop import --connect jdbc:mysql://192.168.150.86:3306/ablesky_play_log
--query "SELECT id_cpl,id_account_cpl,id_course_cpl,play_time_cpl,CONCAT_WS('_', id_cpl, play_time_cpl)AS rowkey FROM sta_course_play_log_cpl_2017_0"$i" WHERE 1=1 AND id_account_cpl != 19 AND is_trial_cpl=1 AND \$CONDITIONS"
--split-by id_cpl
--hbase-table courseAuditionLog
--column-family info
--hbase-row-key rowkey
--username 'zhang'
-password qzE@2UNYgowo
done
动态插入变量
$i只需要在query后的两个字符串之间即可,不用++连接
二、定时任务设置
25 16 * * * /usr/bin/sh /opt/cronfile/test/zhang/sqoop.sh >> /opt/cronfile/test/zhang/logs/sqoop_`date +\%Y\%m\%d\%H\%M\%S`.log 2>&1
相关文章推荐
- Shell 脚本 调用Mysql 客户端定时导出数据
- linux 定时执行shell脚本 【并发送信息到指定邮件centos6需要yum install sendmail】
- 【转】linux 定时执行shell脚本
- Linux下shell脚本定时执行
- hive,sqoop定时执行脚本举例
- 使用Linux的Shell脚本定时处理MySQL超时
- 导出MySql表结构及MySql执行外部SQL脚本
- linux 定时执行shell脚本
- 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- 定时导出mysql本地数据替换远程数据库数据脚本分享
- linux定时执行shell脚本
- Crontab 实现定时执行一个shell脚本(以每隔十分钟执行一次为例)
- 【shell mysql 导出数据到csv脚本,完美解决乱码转义符等问题】-费元星
- MySQL定时执行脚本(计划任务)实例
- 使用crontab,让linux定时执行shell脚本
- MySQL 定时执行脚本类似mmsql作业
- 使用sqoop1导出mysql数据到hbase中
- 通过linux的crontab实现定时执行shell脚本功能
- Linux 定时任务执行Shell脚本【CentOS6.8】
- CentOS下mysql定时备份Shell脚本分享