sh调取sqoop脚本每天增量跑数据 从hadoop到关系型数据库
2015-11-27 09:44
330 查看
sh中调取sqoop每天增量懂啊关系型数据库中,看看吧
#!/bin/bash source ~/.bashrc set -x DAY=`date -d "$1 days ago" +%y-%m-%d` DAYI=`date -d "$1 days ago" +%Y%m%d` APPHOME="/opt/pig_home/bshare_etl/hdetl/app/pv_placement/" PROG=`basename $0` MAIL="dba@i-click.com" EXPORT="/shortdata/pv_placement/15-10-01" USER="xmo_summarizer" PWD="YCt452uz" URL="jdbc:postgresql://10.1.1.230:5432/xmo_dw" sqoop eval --connect ${URL} --username ${USER} --password ${PWD} -e "delete from bshare_placement where date_i=${DAY}" sqoop export --connect ${URL} --username ${USER} --password ${PWD} --export-dir ${EXPORT} --table bshare_placement --fields-terminated-by '\001' --input-null-non-string '\\N' --input-null-string '\\N' --columns date_i,adx,city,province,placement_id,pv -- --schema xmo_dw #sqoop export --connect 'jdbc:postgresql://10.1.1.230:5432/xmo_dw' --username 'mo_summarizer' --password 'YCt452uz' --export-dir '/shortdata/pv_placement/15-10-01' --table bshare_placement --fields-terminated-by '\001' --input-null-non-string '\\N' --input-null-string '\\N' --columns date_i,adx,city,province,placement_id,pv -- --schema xmo_dw sqoop list-databases --connect "jdbc:postgresql://10.1.1.230:5432/xmo_dw" --username 'xmo_summarizer' --password 'YCt452uz'
相关文章推荐
- MYSQL表名批量改为大写
- 数据库_MYSQL获取自增主键【4种方法】 ,推荐方法3
- SQL事务处理 C#
- mysql基础——引擎篇
- 框架-字符串拼接、数据库拆分
- redis(三) 持久化机制
- SQL表名,应该用复数还是单数
- redis(二)
- 框架-数据库自动生成编号
- 框架-数据库定义MD5加密
- 集算器协助SQL实现非等值分组
- 多数据库数据导入
- 【DB】Oracle 打开/关闭服务DOS命令
- 错误号码2003 Can't connect to MySQL server on 'localhost'(10061)
- MySQL服务无法启动 navicat无法连接
- Oracle分析函数-等级函数
- mysql 建数据库、建表、插入数据、增删列
- 如何查看安装的sql server是什么版本
- sql server之批量数据导入
- JDBC连接数据库实现删除功能