CDH中oozie 定时调度sqoop job
2017-10-24 16:04
1061 查看
在数据开发中,由于数据量非常的大,有时候需要将关系型数据库(Oracle/Postgresql/Mysql等)中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop job从oracle库中增量导入数据至hive表具体操作记录一下:
首先,准备工作是在HDFS上创建oozie job需要的workflow.xml,hive-site.xml,coordinator.xml和lib文件夹,比如我的是在/user/oozie/workflow/sqoop2hive下面创建的
Lib文件下,存放的是我们的连接关系型数据库的驱动:mysql-connector-java.jar,ojdbc6.jar
workflow.xml是配置的工作流,如下:
下面是把定时调度的coordinator.xml文件配置如下:这里是配置10分钟调用一次sqoop job
注意1:其次需要启动sqoop metastore,否则会报错:ERROR tool.JobTool: I/O error performing job operation: java.io.IOException: Exception creating SQL connection
sqoop metastore
注意2:关于sqoop job执行的时候,需要输入数据库的密码,需要在sqoop-site.xml中设置sqoop.metastore.client.record.password为true,取消注释即可
下面再说一下sqoop job 的命令:
sqoop job的删除:
sqoop job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --delete job名称
下面呢就是调用oozie了:
oozie job -oozie http://cloud171:11000/oozie -config /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/job.properties(本地job.properties的路径) -run
接下来会产生一个编号,在oozie的web UI里面可以看到。这里是直接的操作流程,有些粗糙,下面再补充一下sqoop job的部分
=========================================================================
sqoop支持两种增量导入模式,
一种是 append,即通过指定一个递增的列,比如:
--incremental append --check-column num_iid --last-value 0
varchar类型的check字段也可以通过这种方式增量导入(ID为varchar类型的递增数字):
--incremental append --check-column ID --last-value 8
另种是可以根据时间戳,比如:
--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00'
就是只导入created 比'2012-02-01 11:0:00'更大的数据。
首先,准备工作是在HDFS上创建oozie job需要的workflow.xml,hive-site.xml,coordinator.xml和lib文件夹,比如我的是在/user/oozie/workflow/sqoop2hive下面创建的
Lib文件下,存放的是我们的连接关系型数据库的驱动:mysql-connector-java.jar,ojdbc6.jar
workflow.xml是配置的工作流,如下:
<workflow-app xmlns="uri:oozie:workflow:0.2" name="sqoop-to-hive"> <start to="sqoop2hive"/> <action name="sqoop2hive"> <sqoop xmlns="uri:oozie:sqoop-action:0.2"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <configuration> <property> <name>sqoop.metastore.client.record.password</name> <value>true</value> </property> <property> <name>hive.metastore.local</name> <value>true</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://cloud171:9083</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:oracle://188.188.2.175:1521/orcl?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> </configuration> <command>job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --exec sqoop2hive_job</command> </sqoop> <ok to="end"/> <error to="fail"/> </action> <kill name="fail"> <message>Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> </kill> <end name="end"/> </workflow-app>把hive-site.xml也放进来即可,这里不再细说
下面是把定时调度的coordinator.xml文件配置如下:这里是配置10分钟调用一次sqoop job
<coordinator-app name="sqoop2hive-coord" frequency="${coord:minutes(10)}" start="${start}" end="${end}" timezone="UTC" xmlns="uri:oozie:coordinator:0.2"> <action> <workflow> <app-path>${workflowAppUri}</app-path> <configuration> <property> <name>jobTracker</name> <value>${jobTracker}</value> </property> <property> <name>nameNode</name> <value>${nameNode}</value> </property> </configuration> </workflow> </action> </coordinator-app>下面是job.properties,具体配置如下:这个job.properties是放在本地的,不是hdfs上
nameNode=hdfs://cloud171:8020 jobTracker=cloud171:8032 oozie.libpath=${nameNode}/user/oozie/share/lib/lib_20170401085707/sqoop #根据你的环境对应修改 oozie.use.system.libpath=true start=2017-10-10T07:30Z end=2017-11-06T08:00Z oozie.coord.application.path=${nameNode}/user/oozie/workflow/sqoop2hive #放上面三个文件的路径 workflowAppUri=${nameNode}/user/oozie/workflow/sqoop2hive #同上
注意1:其次需要启动sqoop metastore,否则会报错:ERROR tool.JobTool: I/O error performing job operation: java.io.IOException: Exception creating SQL connection
sqoop metastore
注意2:关于sqoop job执行的时候,需要输入数据库的密码,需要在sqoop-site.xml中设置sqoop.metastore.client.record.password为true,取消注释即可
下面再说一下sqoop job 的命令:
sqoop job \ --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop \ #sqoop 工作流和job是配置在HSQL里的,默认端口是16000 --create sqoop2hive_job \ --(空格)import --connect jdbc:oracle:thin:@188.188.2.175:1521:orcl \ --username scott \ --password tiger -m 1 \ --table EMP \ --hive-import --hive-table cust \ --incremental append --check-column EMPNO --last-value 0上面的是一个数据库增量更新,创建sqoop job :sqoop2hive_job
sqoop job的删除:
sqoop job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --delete job名称
下面呢就是调用oozie了:
oozie job -oozie http://cloud171:11000/oozie -config /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/job.properties(本地job.properties的路径) -run
接下来会产生一个编号,在oozie的web UI里面可以看到。这里是直接的操作流程,有些粗糙,下面再补充一下sqoop job的部分
=========================================================================
sqoop支持两种增量导入模式,
一种是 append,即通过指定一个递增的列,比如:
--incremental append --check-column num_iid --last-value 0
varchar类型的check字段也可以通过这种方式增量导入(ID为varchar类型的递增数字):
--incremental append --check-column ID --last-value 8
另种是可以根据时间戳,比如:
--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00'
就是只导入created 比'2012-02-01 11:0:00'更大的数据。
相关文章推荐
- Quartz定时调度CronTrigger时间配置格式说明与实例
- Java定时调度 Timer类和TimerTask类
- 用 quartz 调度定时工作
- Spring 配置Quartz 定时任务调度服务
- 定时调度(定时器)的使用
- TopShelf+Quartz.net实现基于window服务的定时调度
- [译]Java定时任务调度-Quartz文档(三)进一步讲讲Job和Job Detail
- mysql事件调度器定时删除binlog
- sql 2000 作业调度(定时执行存储过程)
- Quartz定时调度框架
- 通过作业调度现实sql server数据库定时自动备份
- linux 定时调度sh脚本
- MSSQLSERVER数据库- 作业调度定时备份数据库
- Spring3.0与Quartz的整合实现定时任务调度
- Linux操作系统定时调度系统Cron介绍
- 【Java常用类库】_定时调度笔记
- 定时任务调度工具之Timer(四)
- Quartz定时调度从入门到进阶
- springmvc+quartz简单实现定时调度
- (转)Java任务调度框架Quartz入门教程指南(二) 使用job、trigger、schedule调用定时任务