大数据管理平台-定时自动化任务管控
2017-05-12 13:56
323 查看
从上次功能架构的调整到现在又是将近一年了,因为有其他项目在耽误时间,这个项目在自动化上还是有点开发的。
功能是基于需求,需求是来源与业务,业务是服务与人们某一生活需求的。这个功能也不例外,如某网站或某服务平台的新闻动态类栏目,这种实时性高、时效性好的信息需要及时的更新数据库以方便请求/发送数据。就是这样一个很通用的需求。
需要定时,自动化,处理任务,那么我们选了:
定时4个思路实现:
定时器:优点:起/停可控,单线程运行-缺点:时间不可以动态设置,定时执行配置不灵活
import java.util.Calendar;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
定时:
import net.dagongsoft.framework.quartz.QuartzJob;
import net.dagongsoft.framework.quartz.QuartzManager;
线程循环:缺点:循环实现,时间间隔固定不可变 优点:线程池方式来执行任务,可设置时间点执行
java.lang.thread
java.lang.runnable
java.util.concurrent.ScheduledExecutorService
Spring轻量级SpingTask标签
<task:scheduled-tasks></task:scheduled-tasks>
Spring 显示配置 优点:拼读可控,缺点:不可时间点确定
方法继承TimerTask实现
自动化:
自动化本身是执行自动化,通过定时实现,其次是任务可以自己能处理一下任务临时的异常,这里想需要的是
1.异常处理机制,这里可控异常及可预见异常都在业务层笑话,不可预料的异常都异常拦截器处理。
2.异常分类
数据异常,引入深度学习丰富异常库并反馈数据组或DBA查验数据,不影响下一周期业务
业务异常,叫异常拦截器处理,不做归纳总结,直接提示修改方法
连接异常,网络或物理传送层某步出现异常,仅做记录
任务:
触发任务方式
这样需要针对不同业务的不同模型,确定触发形式。目前我们的支持可控可配置的任务有R\Python\SOLR\MR\JAVAdROOLS\KJB\KTR
这里的任务可配参数有:定时参数(某时间执行,如何执行)/(单任务,任务链)
ktr/kjb是通过ETL工具spoon的API执行
SOLR是通过编写固定开放开发的java方法
其中R/py/MR 都有整合java的依赖,如rJava/rYthon.....cmd命令/shell脚本直接触发文件
功能是基于需求,需求是来源与业务,业务是服务与人们某一生活需求的。这个功能也不例外,如某网站或某服务平台的新闻动态类栏目,这种实时性高、时效性好的信息需要及时的更新数据库以方便请求/发送数据。就是这样一个很通用的需求。
需要定时,自动化,处理任务,那么我们选了:
定时4个思路实现:
定时器:优点:起/停可控,单线程运行-缺点:时间不可以动态设置,定时执行配置不灵活
import java.util.Calendar;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
定时:
import net.dagongsoft.framework.quartz.QuartzJob;
import net.dagongsoft.framework.quartz.QuartzManager;
线程循环:缺点:循环实现,时间间隔固定不可变 优点:线程池方式来执行任务,可设置时间点执行
java.lang.thread
java.lang.runnable
java.util.concurrent.ScheduledExecutorService
Spring轻量级SpingTask标签
<task:scheduled-tasks></task:scheduled-tasks>
Spring 显示配置 优点:拼读可控,缺点:不可时间点确定
方法继承TimerTask实现
自动化:
自动化本身是执行自动化,通过定时实现,其次是任务可以自己能处理一下任务临时的异常,这里想需要的是
1.异常处理机制,这里可控异常及可预见异常都在业务层笑话,不可预料的异常都异常拦截器处理。
2.异常分类
数据异常,引入深度学习丰富异常库并反馈数据组或DBA查验数据,不影响下一周期业务
业务异常,叫异常拦截器处理,不做归纳总结,直接提示修改方法
连接异常,网络或物理传送层某步出现异常,仅做记录
任务:
触发任务方式
这样需要针对不同业务的不同模型,确定触发形式。目前我们的支持可控可配置的任务有R\Python\SOLR\MR\JAVAdROOLS\KJB\KTR
这里的任务可配参数有:定时参数(某时间执行,如何执行)/(单任务,任务链)
ktr/kjb是通过ETL工具spoon的API执行
SOLR是通过编写固定开放开发的java方法
其中R/py/MR 都有整合java的依赖,如rJava/rYthon.....cmd命令/shell脚本直接触发文件
相关文章推荐
- DOClever 接口管理,数据生成,自动化测试平台
- 【腾讯TMQ】【UTP自动化测试平台系列之二】任务管理设计
- 构建iOS持续集成平台(一)——自动化构建和依赖管理
- linux crontab命令参数及用法详解--linux自动化定时任务cron
- 十年磨一剑,阿里巴巴企业级数据管理平台:iDB
- linux中添加定时任务,定时导出mysql数据库的数据.
- 数据平台任务与调度设计
- linux学习之 虚拟机管理、软件安装、定时延时任务
- linux crontab命令参数及用法详解--linux自动化定时任务cron
- MySQL定时任务event,储存过程(定时删除指定时间前90天指定表的数据)
- Spring Boot集成持久化Quartz定时任务管理和界面展示
- mysqldump+系统计划任务定时备份MySql数据
- 基于agenda的Nodejs定h5斗牛平台出租时任务管理框架搭建
- 构建iOS持续集成平台(一)——自动化构建和依赖管理
- 开源任务管理平台TaskManager介绍
- 简单通用的缺陷跟踪管理SAAS云平台,含工作流待办任务,转交、挂起、回退等操作,邮件提醒,能导入导出excel
- 大数据学习笔记之十四 开源云管理平台OpenStack
- Centos7 mysqldump定时任务,对mysql定时备份数据