使用Flink的Savepoint功能
2020-01-15 06:37
127 查看
Flink通过Savepoint功能可以做到程序升级后,继续从升级前的那个点开始执行计算,保证数据不中断。
Flink中Checkpoint用于保存状态,是自动执行的,会过期,Savepoint是指向Checkpoint的指针,需要手动执行,并且不会过期。
据Flink路线图,后面Savepoint会和Checkpoint合并成一个,不像现在这样分成两个,而且一个自动、一个手动了。
1.flink-conf.yaml中配置Savepoint存储位置
不是必须设置,但是设置后,后面创建指定Job的Savepoint时,可以不用在手动执行命令时指定Savepoint的位置
state.savepoints.dir: hdfs://t-sha1-flk-01:9000/flink-savepoints
2.列出当前Job
[teld@T-SHA1-FLK-01 log]$ flink list ------------------ Running/Restarting Jobs ------------------- aaaaaaaaaaaa : 8eaee3ed045c14337568c1cf3a272a45 : MonitorEngine_V1.0_SH.A1_Minute (RUNNING) bbbbbbbbbbbb : ca1f3ac0081711ee6a0767fe1fd5b31c : MonitorEngine_V1.0_SH.A1_Second (RUNNING) -------------------------------------------------------------- No scheduled jobs.
3.停止Job,并将状态写入Savepoint
[teld@T-SHA1-FLK-01 log]$ flink cancel -s ca1f3ac0081711ee6a0767fe1fd5b31c Cancelling job ca1f3ac0081711ee6a0767fe1fd5b31c with savepoint to default savepoint directory. Cancelled job ca1f3ac0081711ee6a0767fe1fd5b31c. Savepoint stored in
hdfs://t-sha1-flk-01:9000/flink-savepoints/savepoint-ca1f3a-9f86a020ee76.
4.从指定的Savepoint启动Job
[teld@T-SHA1-FLK-01 log]$ flink run -s hdfs://t-sha1-flk-01:9000/flink-savepoints/savepoint-ca1f3a-9f86a020ee76
-p 6 -c cn.teld.monitor.MonitorEngine monitorengine_flink_sec-1.0-jar-with-dependencies.jar
5.建议为Flink程序中的每个操作设置uid以及name
6.从界面提交升级包
前面是通过命令行的方式进行升级,也可以直接通过界面方式进行提交,提交时指定Savepoint路径即可。
转载于:https://www.cnblogs.com/liugh/p/8367671.html
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 使用ASM字节码框架实现AOP功能
- 不使用数据库缓存依赖项实现同样的功能[转]
- 使用 python 实现 wc 命令程序的基本功能
- 使用 MacBook Pro 的硬件重置功能解决故障
- 使用 Spring 2.5 注释驱动的 IoC 功能
- 使用lrzsz工具压力测试不同串口/多串口的文件传输功能
- java使用jxls导出excel功能
- 使用quartz实现定时功能
- break、continue关键字配合标签使用,实现跳转功能
- linux使用ultraedit的FTP的功能出现的不能初始化的问题
- iOS中 视频直播功能-流媒体的使用(详解)
- PHP V5.2 中的新增功能,第 1 部分: 使用新的内存管理器
- 巧改注册表来增强网络功能―注册表使用全攻略之五
- 题目:使用命令行参数编写一个程序,其功能是将任意一个正整数m变换为指定的n 进制数串输出。命令行的格式为:
- 汇编修改精灵注解之按键微调功能的使用方法:
- 知乎开源的图片选择器 Matisse 在 6.0 以上手机使用相机功能
- 使用Hive实现时间拉链功能
- 使用EditPlus自制的函数查询功能
- 使用WEC7的NEON内在函数功能
- WebSphere Application Server起用了全局安全性或者使用了插件SSL功能以后报证书过期的错误或者警告