您的位置:首页 > 其它

Elastic-Job中常见问题

2016-09-26 12:07 169 查看
原文地址:http://dangdangdotcom.github.io/elastic-job/post/faq/


1. 阅读源码时为什么会出现编译错误?

回答:
Elastic-Job
使用
lombok
实现极简代码。关于更多使用和安装细节,请参考lombok官网


2. 使用
Spring
命名空间时在网上相应地址找不到
xsd
?

回答:
Spring
命名空间使用规范并未强制要求将
xsd
文件部署至公网地址,只需在
jar
包的
META-INF\spring.schemas
配置,并在
jar
包中相关位置存在即可。
我们并未将
http://www.dangdang.com/schema/ddframe/reg/reg.xsd
http://www.dangdang.com/schema/ddframe/job/job.xsd
部署至公网,但并不影响使用。相关问题请参考
Spring
命名空间规范。


3. 为什么在代码或
Spring
配置文件中修改了作业配置,注册中心配置却没有更新?

回答:
Elastic-Job-Lite
采用无中心化设计,若每个客户端的配置不一致,不做控制的话,最后一个启动的客户端配置将会成为注册中心的最终配置。
Elastic-Job-Lite
提出了
overwrite
概念,可通过
JobConfiguration
Spring
命名空间配置。
overwrite=true
即允许客户端配置覆盖注册中心,反之则不允许。如果注册中心无相关作业的配置,则无论
overwrite
是否配置,客户端配置都将写入注册中心。


4. 怀疑
Elastic-Job-Lite
在分布式环境中有问题,但无法重现又不能在线上环境调试,应该怎么做?

回答:
分布式问题非常难于调试和重现,为此
Elastic-Job-Lite
提供了
dump
命令。
如果您怀疑某些场景出现问题,可参照dump文档将作业运行时信息发给我们、提交
issue
或发至
QQ
群讨论。我们已将
IP
等敏感信息过滤,
dump
出来的信息可在公网安全传输。


5. 
Elastic-Job
有何使用限制?

回答:
Elastic-Job-Lite
Elastic-Job-Cloud
的共同使用限制:
作业启动成功后修改作业名称视为新作业,原作业废弃。
Elastic-Job-Lite
的使用限制:

同一台作业服务器只能运行一个相同的作业实例,因为作业运行时是按照
IP
注册和管理的。

一旦有服务器波动,或者修改分片项,将会触发重新分片;触发重新分片将会导致运行中的流式处理的作业在执行完本次作业后不再继续执行,等待分片结束后再恢复正常。

开启
monitorExecution
才能实现分布式作业幂等性(即不会在多个作业服务器运行同一个分片)的功能,但
monitorExecution
对短时间内执行的作业(如每5秒一触发)性能影响较大,建议关闭并自行实现幂等性。


6. 是否支持动态添加作业?

回答:
动态添加作业这个概念每个人理解不尽相同。
elastic-job-lite
jar
包,由开发或运维人员负责启动。启动时自动向注册中心注册作业信息并进行分布式协调,因此并不需要手工在注册中心填写作业信息。
但注册中心与作业部署机无从属关系,注册中心并不能控制将单点的作业分发至其他作业机,也无法将远程服务器未启动的作业启动。
elastic-job-lite
并不会包含
ssh
免密管理等功能。
elastic-job-cloud
mesos
框架,由
mesos
负责作业启动和分发。
但需要将作业打包上传,并调用
elastic-job-cloud
提供的
REST
API
写入注册中心。 打包上传属于部署系统的范畴
elastic-job-cloud
并未涉及。
综上所述,
elastic-job
已做了基本动态添加功能,但无法做到真正意义的完全自动化添加。


7. 使用
Spring
占位符出错?

回答:
Elastic-Job
Spring
命名空间以及占位符仅支持
Spring
4
及其以上版本。低版本的
Spring
不支持这些功能。


8. 
Zookeeper
版本不是
3.4.6
会有什么问题?

回答:
根据测试,使用
3.3.6
版本的
Zookeeper
在使用
Curator
2.10.0
CuratorTransactionFinal
commit
时会导致死锁。


9. 
Elastic-Job 2.0.0
版本
API
改动较大,升级时需要注意哪些问题?

回答:
基于扩展性提升,概念明晰和命名规范化的考虑,
elastic-job 2.100
版本决定抛弃原有包袱的束缚,重新定义了
JAVA
API
Spring
命名空间并且删除了已废弃的
API

重新定义
JAVA API


配置分为
Core
Type
Root
3个层级,使用类装饰者模式创建。

作业从继承抽象类改为接口化,提供
SimpleJob
DataflowJob
ScriptJob
接口。

DataflowJob
作业类型简化,去除批量和逐条处理分别,统一使用批量处理,
THROUGHPUT
SEQUENCE
作业不再提供单独接口,而是统一通过配置方式实现。

重新定义
Spring
命名空间

删除
<job:bean>
,细化为
<job:simple>
<job:dataflow>
<job:script>
具体类型。

Spring
命名空间属性由驼峰式修正为
Spring
命名空间标准命名规范(多单词以
-
分隔)。

作业的
Spring
命名空间属性
regCenter
变更为
registry-center-ref


删除非核心功能

删除
offset
功能。

删除n分钟内正确错误数量统计功能,未来由更加全面的作业事件追踪功能替换。

删除内嵌的
Zookeeper
注册中心,改为在
example
启动时开启内嵌注册中心,而非在
Elastic-Job
的核心代码中开启。

废弃过时
API


删除废弃作业类,包括
AbstractOneOffElasticJob
AbstractPerpetualElasticJob
AbstractSequencePerpetualElasticJob


删除废弃作业调度器类,包括
com.dangdang.ddframe.job.schedule.JobController
com.dangdang.ddframe.job.spring.schedule.SpringJobController


不再支持非
Spring
命名空间通过
xml
方式配置
bean
,如有需要请使用
Spring
Java Config
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: