Hystrix 实战经验分享
一、背景
Hystrix是Netlifx开源的一款容错框架，防雪崩利器，具备服务降级，服务熔断，依赖隔离，监控(Hystrix Dashboard)等功能。
尽管说Hystrix官方已不再维护，且有Alibaba Sentinel等新框架选择，但从组件成熟度和应用案例等方面看，其实还是有很多项目在继续使用Hystrix中，本人所参与的项目就是其一。故结合个人的Hystrix实战经验与大家分享交流。
二、经验总结
2.1 隔离策略的选择
Hystrix提供两种资源隔离策略，线程池和信号量。它们之间的异同点如下：
而在使用缓存(本地内存缓存更适合该场景，Redis等网络缓存需要评估)时，我们可以使用信号量隔离策略，因为这类服务响应快，不会占用容器线程太长时间，而且也减少了线程切换的一些开销，提高了服务效率。
具体使用哪种策略，需根据业务场景综合评估。一般情况下，推荐使用线程池隔离。
2.2 线程池大小与超时时间设置
在线程池隔离策略下，线程池大小及超时时间的设置至关重要，直接影响着系统服务的响应能力。如线程池大小若设置的太大会造成资源浪费及线程切换等开销；若设置的太小又支撑不了用户请求，造成请求排队。而超时时间设置的太长会出现部分长耗时请求阻塞线程，造成其它正常请求排队等待；若设置的太短又会造成太多正常请求被熔断。
对此Hystrix官方给的建议如图：
即转换为以下计算公式：
线程池大小 = 服务TP99响应时长（单位秒） * 每秒请求量 + 冗余缓冲值
超时时间（单位毫秒） = 1000（毫秒） / 每秒请求量
例如某服务TP99情况下每秒钟会接收30个请求，然后每个请求的响应时长是200ms，按如上公式计算可得：线程池大小 = 0.2 * 30 + 4（冗余缓冲值）= 10，超时时间 = 300ms
2.3 注解叠加
在实际开发中可能会遇到某外部调用方法有Hystrix注解与其它注解一起使用的情况，例如查询方法加上缓存注解。此时需特别注意注解间的执行顺序，避免出现非预期的结果：
缓存注解未生效
此时Hystrix注解切面的执行是在最外层，由于Hystrix内部执行是通过ProceedingJoinPoint.getTarget()获取目标对象，使用反射调用的方式直接执行到目标对象方法上，从而造成中间其它注解逻辑丢失。可通过指定注解执行顺序@Order解决保证Hystrix注解执行在最里层。
因缓存异常造成该查询方法被熔断
如果Hystrix注解切面的执行是在最外层，此时Hystrix熔断管理的方法逻辑除了第三方服务远程调用，也包括了缓存调用逻辑。如果缓存调用出现异常就会算作整个方法异常，从而引起整个方法被熔断。
2.4 服务的异常处理
先给大家时间看如下代码，检查是否存在问题：
@HystrixCommand(fallbackMethod="queryUserByIdFallback")public User queryUserById(String userId) { if(StringUtils.isEmpty(userId)) { throw new BizException("参数不合法");
}
Result<User> result; try {
result = userFacade.queryById(userId);
} catch(Exception e) {
log.error("query user error. id={}", id, e);
}
if(result != null && result.isSuccess()) { return result.getData();
}
return null;
}再回头看上面的例子，会发现两个异常处理问题：
参数校验不通过时的异常处理
非法参数校验等非系统调用的异常失败不应该影响熔断逻辑，不应该算作失败统计范围内。对此优化建议是将参数校验放到远程调用封装方法的外面，或者封装成HystrixBadRequestException进行抛出。因为在Hystrix内部逻辑中HystrixBadRequestException异常已默认为不算作失败统计范围内。
try-catch远程调用的异常处理
对远程服务的直接调用进行try-catch会把异常直接“吞掉”，会直接造成Hystrix获取不到网络异常等服务不可用异常。建议在catch日志记录处理后将异常再throw出来。
2.5 fallback方法
Hystrix在依赖服务调用时通过增加fallback方法返回默认值的方式来支持服务优雅降级。但fallback的使用也有很多需要注意的地方，大致总结如下：
fallback 方法访问级别、参数等要与对应依赖服务一致
fallback 方法中执行的逻辑尽量轻量，如用本地缓存或静态默认值，避免远程调用
如果fallback方法里有远程调用，建议也使用Hystrix包装起来，且保证与主命令线程池的隔离
对于写操作的远程调用不建议使用fallback降级
2.6 groupKey、commandKey、threadPoolKey
在使用Hystrix开发中肯定都见过这三个key，但很多人并不理解这三个key的意义以及对Hystrix的作用，尤其是threadPooKey，故在此总结下：
groupKey
通过group key可以对命令方法进行分组，便于Hystrix数据统计、告警及dashboad展示。一般会根据远程服务的业务类型进行区分，如账户服务定义一个group key，订单服务定义另一个group key。
默认值是@HystrixCommand注解标注的方法所在的类名。
commandKey
具体命令方法的标识名称，常用于对该命令进行动态参数设置。
默认值是@HystrixCommand注解标注的方法名。
threadPoolKey
用于标识命令所归属的线程池，具有相同threadPoolKey的命令使用同一个线程池。
若该key不指定，默认值就是groupKey，即@HystrixCommand注解标注的方法所在的类名。
在实际项目中，我们会建议尽量通过threadPoolKey来指定线程池， 而不是通过groupKey的默认方式划分， 因为会存在某个命令需要跟同组其他命令进行线程隔离的场景，以避免互相影响。
2.7 参数优先级
Hystrix默认提供4个级别的参数值配置方式：
全局默认值(Default Value)
Hystrix自身代码默认值，写死在源码中的值，使用方不配置任何参数情况下生效。
例：execution.isolation.thread.timeoutInMilliseconds超时时间全局默认值是1000，单位毫秒
动态全局默认参数(Default Property)
此类配置参数可变更全局默认值。
例：通过属性名hystrix.command.default.execution.isolation.thread.timeoutInMilliseconds设置的超时时间值
实例初始值(Instant Value)
熔断器实例初始值，配置此类参数后，不再使用默认值。即写在代码注解中的属性值。
例：@HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "5000")
动态实例参数(Instant Property)
可动态调整一个熔断器实例的参数值
例：通过属性名hystrix.command.HystrixCommandKey.execution.isolation.thread.timeoutInMilliseconds设置的超时时间值
优先级关系:
动态实例参数(Instance Property) > 实例初始值 > 动态全局默认参数(Default Property) > 全局默认值(Default Value)
2.8 基于配置中心实现参数动态配置
Hystrix默认使用Archaius实现动态设置，而Archaius默认会加载classpath下的config.properties文件，可通过在配置文件中加入对应属性key-value实现动态控制Hystrix行为。在分布式项目中使用配置中心进行统一配置管理是标配，因此需要基于配置中心的扩展实现Hystrix参数动态配置功能。
通过跟踪HystrixCommand的创建，发现hystrix最终通过HystrixDynamicProperties实现类根据参数属性名获取值，而Hystrix本身提供了HystrixDynamicProperties类的扩展机制，见HystrixPlugins类367行代码，可知Hystrix提供四种扩展方法：
通过系统参数
基于Java SPI机制
Archaius动态属性扩展实现类（默认）
Hystrix内置基于System.getProperty的HystrixDynamicProperties实现；
2.8.1 基于Java SPI机制
基于spi机制的扩展实现依赖两个类分别是HystrixDynamicProperties与HystrixDynamicProperty，其中HystrixDynamicProperties类是需要实现的Hystrix动态属性扩展spi接口，提供了多个获取动态属性的方法，接口定义如下：
public interface HystrixDynamicProperties {
/**
* Requests a property that may or may not actually exist.
* @param name property name, never <code>null</code>
* @param fallback default value, maybe <code>null</code>
* @return never <code>null</code>
*/
public HystrixDynamicProperty<String> getString(String name, String fallback); /**
* Requests a property that may or may not actually exist.
* @param name property name, never <code>null</code>
* @param fallback default value, maybe <code>null</code>
* @return never <code>null</code>
*/
public HystrixDynamicProperty<Integer> getInteger(String name, Integer fallback); /**
* Requests a property that may or may not actually exist.
* @param name property name, never <code>null</code>
* @param fallback default value, maybe <code>null</code>
* @return never <code>null</code>
*/
public HystrixDynamicProperty<Long> getLong(String name, Long fallback); /**
* Requests a property that may or may not actually exist.
* @param name property name
* @param fallback default value
* @return never <code>null</code>
*/
public HystrixDynamicProperty<Boolean> getBoolean(String name, Boolean fallback);
}而HystrixDynamicProperty类具体表示一个参数属性，且有动态变更的能力，接口定义如下：
public interface HystrixDynamicProperty<T> extends HystrixProperty<T>{
public String getName();
/**
* Register a callback to be run if the property is updated.
* @param callback callback.
*/
public void addCallback(Runnable callback);
}其中addCallback方法是实现属性动态变更的核心所在，如其注释说明的那样，它会在属性变更时注册callback回调方法进行属性动态刷新。而这块动态刷新逻辑是Hystrix内部已实现的，对于我们只需要自定义扩展时将callback保存，然后在配置中心变更时触发对应属性对象的callback方法即可。
实现步骤如下：
1、定义HystrixDynamicProperty实现类
完成动态属性类的自定义实现，包括String/Integer/Long/Boolean四种类型动态属性态实现。
如上面HystrixDynamicProperty类描述中说的那样，需要对callback进行保存，并在在收到配置中心属性变更时触发这些属性的callback方法，来实现属性的动态变更。这块逻辑可以参照观察者模式进行设计实现。
代码如下：
private abstract static class CustomDynamicProperty<T> implements HystrixDynamicProperty<T>, PropertyObserver { protected final String name; protected final T defaultValue; protected List<Runnable> callbacks; protected CustomDynamicProperty(String propName, T defaultValue) { this.name = propName; this.defaultValue = defaultValue;
PropertyObserverManager.add(this);
} @Override
public String getName() { return name;
} @Override
public void addCallback(Runnable callback) { if (callbacks == null)
callbacks = new ArrayList<>(1); this.callbacks.add(callback);
} @Override
public String keyName() { return name;
} @Override
public void update(PropertyItem item) { if(getName().equals(item.getName())) { for(Runnable r : callbacks) {
r.run();
}
}
}
} private static class StringDynamicProperty extends CustomDynamicProperty<String> { protected StringDynamicProperty(String propName, String defaultValue) { super(propName, defaultValue);
} @Override
public String get() { return ConfigManager.getString(name, defaultValue);
}
} private static class IntegerDynamicProperty extends CustomDynamicProperty<Integer> { protected IntegerDynamicProperty(String propName, Integer defaultValue) { super(propName, defaultValue);
} @Override
public Integer get() {
String configValue = ConfigManager.get(name); if(StringUtils.isNotEmpty(configValue)) { return Integer.valueOf(configValue);
} return defaultValue;
}
} private static class LongDynamicProperty extends CustomDynamicProperty<Long> { protected LongDynamicProperty(String propName, Long defaultValue) { super(propName, defaultValue);
} @Override
public Long get() {
String configValue = ConfigManager.get(name); if(StringUtils.isNotEmpty(configValue)) { return Long.valueOf(configValue);
} return defaultValue;
}
} private static class BooleanDynamicProperty extends CustomDynamicProperty<Boolean> { protected BooleanDynamicProperty(String propName, Boolean defaultValue) { super(propName, defaultValue);
} @Override
public Boolean get() {
String configValue = ConfigManager.get(name); if(StringUtils.isNotEmpty(configValue)) { return Boolean.valueOf(configValue);
} return defaultValue;
}
}其中ConfigManager类暂时默认为配置中心配置管理类，提供参数获取与参数监听器等功能。而PropertyObserver类（keyName/update方法属于其定义）、PropertyObserverManager类就是参照观察者模式定义实现的，负责观察者的注册与通知管理，来完成动态属性与配置中心变更通知间的联动。这两个类实现比较简单就不展示描述。
2、定义HystrixDynamicProperties实现类
基于第1步定义的HystrixDynamicProperty扩展类完成HystrixDynamicProperties的自定义。代码如下：
public class DemoHystrixDynamicProperties implements HystrixDynamicProperties { @Override
public HystrixDynamicProperty<String> getString(String name, String fallback) { return new StringDynamicProperty(name, fallback);
} @Override
public HystrixDynamicProperty<Integer> getInteger(String name, Integer fallback) { return new IntegerDynamicProperty(name, fallback);
} @Override
public HystrixDynamicProperty<Long> getLong(String name, Long fallback) { return new LongDynamicProperty(name, fallback);
} @Override
public HystrixDynamicProperty<Boolean> getBoolean(String name, Boolean fallback) { return new BooleanDynamicProperty(name, fallback);
}
}3、注册SPI实现类
在META-INF/services/添加名为com.netflix.hystrix.strategy.properties.HystrixDynamicProperties的文本文件，内容为第2步HystrixDynamicProperties自定义实现类全路径名。
2.8.2 基于默认Archaius进行扩展
Hystrix默认通过Archaius实现参数动态获取，而Archaius自身也提供自定义的参数获取方式，分别是 PolledConfigurationSource接口 和AbstractPollingScheduler类，其中PolledConfigurationSource接口表示配置获取源，AbstractPollingScheduler类表示配置定时刷新机制。
实现步骤如下：
1、创建配置获取源：
public class CustomCfgConfigurationSource implements PolledConfigurationSource { private final static String CONFIG_KEY_PREFIX = "hystrix";
@Override
public PollResult poll(boolean initial, Object checkPoint) throws Exception {
Map<String, Object> map = load(); return PollResult.createFull(map);
}
private Map<String, Object> load() throws Exception{
Map<String, Object> map = new HashMap<>();
Set<String> keys = ConfigManager.keys(); for(String key : keys) { if(key.startsWith(CONFIG_KEY_PREFIX)) {
map.put(key, ConfigManager.get(key));
}
}
return map;
}
}其实现非常简单，核心实现就是poll方法，遍历配置中心中所有hystrix开头的配置参数并返回保存。
2、定义配置刷新方式：
public class CustomCfgPollingScheduler extends AbstractPollingScheduler { private final static Logger logger = LoggerFactory.getLogger("CustomCfgPollingScheduler");
private final static String CONFIG_KEY_PREFIX = "hystrix";
@Override
public void startPolling(PolledConfigurationSource source, final Configuration config) { super.startPolling(source, config); //
ConfigManager.addListener(new ConfigListener() { @Override
public void eventReceived(PropertyItem item, ChangeEventType type) {
String name = item.getName(); if(name.startsWith(CONFIG_KEY_PREFIX)) {
String newValue = item.getValue(); //新增&修改
if(ChangeEventType.ITEM_ADDED.equals(type) || ChangeEventType.ITEM_UPDATED.equals(type)) {
addOrChangeProperty(name, newValue, config);
} //删除
else if(ChangeEventType.ITEM_REMOVED.equals(type)) {
deleteProperty(name, config);
} else {
logger.error("error config change event type {}.", type);
}
}
}
});
}
private void addOrChangeProperty(String name, Object newValue, final Configuration config) { if (!config.containsKey(name)) {
config.addProperty(name, newValue);
} else {
Object oldValue = config.getProperty(name); if (newValue != null) { if (!newValue.equals(oldValue)) {
config.setProperty(name, newValue);
}
} else if (oldValue != null) {
config.setProperty(name, null);
}
}
}
private void deleteProperty(String key, final Configuration config) { if (config.containsKey(key)) {
config.clearProperty(key);
}
}
@Override
protected void schedule(Runnable pollingRunnable) { //IGNORE OPERATION
}
@Override
public void stop() { //IGNORE OPERATION
}
}3、定义并初始化自动配置：
DynamicConfiguration dynamicConfiguration = new DynamicConfiguration(new CustomCfgConfigurationSource(), new CustomCfgPollingScheduler()); ConfigurationManager.install(dynamicConfiguration);
细心的同学可能发现上面步骤中第3步，最终“安装”install到Hystrix配置管理类中的是 DynamicConfiguration类实现，且第2步的定时刷新类也比较鸡肋，就想着能否继续简化上面方案，只需要实现一个自定义的"DynamicConfiguration"就包含配置源获取与监听配置修改功能，实现如下：
public class CustomCfgDynamicConfiguration extends ConcurrentMapConfiguration { private final static Logger logger = LoggerFactory.getLogger("CustomCfgDynamicConfiguration");
private final static String CONFIG_KEY_PREFIX = "hystrix";
public CustomCfgDynamicConfiguration() { super();
load();
initEvent();
}
/**
* 从配置中心全量加载Hystrix配置参数信息
*/
private void load() {
Set<String> keys = ConfigManager.keys(); for(String key : keys) { if(key.startsWith(CONFIG_KEY_PREFIX)) {
map.put(key, ConfigManager.get(key));
}
}
}
/**
* 通过配置中心监听事件回调处理，针对Hystrix配置参数变更进行同步
*/
private void initEvent() {
ConfigManager.addListener(new ConfigListener() { @Override
public void eventReceived(PropertyItem item, ChangeEventType type) {
String name = item.getName(); if(name.startsWith(CONFIG_KEY_PREFIX)) {
String newValue = item.getValue(); //新增&修改
if(ChangeEventType.ITEM_ADDED.equals(type) || ChangeEventType.ITEM_UPDATED.equals(type)) {
addOrChangeProperty(name, newValue);
} //删除
else if(ChangeEventType.ITEM_REMOVED.equals(type)) {
deleteProperty(name);
} else {
logger.error("error config change event type {}.", type);
}
}
}
});
}
/**
* 新增或修改参数值
* @param name
* @param newValue
*/
private void addOrChangeProperty(String name, Object newValue) { if (!this.containsKey(name)) { this.addProperty(name, newValue);
} else {
Object oldValue = this.getProperty(name); if (newValue != null) { if (!newValue.equals(oldValue)) { this.setProperty(name, newValue);
}
} else if (oldValue != null) { this.setProperty(name, null);
}
}
}
/**
* 删除参数值
* @param key
*/
private void deleteProperty(String key) { if (this.containsKey(key)) { this.clearProperty(key);
}
}
}最后通过 ConfigurationManager.install(new CustomCfgDynamicConfiguration());“安装”该实现即可。
三、写在最后
笔者结合项目实战对Hystrix使用进行总结分享，有关于隔离策略、线程池设置、参数优先级等知识点讲解，也有关于注解叠加、异常处理、参数动态配置等具体问题解决方案，希望对大家有所帮助。
作者：vivo 官网商城开发团队
- 磁盘空间不足的故障处理和系统中增加swap（继续分享实战经验）
- 【经验分享】Ajax Control ToolKit 实战之三 : 确认提示框的应用 (ConfirmButtonExtender)
- 【网络故障实战经验】分享^ ....网管应用
- UI设计经验分享：用实战教你界面改版
- TUP第十三期：客户端性能优化实战经验分享
- MongoDB实战经验分享
- 国内外三个不同领域巨头分享的Redis实战经验及使用场景（转）
- 干货分享！不得不看的【7年竞价实战经验总结】
- 国内外三个不同领域巨头分享的Redis实战经验及使用场景
- 网管软体OpenNMS又得奖，推出IPhone Client，新版VMWare Appliance，企业实战经验分享
- 一次 RocketMQ 进程自动退出排查经验分享（实战篇）
- 2013 ISC：12位讲师的安全技术经验与最佳实战分享（含PDF）
- windows7系统优化技巧减小内存占用实战经验分享
- Python unittest实现接口自动化测试实战（经验分享）
- FPGA系统设计实战经验分享－硬件篇
- 干货分享！不得不看的【7年竞价实战经验总结】
- RabbitMQ实战经验分享
- React 架构设计：项目实战经验分享
- 干货推荐 | 掌握这几点，轻松玩转 Bokeh 可视化 （项目实战经验分享）
- MongoDB实战经验分享