笔记：Spring Cloud Ribbon 客户端配置详解
自动化配置
由于 Ribbon 中定义的每一个接口都有多种不同的策略实现，同时这些接口之间又有一定的依赖关系，Spring Cloud Ribbon 中的自动化配置能够很方便的自动化构建接口的具体实现，接口如下：
- IClientConfig：Ribbon 的客户端配置，默认采用 com.netflix.client.config.DefaultClientConfigImpl 实现。
- IRule：Ribbon 的负载均衡策略，默认采用 com.netflix.loadbalancer.ZoneAvoidanceRule 实现，该策略能够在多区域环境下选择最佳区域的实例进行访问
- IPing：Ribbon 的实例检查策略，默认采用 com.netflix.loadbalancer.NoOpPing 实现，该检查策略是一个特殊的实现，实际上他并不会检查实例是否可用，而是始终返回 true ，默认认为所有服务实例都是可以使用
- ServerList<Server>：服务实例清单的维护机制，默认采用 com.netflix.loadbalancer.ConfigurationBasedServerList 实现。
- ServerListFilter<Server>：服务实例清单过滤机制，默认采用 org.springframework.cloud.netflix.ribbon.ZonePreferenceServerListFilter 实现，该策略能够优先过滤出与请求调用方处理同区域的服务实现
- ILoadBalancer：负载均衡器，默认采用 com.netflix.loadbalancer.ZoneAwareLoadBalancer 实现，他具备了区域感知的能力
这些自动化配置内容是在没有引入 Spring Cloud Eureka 等服务治理框架时如此，在同时引入 Eureka 和 Ribbon 依赖时，自动化配置会有一些不同。通过自动化配置的实现，我们可以轻松的实现客户端的负载均衡，同时，针对一些个性化的需求，我们也可以方便的替换上面的这些默认实现，示例代码：
@Configurable
public class RibbonConfiguration {
@Bean
public IRule ribbonRule(IClientConfig clientConfig) {
return new WeightedResponseTimeRule();
}
}
可以使用 @RibbonClient 注解来实现更细粒度的客户端配置，创建 ConsumerHelloserviceApplication 主类，使用 @RibbonClient 注解来指定服务使用 WebServiceRibbonConfiguration 配置，代码如下：
@RibbonClient (name = "ORG.DRSOFT.WEBSERVICE.HELLOSERVICE", configuration = RibbonConfiguration.class)
@EnableDiscoveryClient
@SpringBootApplication
public class ConsumerHelloserviceApplication {
public static void main(String[] args) {
SpringApplication.run(ConsumerHelloserviceApplication.class, args);
}
@LoadBalanced
@Bean
public RestTemplate createRestTemplate() {
return new RestTemplate();
}
}
注意：如果需要使服务单独配置，那么配置类不能放在@ComponentScan所扫描的当前包下以及子包下，否则我们自定义的这个配置类就会被所有的Ribbon客户端所共享，@SpringBootApplication 注解中就包含了 @ComponentScan 注解，因此必须使配置类处于不同的包以及子包。
如果需要设置默认配置或者多个@RibbonClient 注解，可以使用 @RibbonClients 注解，其 defaultConfiguration 可以设置默认的自定义配置，配置类不限定所属包，value 可以设置多个 @RibbonClient 注解，示例代码如下：
@RibbonClients (defaultConfiguration = RibbonConfiguration.class)
@EnableDiscoveryClient
@SpringBootApplication
public class ConsumerHelloserviceApplication {
public static void main(String[] args) {
SpringApplication.run(ConsumerHelloserviceApplication.class, args);
}
@Bean
@LoadBalanced
public RestTemplate restTemplate() {
return new RestTemplate();
}
}
与 Eureka 结合
当在 Spring Cloud 的应用中同时应用 Spring Cloud Ribbon 和 Spring Cloud Eureka 依赖时，会触发 Eureka 中实现的对 Ribbon 的自动化配置，接口实现如下：
- ServerList<Server>：服务实例清单的维护机制，默认采用 com.netflix.niws.loadbalancer.DiscoveryEnabledNIWSServerList实现，该实现会将服务清单列表交给 Eureka 的服务治理机制来进行维护
- IPing：Ribbon 的实例检查策略，默认采用 com.netflix.niws.loadbalancer.NIWSDiscoveryPing 实现，该实现将实例检查的任务交给了服务治理框架来进行维护
负载均衡策略
IRule 接口其Ribbon 实现了非常多的选择策略，下面我们来详细说明一下IRule 接口的定义如下：
public interface IRule{
public Server choose(Object key);
public void setLoadBalancer(ILoadBalancer lb);
public ILoadBalancer getLoadBalancer();
}
IRule 接口的具体实现：
- AbstractLoadBalancerRule：负载均衡策略的抽象类，在该抽象类中定义了负载均衡器 ILoadBalancer 对象，该对象能够根据在具体实现选择服务策略时，获取到一些负载均衡器中维护的信息来作为分配依据，并以此设计一些算法来实习针对特定场景的高效策略
- RandomRule：该策略实现了从服务实例清单中随机选择一个服务实例的功能，查看源码可以看到 choose 函数实现，使用 Random类的 nextInt 函数来随机获取一个随机数，并将随机数作为座位 upList 的索引值来返回具体实例
public Server choose(ILoadBalancer lb, Object key) {
if (lb == null) {
return null;
}
Server server = null;
while (server == null) {
if (Thread.interrupted()) {
return null;
}
List<Server> upList = lb.getReachableServers();
List<Server> allList = lb.getAllServers();
int serverCount = allList.size();
if (serverCount == 0) {
return null;
}
int index = rand.nextInt(serverCount);
server = upList.get(index);
if (server == null) {
Thread.yield();
continue;
}
if (server.isAlive()) {
return (server);
}
server = null;
Thread.yield();
}
return server;
}
- RoundRobinRule：该策略实现了按照线性轮询的方式依次选择每个服务实例的功能，其详细结构和
RandomRule类似，具体实现如下：
public Server choose(ILoadBalancer lb, Object key) {
if (lb == null) {
log.warn("no load balancer");
return null;
}
Server server = null;
int count = 0;
while (server == null && count++ < 10) {
List<Server> reachableServers = lb.getReachableServers();
List<Server> allServers = lb.getAllServers();
int upCount = reachableServers.size();
int serverCount = allServers.size();
if ((upCount == 0) || (serverCount == 0)) {
log.warn("No up servers available from load balancer: " + lb);
return null;
}
int nextServerIndex = incrementAndGetModulo(serverCount);
server = allServers.get(nextServerIndex);
if (server == null) {
/* Transient. */
Thread.yield();
continue;
}
if (server.isAlive() && (server.isReadyToServe())) {
return (server);
}
// Next.
server = null;
}
if (count >= 10) {
log.warn("No available alive servers after 10 tries from load balancer: " + lb);
}
return server;
}
- WeightedResponseTimeRule：该策略是对 RoundRobinRule的扩展，增加了根据实例的运行情况来计算权重，并根据权重来挑选实例，以达到更优的分配效果，实现主要有三个核心内容： 定时任务：在初始化的时候会通过 serverWeightTimer.schedule(new DynamicServerWeightTask(), 0, serverWeightTaskTimerInterval); 启动一个定时任务，用来为每个服务实例计算权重，该任务默认30秒执行一次。
- 权重计算：维护实例的权重计算过程通过
maintainWeights 函数实现，具体代码如下：
public void maintainWeights() {
ILoadBalancer lb = getLoadBalancer();
if (lb == null) {
return;
}
if (!serverWeightAssignmentInProgress.compareAndSet(false, true)) {
return;
}
try {
logger.info("Weight adjusting job started");
AbstractLoadBalancer nlb = (AbstractLoadBalancer) lb;
LoadBalancerStats stats = nlb.getLoadBalancerStats();
if (stats == null) {
return;
}
double totalResponseTime = 0;
for (Server server : nlb.getAllServers()) {
ServerStats ss = stats.getSingleServerStat(server);
totalResponseTime += ss.getResponseTimeAvg();
}
Double weightSoFar = 0.0;
List<Double> finalWeights = new ArrayList<Double>();
for (Server server : nlb.getAllServers()) {
ServerStats ss = stats.getSingleServerStat(server);
double weight = totalResponseTime - ss.getResponseTimeAvg();
weightSoFar += weight;
finalWeights.add(weightSoFar);
}
setWeights(finalWeights);
} catch (Exception e) {
logger.error("Error calculating server weights", e);
} finally {
serverWeightAssignmentInProgress.set(false);
}
}
计算规则为 weightSoFar + totalResponseTime - 实例的平均响应时间，其中 weightSoFar 初始化为零，并且每计算好一个权重值需要累加到 weightSoFar 上供下一次计算使用，假设有4个实例A、B、C、D，他们的平均响应时间为10、40、80、100，所以总响应时间是 230，每个实例的权重为总响应时间与实例自身的平均响应时间的差的累积所得，所以A、B、C、D的权重分别如下所示：
- 实例A：230-10=220
- 实例B：220+（230-40）=410
- 实例C：410+（230-80）=560
- 实例D：560+（230-100）=690
需要注意的是，这里的权重值只表示各实例权重区间的上限，每个实例的权重区间如下：
- 实例A：[0,220]
- 实例B：[220,410]
- 实例C：[410,560]
- 实例D：[560,690]
权重区间的宽度越大，而权重区间的宽度越大，被选中的概率越高
- 实例选择：生成一个[0,最大权重值]区间内的随机数，然后遍历权重列表的索引值去服务实例列表中获取具体的实例。
public Server choose(Object key) {
if (loadBalancerStats == null) {
return super.choose(key);
}
List<Server> serverList = getLoadBalancer().getAllServers();
int minimalConcurrentConnections = Integer.MAX_VALUE;
long currentTime = System.currentTimeMillis();
Server chosen = null;
for (Server server: serverList) {
ServerStats serverStats = loadBalancerStats.getSingleServerStat(server);
if (!serverStats.isCircuitBreakerTripped(currentTime)) {
int concurrentConnections = serverStats.getActiveRequestsCount(currentTime);
if (concurrentConnections < minimalConcurrentConnections) {
minimalConcurrentConnections = concurrentConnections;
chosen = server;
}
}
}
if (chosen == null) {
return super.choose(key);
} else {
return chosen;
}
}
- 笔记：Spring Cloud Ribbon 客户端负载均衡
- 笔记：Spring Cloud Ribbon RestTemplate 详解
- 详解spring cloud中使用Ribbon实现客户端的软负载均衡
- Spring Cloud Ribbon实现客户端负载均衡
- 第七章 Spring Cloud 自定义Ribbon的负载均衡yml配置）
- Spring Cloud（十四）Config 配置中心与客户端的使用与详细
- SpringCloud 笔记 （二）---- 简单搭建一个服务消费者，实现简单的ribbon负载均衡
- Spring Cloud学习笔记3——配置中心
- Spring Cloud 学习笔记——入门、特征、配置
- SpringCloud系列九：SpringCloudConfig 基础配置（SpringCloudConfig 的基本概念、配置 SpringCloudConfig 服务端、抓取配置文件信息、客户端使用 SpringCloudConfig 进行配置、单仓库目录匹配、应用仓库自动选择、仓库匹配模式）
- Spring Cloud 学习笔记（一）——入门、特征、配置
- 详解Spring Cloud Zuul中路由配置细节
- Spring Cloud入门教程-Ribbon实现客户端负载均衡
- spring cloud中使用Ribbon实现客户端的软负载均衡
- springcloud学习笔记二：服务提供、消费与ribbon
- spring cloud学习教程之config修改配置详解
- Spring Cloud 学习笔记——入门、特征、配置
- 客户端负载均衡Ribbon之一：Spring Cloud Netflix负载均衡组件Ribbon介绍
- spring cloud 之 客户端负载均衡Ribbon深入理解
- SpringCloud重试机制配置详解