微服务技术栈：流量整形算法，服务熔断与降级

本文源码：[GitHub·点这里](https://github.com/cicadasmile/husky-spring-cloud) || [GitEE·点这里](https://gitee.com/cicadasmile/husky-spring-cloud) # 一、流量控制 ## 1、基本概念 流量控制的核心作用是限制流出某一网络的某一连接的流量与突发，使这类报文以比较均匀的速度流动发送，达到保护系统相对稳定的目的。通常是将请求放入缓冲区或队列内，然后基于特定策略处理请求，匀速或者批量处理，该过程也称流量整形。 流量控制的核心算法有以下两种：漏桶算法和令牌桶算法。 ## 2、漏桶算法 **基础描述** 漏桶算法是流量整形或速率限制时经常使用的一种算法，它的主要目的是控制数据注入到网络的速率，平滑网络上的突发流量。漏桶算法提供了一种机制，通过它，突发流量可以被整形以便为网络提供一个稳定的流量。  漏桶算法基本思路：请求（水流）先进入到容器（漏桶）里，漏桶以一定的速度出水，这里就是指流量流出的策略，当流量流入速度过大容器无法承接就会直接溢出，通过该过程限制数据的传输速率。 **核心要素** 通过上述流程，不难发现漏桶算法涉及下面几个要素： `容器容量` 容器的大小直接决定能承接流量的多少，容器一但接近饱和，要么溢出，要么加快流速； `流出速度` 流量流出的速度取决于服务的请求处理能力，接口支撑的并发越高，流速就可以越大； `时间控制` 基于时间记录，判断流量流出速度，控制匀速模式， 注意：需要一个基本的判定策略，漏桶算法在系统能承接当前并发流量时，不需要启用。 ## 3、令牌桶算法 **基础描述** 令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗，或者被消耗的速度小于产生的速度，令牌就会不断地增多，直到把桶填满。后面再产生的令牌就会从桶中溢出。  令牌桶算法虽然根本目的也是控制流量速度，但是当令牌桶内的令牌足够多时，则允许流量阶段性的并发。传送到令牌桶的数据包需要消耗令牌。不同大小的数据包，消耗的令牌数量不一样。 **核心要素** `令牌桶` 存放按照特定的速率生成的令牌，以此控制流量速度。 `匹配规则` 这里的匹配规则更多是服务于分布式系统，例如服务A是系统的核心交易，当出现并发时，基于令牌桶最匹配规则，只允许交易请求通过，例如：常见双十一期间，各大电商平台提示，为保证核心交易，边缘服务的数据延迟或暂停等。 注意：令牌桶算法和漏桶算法的目的虽然相同，但是实现策略是相反的，不过都存在一个问题，为保证大部分请求流量成功，会牺牲小部分请求。 # 二、限流组件 ## 1、Nginx代理组件 Nginx反向代理实际运行方式是指以代理服务器来接收客户端连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给客户端，此时代理服务器对外就表现为一个服务器。  流量限制是Nginx作为代理服务中一个非常实用的功能，通过配置方式来限制用户在给定时间内HTTP请求的数量，两个主要的配置指令`limit_req_zone`和`limit_req`，以此保护高并发下系统的稳定。 ## 2、CDN边缘节点 CDN边缘节点，准确的说并不是用来处理流量限制的，而是存放静态页面。内容缓存为CDN网络节点，位于用户接入点，是面向最终用户的内容提供设备，可缓存静态Web内容和流媒体内容，实现内容的边缘传播和存储，以便用户的就近访问，这样避免用户大量刷新数据服务器，节省骨干网带宽，减少带宽需求量。  在高并发场景下，尤其是倒计时抢购类似业务，在活动开始前后用户会产生大量刷新页面的操作，基于CDN节点，这些请求不会下沉到数据的服务接口上。也可以基于页面做一些请求拦截，比如点击页面单位时间内只放行一定量的请求，以此也可以实现一个限流控制。 # 三、熔断器组件 所谓熔断器机制，即类似电流的保险器，当然电压过高会自动跳闸，从而保护电路系统。微服务架构中服务保护也是这个策略，当服务被判断异常，会从服务列表断开，等待恢复在重新连接。服务熔断降级的策略实现有如下几个常用的组件。 ## 1、Hystrix组件 **基础简介** Hystrix当前处于维护模式，即不再更新，作为SpringCloud微服务组件中，最原生的一个熔断组件，很多思路还是有必要了解一下。例如：服务熔断，阻止故障的连锁反应，快速失败并迅速恢复，服务降级等。 某个微服务发生故障时，要快速切断服务，提示用户，后续请求，不调用该服务，直接返回，释放资源，这就是服务熔断。 **熔断器策略** 服务器高并发下，压力剧增的时候,根据当业务情况以及流量，对一些服务和页面有策略的降级(可以理解为关闭不必要的服务)，以此缓解服务器资源的压力以保障核心任务的正常运行。熔断生效后，会在指定的时间后调用请求来测试依赖是否恢复，依赖的应用恢复后关闭熔断。  基本流程： 首先判断服务熔断器开关状态，服务如果未熔断则放行请求；如果服务处于熔断中则直接返回。 每次调用都执行两个函数markSuccess(duration)和markFailure(duration) 来统计在一定的时间段内的调用是成功和失败次数。 基于上述的成功和失败次数的计算策略，来判断是否应该打开熔断器，如果错误率高于一定的阈值，就会触发熔断机制。 熔断器有一个生命周期，周期过后熔断器器进入半开状态，允许放行一个试探请求；否则，不允许放行。 ## 2、Sentinel组件 **基础简介** 基于微服务的模式，服务和服务之间的稳定性变得越来越重要。Sentinel以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。  Sentinel可以针对不同的调用关系，以不同的运行指标（如QPS、并发调用数、系统负载等）为基准，收集资源的路径，并将这些资源的调用路径以树状结构存储起来，用于根据调用路径对资源进行流量控制。 **流量整形策略** 直接拒绝模式是默认的流量控制方式，即请求超出任意规则的阈值后，新的请求就会被立即拒绝。 启动预热模式：当流量激增的时候，控制流量通过的速率，让通过的流量缓慢增加，在一定时间内逐渐增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮。 匀速排队方式会严格控制请求通过的间隔时间，也即是让请求以均匀的速度通过，对应的是漏桶算法。 **熔断策略** Sentinel本质上是基于熔断器模式，支持基于异常比率的熔断降级，在调用达到一定量级并且失败比率达到设定的阈值时自动进行熔断，此时所有对该资源的调用都会被阻塞，直到过了指定的时间窗口后才启发性地恢复。 # 四、源代码地址 ``` GitHub·地址 https://github.com/cicadasmile/husky-spring-cloud GitEE·地址 https://gitee.com/cicadasmile/husky-spring-cloud ```  **推荐阅读：微服务架构系列** |序号| 标题| |:---|:---| |01 | [微服务架构：项目技术选型简介，架构图解说明](https://mp.weixin.qq.com/s/kxbNXupDxcuISm-vW9nhyA)| |02 | [微服务架构：业务架构设计，系统分层管理](https://mp.weixin.qq.com/s/sx_BSfA5zMJ9FaPAApS3Aw)| |03 | [微服务架构：数据库选型简介，业务数据规划设计](https://mp.weixin.qq.com/s/hdS2IB0kx-ehBsEWed75xg)| |04 | [微服务架构：中间件集成，公共服务封装](https://mp.weixin.qq.com/s/5yR5czRHu4EARw5MvnyxcQ)| |05 | [微服务架构：SpringCloud 基础组件应用设计](https://mp.weixin.qq.com/s/ddyXWTtN2zMnWJZ-T8H8_w)| |06 | [微服务架构：通过业务、应用、技术、存储，聊聊架构](https://mp.weixin.qq.com/s/mzOK_JOb_i_G1cqy0YAvYw)| |07 | [微服务技术栈：常见注册中心组件，对比分析](https://mp.weixin.qq.com/s/yBrIZFXe6q7tfRrJC_FUQA)|