提供均衡服务的中间件——高可用

一个提供均衡服务的中间件最重要的特性应该是：高可用。

备注：该中间件对应一个被选择和管理的资源列表。

1、“高可用”概念

对于该中间件的使用者来说，一定数量的请求，被成功处理的请求数量越多，那么就越“高可用”。

2、达到“高可用”的关键点

2.1、尽量均化，性能好的资源被选中的可能性大

如果完全均化，均衡给性能差的资源的请求大部分都可能失败，导致整体失败率上升;如果完全按照“性能好的资源立即被选中”的策略，那么性能好的资源很有可能因为请求过多而导致出现过载，最后大部分请求都失败，整体失败率上升。

因此，应该选择“尽量均化，性能好的资源被选中的可能大”。

“朴素的均衡策略”中“三、如何实现较大概率选取平均响应时间最小的远端服务器”描述的均衡算法可以用来达到上述目标。

2.2、不可用的资源需尽快从可选资源列表中剔除

不可用的资源需尽快能够被检测到，并将其从可选资源列表中剔除，否则，均衡给该资源的请求都会失败，导致整体失败率上升。

但是，需要注意的一点是：

剔除不可用资源的后果是其他可选资源的负载会加大，性能会变差，有可能失败次数会增加。因此，我们对于认定“资源不可用”的门槛应该设置得比较高，对于一般的资源性能的波动，不应该就立即认定该资源是不可用的。

2.3、尽快将不可用到可用的资源加入可选资源列表

资源从不可用状态变为可用状态，需尽快将其加入可选资源列表，减小其他资源的负载，降低整体的失败率。