大型网站技术架构----读书笔记之负载均衡
2017-03-13 13:04
197 查看
所谓应用服务器的伸缩性即:HTTP请求分发装置可以感知或者可以配置集群的服务器数量,可以及时发现集群中新上线或下线的服务器,并能向新上线的服务器分发请求 ,停止向已下线的服务器分发请求。这个HTTP请求分发装置被称为负载均衡服务器。
负载均衡是网站必不可少的基础技术手段,不但可以实现网站的伸缩性,同时还改善网站的可用性,可谓网站的杀手锏之一。具体的技术实现也多种多样,从硬件实现到软件实现, 从商业产品到开源,应有尽有,但实现负载均衡的基础技术不外以下几种。
HTTP重定向服务器是一台普通的应用服务器,其唯一的功能就是根据用户的HTTP请求计算一台真实的服务器地址,并将真实的服务器地址写入HTTP重定向响应中(响应状态吗302)返回给浏览器,然后浏览器再自动请求真实的服务器。
这种负载均衡方案的优点是比较简单,缺点是浏览器需要每次请求两次服务器才能拿完成一次访问,性能较差;使用HTTP302响应吗重定向,可能是搜索引擎判断为SEO作弊,降低搜索排名。重定向服务器自身的处理能力有可能成为瓶颈。因此这种方案在实际使用中并不见多。
利用DNS处理域名解析请求的同时进行负载均衡是另一种常用的方案。在DNS服务器中配置多个A记录,如:www.mysite.com IN
A 114.100.80.1、www.mysite.com IN A 114.100.80.2、www.mysite.com IN
A 114.100.80.3.
每次域名解析请求都会根据负载均衡算法计算一个不同的IP地址返回,这样A记录中配置的多个服务器就构成一个集群,并可以实现负载均衡。
DNS域名解析负载均衡的优点是将负载均衡工作交给DNS,省略掉了网络管理的麻烦,缺点就是DNS可能缓存A记录,不受网站控制。
事实上,大型网站总是部分使用DNS域名解析,作为第一级负载均衡手段,然后再在内部做第二级负载均衡。
由于反向代理服务器转发请求在HTTP协议层面,因此也叫应用层负载均衡。优点是部署简单,缺点是可能成功系统的瓶颈。
用户请求数据包到达负载均衡服务器后,负载均衡服务器在操作系统内核进行获取网络数据包,根据负载均衡算法计算得到一台真实的WEB服务器地址,然后将数据包的IP地址修改为真实的WEB服务器地址,不需要通过用户进程处理。真实的WEB服务器处理完毕后,相应数据包回到负载均衡服务器,负载均衡服务器再将数据包源地址修改为自身的IP地址发送给用户浏览器。
这里的关键在于真实WEB服务器相应数据包如何返回给负载均衡服务器,一种是负载均衡服务器在修改目的IP地址的同时修改源地址,将数据包源地址改为自身的IP,即源地址转换(SNAT),另一种方案是将负载均衡服务器同时作为真实物理服务器的网关服务器,这样所有的数据都会到达负载均衡服务器。
IP负载均衡在内核进程完成数据分发,较反向代理均衡有更好的处理性能。但由于所有请求响应的数据包都需要经过负载均衡服务器,因此负载均衡的网卡带宽成为系统的瓶颈。
这种数据传输方式又称作三角传输模式,负载均衡数据分发过程中不修改IP地址,只修改目的的mac地址,通过配置真实物理服务器集群所有机器虚拟IP和负载均衡服务器IP地址一样,从而达到负载均衡,这种负载均衡方式又称为直接路由方式(DR).
在上图中,用户请求到达负载均衡服务器后,负载均衡服务器将请求数据的目的mac地址修改为真是WEB服务器的mac地址,并不修改数据包目标IP地址,因此数据可以正常到达目标WEB服务器,该服务器在处理完数据后可以经过网管服务器而不是负载均衡服务器直接到达用户浏览器。
使用三角传输模式的链路层负载均衡是目前大型网站所使用的最广的一种负载均衡手段。在Linux平台上最好的链路层负载均衡开源产品是LVS(linux
virtual server)。
1、根据负载均衡算法和WEB服务器列表计算得到集群中一台WEB服务器的地址;
2、将请求数据发送到改地址对应的WEB服务器上。
常用的负载均衡算法如下几种:
1、轮询:即将请求依次分发到每台应用服务器上。
2、加权轮询:根据应用服务器硬件性能情况,在轮询的基础上,安装配置的权重将请求分发到每个服务器。
3、随机:将请求随机分配到各个应用服务器。
4、最少连接:记录每个服务器正在处理的连接数,将新到的请求分发到最少连接的服务器上。
5、原地址散列:根据请求来源的IP地址进行Hash计算,得到应用服务器,这样来自同一个IP地址请求总在同一个服务器上处理
负载均衡是网站必不可少的基础技术手段,不但可以实现网站的伸缩性,同时还改善网站的可用性,可谓网站的杀手锏之一。具体的技术实现也多种多样,从硬件实现到软件实现, 从商业产品到开源,应有尽有,但实现负载均衡的基础技术不外以下几种。
2.1 HTTP重定向负载均衡
HTTP重定向服务器是一台普通的应用服务器,其唯一的功能就是根据用户的HTTP请求计算一台真实的服务器地址,并将真实的服务器地址写入HTTP重定向响应中(响应状态吗302)返回给浏览器,然后浏览器再自动请求真实的服务器。
这种负载均衡方案的优点是比较简单,缺点是浏览器需要每次请求两次服务器才能拿完成一次访问,性能较差;使用HTTP302响应吗重定向,可能是搜索引擎判断为SEO作弊,降低搜索排名。重定向服务器自身的处理能力有可能成为瓶颈。因此这种方案在实际使用中并不见多。
2.2 DNS域名解析负载均衡
利用DNS处理域名解析请求的同时进行负载均衡是另一种常用的方案。在DNS服务器中配置多个A记录,如:www.mysite.com IN
A 114.100.80.1、www.mysite.com IN A 114.100.80.2、www.mysite.com IN
A 114.100.80.3.
每次域名解析请求都会根据负载均衡算法计算一个不同的IP地址返回,这样A记录中配置的多个服务器就构成一个集群,并可以实现负载均衡。
DNS域名解析负载均衡的优点是将负载均衡工作交给DNS,省略掉了网络管理的麻烦,缺点就是DNS可能缓存A记录,不受网站控制。
事实上,大型网站总是部分使用DNS域名解析,作为第一级负载均衡手段,然后再在内部做第二级负载均衡。
2.3 反向代理负载均衡
前面我们已经讲过,反向代理可以缓存资源,改善网站性能,事实上,反向代理业可以做负载均衡,如图所示。由于反向代理服务器转发请求在HTTP协议层面,因此也叫应用层负载均衡。优点是部署简单,缺点是可能成功系统的瓶颈。
2.4 IP负载均衡
IP负载均衡:即在网络层通过修改请求目标地址进行负载均衡。用户请求数据包到达负载均衡服务器后,负载均衡服务器在操作系统内核进行获取网络数据包,根据负载均衡算法计算得到一台真实的WEB服务器地址,然后将数据包的IP地址修改为真实的WEB服务器地址,不需要通过用户进程处理。真实的WEB服务器处理完毕后,相应数据包回到负载均衡服务器,负载均衡服务器再将数据包源地址修改为自身的IP地址发送给用户浏览器。
这里的关键在于真实WEB服务器相应数据包如何返回给负载均衡服务器,一种是负载均衡服务器在修改目的IP地址的同时修改源地址,将数据包源地址改为自身的IP,即源地址转换(SNAT),另一种方案是将负载均衡服务器同时作为真实物理服务器的网关服务器,这样所有的数据都会到达负载均衡服务器。
IP负载均衡在内核进程完成数据分发,较反向代理均衡有更好的处理性能。但由于所有请求响应的数据包都需要经过负载均衡服务器,因此负载均衡的网卡带宽成为系统的瓶颈。
2.5 数据链路层负载均衡
顾名思义:数据链路层负载均衡是指在通信协议的数据链路层修改mac地址进行负载均衡,如下图:这种数据传输方式又称作三角传输模式,负载均衡数据分发过程中不修改IP地址,只修改目的的mac地址,通过配置真实物理服务器集群所有机器虚拟IP和负载均衡服务器IP地址一样,从而达到负载均衡,这种负载均衡方式又称为直接路由方式(DR).
在上图中,用户请求到达负载均衡服务器后,负载均衡服务器将请求数据的目的mac地址修改为真是WEB服务器的mac地址,并不修改数据包目标IP地址,因此数据可以正常到达目标WEB服务器,该服务器在处理完数据后可以经过网管服务器而不是负载均衡服务器直接到达用户浏览器。
使用三角传输模式的链路层负载均衡是目前大型网站所使用的最广的一种负载均衡手段。在Linux平台上最好的链路层负载均衡开源产品是LVS(linux
virtual server)。
2.6 负载均衡算法
负载均衡服务器的实现可以分成两个部分:1、根据负载均衡算法和WEB服务器列表计算得到集群中一台WEB服务器的地址;
2、将请求数据发送到改地址对应的WEB服务器上。
常用的负载均衡算法如下几种:
1、轮询:即将请求依次分发到每台应用服务器上。
2、加权轮询:根据应用服务器硬件性能情况,在轮询的基础上,安装配置的权重将请求分发到每个服务器。
3、随机:将请求随机分配到各个应用服务器。
4、最少连接:记录每个服务器正在处理的连接数,将新到的请求分发到最少连接的服务器上。
5、原地址散列:根据请求来源的IP地址进行Hash计算,得到应用服务器,这样来自同一个IP地址请求总在同一个服务器上处理
相关文章推荐
- 《大型网站技术架构》读书笔记[2] - 架构的模式
- 《大型网站技术架构》读书笔记[3] - 架构核心五要素
- 《大型网站技术架构》读书笔记之七:随需应变之网站的可扩展架构
- 《大型网站技术架构》读书笔记四:瞬时响应之网站的高性能架构
- 《大型网站技术架构》读书笔记 - 网站的技术升级路线
- 《大型网站技术架构》读书笔记 - 架构核心五要素(转)
- 读书笔记-《大型网站技术架构》
- 大型网站技术架构读书笔记-高可用架构
- 《大型网站技术架构》读书笔记
- 《大型网站技术架构》读书笔记 - 网站的技术升级路线
- [读书笔记]:大型网站技术架构——核心原理与案例分析
- 《大型网站技术架构》读书笔记:
- 《大型网站技术架构》读书笔记
- 《大型网站技术架构》读书笔记 - 网站的技术升级路线
- 《大型网站技术架构》读书笔记一:大型网站架构演化
- 《大型网站技术架构 -核心原理与安全分析》读书笔记
- 《大型网站技术架构》读书笔记[3] - 架构核心五要素
- 《大型网站技术架构》读书笔记之六:永无止境之网站的伸缩性架构
- 大型网站技术架构读书笔记01—大型网站架构演化史
- 大型网站技术架构读书笔记-高性能架构