HAProxy Nginx LVS 对比

一、今天花点时间总结分享一下HAProxy、Nginx、LVS、Apache：

比较	HAProxy	Nginx	LVS	Apache
简介	高可用、负载均衡且基于TCP和HTTP应用的代理，支持高并发，多集群反代。	高性能http和反向代理服务器、邮件代理服务器，支持高并发，轻量级Web，低系统资源消耗。	Linux虚拟服务器，常用VS/NAT、VS/TUN和VS/DR，三种模式负载均衡。	高性能Web服务器，支持代理，市场份额很高。
优点缺点	1、抗负载能力强，负载均衡速度高。2、支持session保持，Cookie引导，可通过url检测后端服务器健康状态。3、也可做MySQL、Email等负载均衡。4、一般不做Web服务器的Cache。	1、抗负载能力强。2、http、https、Emai协议功能较好，处理相应请求快。3、Web能力强，配置简单，支持缓存功能、适用动静分离，低内存消耗。4、不支持session直接保持，但可通过ip_hash解决，通过端口对后端服务器健康检查。	1、抗负载能力强。2、通过vrrp转发（仅分发）效率高，流量通过内核处理，没有流量产生。（理论）3、相当稳定可靠。4、不支持正则，不能做动静分离，配置略复杂，需要IP略多。	1、Web处理能力强，市场份额很高。（不过后期Nginx在Web方面越来越好，份额也在增长）2、Rewrite强大，并支持很多模块，扩展很方便。3、Bug少，历史久，比较稳定。4、处理动态请求比Nginx好。
支持算法	1、轮循Round-robin2、带权轮循Weight-round-robin3、原地址保持）Source4、RI请求URLrdp-cookie（根据cookie）	1、轮循Round-robin2、带权轮循Weight-round-robn3、Ip哈希Ip-hash	1、rr（轮循）2、wrr（带权轮循）3、lc（最小连接）、4、wlc（权重最小连接）	通过相关模块实现代理
官网	www.haproxy.com	nginx.org	www.linuxvirtualserver.org	http://www.apache.org/
是否免费	免费	免费	免费	免费
虚拟主机	支持	支持	不支持	支持
适用性	七层（常用）	七层（常用）	四层（常用）	不常用
量级	七层重量级，四层轻量级	七层重量级，四层轻量级	四层重量级	功能略差
常用热备	Keepalived+其它	Keepalived+其它	Keepalived+其它	Keepalived+其它
负载均衡参考标准	1、效率，并发处理能力、处理数据能力。2、成本、需求、平台。

Nginx/LVS/HAProxy负载均衡软件的优缺点详解

Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，

一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。

一种是通过硬件来进行进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用；另外一种就是类似于Nginx/LVS/HAProxy的基于Linux的开源免费的负载均衡软件，这些都是通过软件级别来实现，所以费用非常低廉。

目前关于网站架构一般比较合理流行的架构方案：

Web前端采用Nginx/HAProxy+Keepalived作负载均衡器；

后端采用MySQL数据库一主多从和读写分离，采用LVS+Keepalived的架构。

当然要根据项目具体需求制定方案。

下面说说各自的特点和适用场合。

一、Nginx
Nginx的优点是：

1、工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构，它的正则规则比HAProxy更为强大和灵活，这也是它目前广泛流行的主要原因之一，Nginx单凭这点可利用的场合就远多于LVS了。
2、Nginx对网络稳定性的依赖非常小，理论上能ping通就就能进行负载功能，这个也是它的优势之一；相反LVS对网络稳定性依赖比较大，这点本人深有体会；
3、Nginx安装和配置比较简单，测试起来比较方便，它基本能把错误用日志打印出来。LVS的配置、测试就要花比较长的时间了，LVS对网络依赖比较大。
3、可以承担高负载压力且稳定，在硬件不差的情况下一般能支撑几万次的并发量，负载度比LVS相对小些。
4、Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点，不过其中缺点就是不支持url来检测。比如用户正在上传一个文件，而处理该上传的节点刚好在上传过程中出现故障，Nginx会把上传切到另一台服务器重新处理，而LVS就直接断掉了，如果是上传一个很大的文件或者很重要的文件的话，用户可能会因此而不满。
5、Nginx不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的Web应用服务器。LNMP也是近几年非常流行的web架构，在高流量的环境中稳定性也很好。

6、Nginx现在作为Web反向加速缓存越来越成熟了，速度比传统的Squid服务器更快，可以考虑用其作为反向代理加速器。

7、Nginx可作为中层反向代理使用，这一层面Nginx基本上无对手，唯一可以对比Nginx的就只有lighttpd了，不过lighttpd目前还没有做到Nginx完全的功能，配置也不那么清晰易读，社区资料也远远没Nginx活跃。

8、Nginx也可作为静态网页和图片服务器，这方面的性能也无对手。还有Nginx社区非常活跃，第三方模块也很多。

淘宝的前端使用的Tengine就是基于nginx做的二次开发定制版。

Nginx常规的HTTP请求和响应流程图：



Nginx的缺点是：
1、Nginx仅能支持http、https和Email协议，这样就在适用范围上面小些，这个是它的缺点。
2、对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。不支持Session的直接保持，但能通过ip_hash来解决。

二、LVS linux virtual server

LVS：使用Linux内核集群实现一个高性能、高可用的负载均衡服务器，它具有很好的可伸缩性（Scalability)、可靠性（Reliability)和可管理性（Manageability)。

LVS的优点是：
1、抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的，对内存和cpu资源消耗比较低。

2、配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率。

3、工作稳定，因为其本身抗负载能力很强，自身有完整的双机热备方案，如LVS+Keepalived，不过我们在项目实施中用得最多的还是LVS/DR+Keepalived。

4、无流量，LVS只分发请求，而流量并不从它本身出去，这点保证了均衡器IO的性能不会收到大流量的影响。

5、应用范围比较广，因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、在线聊天室等等。

LVS DR(Direct Routing)模式的网络流程图：



LVS的缺点是：
1、软件本身不支持正则表达式处理，不能做动静分离；而现在许多网站在这方面都有较强的需求，这个是Nginx/HAProxy+Keepalived的优势所在。

2、如果是网站应用比较庞大的话，LVS/DR+Keepalived实施起来就比较复杂了，特别后面有Windows Server的机器的话，如果实施及配置还有维护过程就比较复杂了，相对而言，
Nginx/HAProxy+Keepalived就简单多了。

三、HAProxy
HAProxy的特点是：
1、HAProxy也是支持虚拟主机的。

2、HAProxy的优点能够补充Nginx的一些缺点，比如支持Session的保持，Cookie的引导；同时支持通过获取指定的url来检测后端服务器的状态。

3、HAProxy跟LVS类似，本身就只是一款负载均衡软件；单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的。

4、HAProxy支持TCP协议的负载均衡转发，可以对MySQL读进行负载均衡，对后端的MySQL节点进行检测和负载均衡，大家可以用LVS+Keepalived对MySQL主从做负载均衡。

5、HAProxy负载均衡策略非常多，HAProxy的负载均衡算法现在具体有如下8种：

① roundrobin，表示简单的轮询，这个不多说，这个是负载均衡基本都具备的；
② static-rr，表示根据权重，建议关注；
③ leastconn，表示最少连接者先处理，建议关注；
④ source，表示根据请求源IP，这个跟Nginx的IP_hash机制类似，我们用其作为解决session问题的一种方法，建议关注；
⑤ ri，表示根据请求的URI；
⑥ rl_param，表示根据请求的URl参数’balance url_param’ requires an URL parameter name；
⑦ hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；
⑧ rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

四、总结
Nginx和LVS对比的总结：
1、Nginx工作在网络的7层，所以它可以针对http应用本身来做分流策略，比如针对域名、目录结构等，相比之下LVS并不具备这样的功能，所以Nginx单凭这点可利用的场合就远多于LVS了；但Nginx有用的这些功能使其可调整度要高于LVS，所以经常要去触碰触碰，触碰多了，人为出问题的几率也就会大。
2、Nginx对网络稳定性的依赖较小，理论上只要ping得通，网页访问正常，Nginx就能连得通，这是Nginx的一大优势！Nginx同时还能区分内外网，如果是同时拥有内外网的节点，就相当于单机拥有了备份线路；LVS就比较依赖于网络环境，目前来看服务器在同一网段内并且LVS使用direct方式分流，效果较能得到保证。另外注意，LVS需要向托管商至少申请多一个ip来做Visual IP，貌似是不能用本身的IP来做VIP的。要做好LVS管理员，确实得跟进学习很多有关网络通信方面的知识，就不再是一个HTTP那么简单了。
3、Nginx安装和配置比较简单，测试起来也很方便，因为它基本能把错误用日志打印出来。LVS的安装和配置、测试就要花比较长的时间了；LVS对网络依赖比较大，很多时候不能配置成功都是因为网络问题而不是配置问题，出了问题要解决也相应的会麻烦得多。
4、Nginx也同样能承受很高负载且稳定，但负载度和稳定度差LVS还有几个等级：Nginx处理所有流量所以受限于机器IO和配置；本身的bug也还是难以避免的。
5、Nginx可以检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点。目前LVS中 ldirectd也能支持针对服务器内部的情况来监控，但LVS的原理使其不能重发请求。比如用户正在上传一个文件，而处理该上传的节点刚好在上传过程中出现故障，Nginx会把上传切到另一台服务器重新处理，而LVS就直接断掉了，如果是上传一个很大的文件或者很重要的文件的话，用户可能会因此而恼火。
6、Nginx对请求的异步处理可以帮助节点服务器减轻负载，假如使用apache直接对外服务，那么出现很多的窄带链接时apache服务器将会占用大 量内存而不能释放，使用多一个Nginx做apache代理的话，这些窄带链接会被Nginx挡住，apache上就不会堆积过多的请求，这样就减少了相当多的资源占用。这点使用squid也有相同的作用，即使squid本身配置为不缓存，对apache还是有很大帮助的。
7、Nginx能支持http、https和email（email的功能比较少用），LVS所支持的应用在这点上会比Nginx更多。在使用上，一般最前端所采取的策略应是LVS，也就是DNS的指向应为LVS均衡器，

LVS的优点令它非常适合做这个任务。重要的ip地址，最好交由LVS托管，比如数据库的 ip、webservice服务器的ip等等，这些ip地址随着时间推移，使用面会越来越大，如果更换ip则故障会接踵而至。

所以将这些重要ip交给 LVS托管是最为稳妥的，这样做的唯一缺点是需要的VIP数量会比较多。

Nginx可作为LVS节点机器使用，一是可以利用Nginx的功能，二是可以利用Nginx的性能。当然这一层面也可以直接使用squid，squid的功能方面就比Nginx弱不少了，性能上也有所逊色于Nginx。Nginx也可作为中层代理使用，这一层面Nginx基本上无对手，唯一可以撼动Nginx的就只有lighttpd了，不过lighttpd目前还没有能做到 Nginx完全的功能，配置也不那么清晰易读。另外，中层代理的IP也是重要的，所以中层代理也拥有一个VIP和LVS是最完美的方案了。具体的应用还得具体分析，如果是比较小的网站（日PV小于1000万），用Nginx就完全可以了，如果机器也不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或者重要的服务，机器不发愁的时候，要多多考虑利用LVS。

现在对网络负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术：

第一阶段：利用Nginx或HAProxy进行单点的负载均衡，这一阶段服务器规模刚脱离开单服务器、单数据库的模式，需要一定的负载均衡，但是仍然规模较小没有专业的维护团队来进行维护，也没有需要进行大规模的网站部署。这样利用Nginx或HAproxy就是第一选择，此时这些东西上手快， 配置容易，在七层之上利用HTTP协议就可以。这时是第一选择。

第二阶段：随着网络服务进一步扩大，这时单点的Nginx已经不能满足，这时使用LVS或者商用Array就是首要选择，Nginx此时就作为LVS或者Array的节点来使用，具体LVS或Array的是选择是根据公司规模和预算来选择，Array的应用交付功能非常强大，本人在某项目中使用过，性价比也远高于F5，商用首选！但是一般来说这阶段相关人才跟不上业务的提升，所以购买商业负载均衡已经成为了必经之路。

第三阶段：这时网络服务已经成为主流产品，此时随着公司知名度也进一步扩展，相关人才的能力以及数量也随之提升，这时无论从开发适合自身产品的定制，以及降低成本来讲开源的LVS，已经成为首选，这时LVS会成为主流。
最终形成比较理想的基本架构为：Array/LVS — Nginx/Haproxy — Squid/Varnish — AppServer。

二、Nginx、HAProxy，Apache虚拟主机、负载均衡管理方式。

1、Nginx虚拟主机：
1.1）nginx.conf配置文件定义Server（不推荐）

1.2）单nginx.conf加载配置其它config文件

eg：include vhost/*.conf;

1.3）Nginx负载均衡：

#upstream www.qutouwang.org {
#zone myapp1 64k;
#server x.x.x.x:80 weight=1 max_fails=2 fail_timeout=30s slow_start=30s;
#server x.x.x.x:80 weight=1 max_fails=2 fail_timeout=30s;
#}
#proxy_pass http://127.0.0.1:8080;

2、HAProxy虚拟主机、配置文件、负载均衡：

2.1）eg：

frontend main :80
acl url_cms hdr_beg(host) -i cms
acl url_bbs hdr_beg(host) -i bbs
acl url_blog hdr_beg(host) -i blog
use_backend cms if url_cms
use_backend bbs if url_bbs
use_backend blog if url_blog
default_backend cms
backend cms
balance source
server web1 x.x.x.x check maxconn 2000 weight 3 inter 2000 rise 2 fall 3
server web2 x.x.x.x:80 check maxconn 2000 weight 3 inter 2000 rise 2 fall 3
backend bbs
balance source
server web1 x.x.x.x:80 check maxconn 2000 weight 3 inter 2000 rise 2 fall 3
server web2 x.x.x.x:80 check maxconn 2000 weight 3 inter 2000 rise 2 fall 3
backend blog
balance source
server web1 x.x.x.x:80 check maxconn 2000 weight 3 inter 2000 rise 2 fall 3
server web2 x.x.x.x:80 check maxconn 2000 weight 3 inter 2000 rise 2 fall 3
解释说明：
frontend中关于ACL配置部分的内容这个是实现虚拟主机的核心配置部分，另外这个配置文件定义了server_www,servr_bbs,server_blogbackend。
2.2）配置文件以及案例：
haproxy的配置文件分为四个部分：
全局配置：
global： 全局配置段
代理配置：
default： 默认配置----->所有在backend、frontend、linsten中相同内容可以在此定义；
frontend：前段配置----->定义前端套接字，接受客户端请求；
backend： 后端配置----->定义后端分配规则，与后端服务器交互；
listen： 绑定配置----->直接将指定的客户端与后端特定服务器绑定到一起；
eg:

global
log 127.0.0.1 local2 #通过syslog服务的local2输出日志信息
chroot /var/lib/haproxy #指定工作目录
#性能相关
maxconn 4096 #单个进程的最大连接数
#maxpipes #haproxy使用pipe完成基于内核的tcp报文重组,默认为maxconn/4
#noepoll：在Linux系统上禁用epoll机制；
#nokqueue：在BSD系统上禁用kqueue机制；
#nopoll：禁用poll机制；
#nosepoll：在Linux禁用启发式epoll机制；
#nosplice：禁止在Linux套接字上使用内核tcp重组
#...
uid 99 #所属运行的用户uid，默认nobod
gid 99 #所属运行的用户组，默认nobody
daemon #后台运行
nbproc 2 #工作进程数量
#user haproxy #同uid
#group haproxy #同gid
pidfile /var/run/haproxy.pid
#description #当前实例描述信息
defaults
log global
log 127.0.0.1 local2 err #使用本机上的syslog服务的local2 设备记录错误信息[err warning info debug]
mode http #工作模式在7层，tcp是4层
option httplog #使用http日志类别，默认是不记录http请求的
option httpclose #每次请求完毕后主动关闭http通道式
option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP
option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
retries 3 #设置尝试次数，3次连接失败则认为服务器不可用
maxconn 2048 #最大连接数
contimeout 500 #连接超时
clitimeout 5000 #客户端超时
srvtimeout 5000 #服务器超时
timeout check 2000 #心跳检测超时
listen status 0.0.0.0:8080 #定义状态名字和监听端口
stats uri /haproxy-status #查看haproxy服务器状态地址
stats auth admin:renzhiyuan#查看状态页面的用户名和密码
stats hide-version #隐藏haproxy版本信息
stats refresh 30s #每5秒刷新一次状态页面
listen web_server 0.0.0.0:80 #定义后端名字和监听端口
mode http #采用7层模式
balance roundrobin #负载均衡算法，这里是轮叫
cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html #健康检测
server web1 x.x.x.x:80 weight 3 check inter 500 fall 3
server web2 x.x.x.x:80 weight 2 check inter 500 fall 3
server web3 x.x.x.x:80 weight 2 check inter 500 fall 3
#server: #server来设置后端服务器
#webx: #HAProxy名称，将在日志中显示
#x.x.x.x:80 #后端IP和端口
#weight #权重值，权重值越大，分配的任务几率越高
#check #健康检测，inter 500健康检测间隔是500毫秒
#fall #检测多少次，认为服务器是不可用.
3、Apache虚拟主机和代理案例：

vim /usr/local/apache2/conf/httpd.conf

#加载模块

LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_http_module modules/mod_proxy_http.so

#反代
vim /usr/local/apache2/conf/extra/httpd-vhosts.conf

<VirtualHost *:80>
ServerName www.xxx.com
ProxyRequests Off
<Proxy *>
Order deny,allow
Allow from all
</Proxy>
ProxyPass / http://x.x.x.x ProxyPa***everse / http://x.x.x.x/ #反代服务器
#负载均衡
</VirtualHost>
ProxyPass / balancer://proxy/

<Proxy balancer://proxy>

BalancerMember http://x.x.x.x:80/ loadfactor=3

BalancerMember http://x.x.x.x:80/ loadfactor=2

</Proxy>

Haproxy是一款免费、稳定、高效的轻量级负载均衡软件，现将其配置文件参数作如下说明：
global #全局配置参数
log 127.0.0.1 local3 info #日志级别
maxconn 4096
user haproxy
group haproxy
daemon #设置为后台进程
pidfile /usr/local/haproxy/haproxy.pid #进程的pid文件
defaults #默认配置，被frontend，backend，listen段继承使用
log global
mode http #Haproxy工作模式，四层工作模式为TCP
option httplog
option forwardfor #使后端服务器获取客户端的真实IP
option redispatch #如果cookie中写入ServerID而客户端不会刷新Cookie，那么当ServerID对应的服务器宕机后，将强制定向到其它健康的服务器上
option abortonclose #当服务器负载过高时，将自动关闭队列中处理时间较长的连接请求
cookie SERVERID #允许向cookie中插入SERVERID，服务器的SERVERID在后端使用cookie关键字定义
retries 3 #服务器连接失败后的重试次数
maxconn 2000 #每个进程的最大连接数
timeout connect 5000 #连接最大超时时间，默认毫秒
timeout client 30000 #客户端最大超时时间
timeout server 30000 #服务端超时时间
listen haproxy_stats #定义Haproxy监控
bind 0.0.0.0:8080
mode http
log global
stats enable
stats refresh 5s #页面刷新间隔为5s
stats realm Haproxy\ Statistics
stats uri /haproxy_stats #监控页面的URL
stats hide-version
stats auth haproxy:abc-123 #指定监控页面登陆的用户名和密码
frontend haproxy_web #定义客户端访问的前端服务器
bind 0.0.0.0:80 #定义监听的套接字
mode http
log global
option httplog #启用http日志
option httpclose #每次请求完毕后，关闭http通道
acl php_web path_end .php #定义一个名叫php_web的acl策略，当请求的url以.php结尾时会被匹配到

use_backend php_server if php_web #如果条件满足策略php_web时，则将请求交给后端的php_server服务器
default_backend servers #设置默认的后端服务器组
backend servers #定义后端服务器组
mode http
option httpchk GET /index.html #开启对后端服务器的健康检查，通过检查index.html文件来判断服务器的健康状况
balance roundrobin #负载均衡算法为轮询，
server web1 192.168.154.162:80 check inter 2000 rise 2 fall 3 #对后端服务器的健康状况检查间隔为2000毫秒，连续2次健康检查成功，则认为是有效的，连续3次健康检查失败，则认为服务器宕机
server web2 192.168.154.156:80 check inter 2000 rise 2 fall 3
backend php_server
mode http
option httpchk GET /index.php
server web3 192.168.154.158:80 cookie web3 check inter 2000 rise 2 fall 3 weight 2