架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
2017-05-28 19:33
986 查看
1、概述
上篇文章《架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层》(http://blog.csdn.net/yinwenjie/article/details/47130609) 我们解说了Nginx的故障切换。而且承诺各位读者会尽快解说 LVS + Keepalived + Nginx的安装和配置。在中间由于工作的原因。我又插写了三篇关于zookeeper的原理使用的文章。今天这边文章我们回归主题。为各位读者解说LVS + Keepalived + Nginx的安装及配置。2、安装计划和准备工作
下图,我们表示了本篇文章要搭建的整个集成架构的抽象结构:我们採用两个LVS节点(141和142),可是一个时间工作的仅仅有一个LVS节点,还有一个始终处于热备standby状态。由keepalived监控这两个节点的工作状态并完毕切换。
在LVS节点下。我们採用LVS-DR工作模式挂载了两个Nginx节点(131、132)。并终于将外网请求交由这两个节点进行处理。注意:在实际工作中。Nginx以下一般就是訪问静态资源、动态资源的配置了。
2-1、准备两个keepalived节点
首先我们在将要安装LVS的两个节点上,先安装keepalived,并保证这两个keepalived节点能够正常工作(监控批次的状态)。当然。您也能够先准备LVS。在准备keepalived。我想准备keepalived节点。大家应该轻车熟路了吧,在《架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层》这篇文章中具体介绍了keepalived的最简配置方式。为了大家阅读方便,我们在这里再进行依次简要说明。准备keepalived的整个过程包含:
安装必要的支撑组件。源代码安装keepalived
将keepalived注冊成节点的服务,以便保证keepalived在节点启动时就開始工作
更改keepalived的配置文件,让其能够正常工作
验证准备工作
=============安装keepalived
[root@lvs1 ~]# yum install -y zlib zlib-devel gcc gcc-c++ openssl openssl-devel openssh [root@lvs1 ~]# tar -zxvf keepalived-1.2.17.tar.gz [root@lvs1 ~]# cd keepalived-1.2.17 [root@lvs1 ~]# ./configure --perfix=/usr/keepalived-1.2.17 [root@lvs1 ~]# make & make install
=============将keepalived注冊成服务(假设您使用的默认路径安装,就不须要cp命令了)
[root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/sysconfig/keepalived /etc/sysconfig/keepalived [root@lvs1 ~]# cp /usr/keepalived-1.2.17/sbin/keepalived /usr/sbin/keepalived [root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/keepalived [root@lvs1 ~]# mkdir /etc/keepalived [root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf [root@lvs1 ~]# 能够做成服务了(不要拷贝。无用的) [root@lvs1 ~]# chkconfig keepalived on
做成服务后,先不要急着启动,由于配置文件还没有改好。
========配置keepalived(配置文件在:/etc/keepalived/keepalived.conf)
! Configuration File for keepalived global_defs { #notification_email { # acassen@firewall.loc # failover@firewall.loc # sysadmin@firewall.loc #} #notification_email_from Alexandre.Cassen@firewall.loc #smtp_server 192.168.200.1 #smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { #141节点设置为MASTER。142或者还有其它的节点设置为BACKUP #还记得我们前面文章讲到的无抢占设置吗?这里也能够用哦。 state MASTER #网络适配器名称 interface eth0 virtual_router_id 51 #全部的SLAVE节点的优先级都要比这个设置值低 priority 120 advert_int 1 #真实ip,142要改成相应的lvs节点真实ip mcast_src_ip=192.168.220.141 authentication { auth_type PASS auth_pass 1111 } #虚拟/浮动IP virtual_ipaddress { 192.168.220.140 } }
以上配置还是最简单的keepalived配置,由于我们还没有加上配合LVS使用的虚拟ip监測设置和下层真实ip监測的设置。最简配置主要是为了保证keepalived节点是工作正常的。
将以上的配置分别相应到LVS的两个节点(注意要修改的地方哦)
==========进行keepalived工作状态的检查:
[root@lvs1 ~]# /etc/init.d/keepalived start
如今设置为MASTER的keepalived节点(或者在非抢占模式下。优先级最高的那个节点)。已经绑定了140这个虚拟ip了:
[root@lvs2 ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:39:75:9f brd ff:ff:ff:ff:ff:ff inet 192.168.220.141/24 brd 192.168.220.255 scope global eth0 inet 192.168.220.140/32 scope global eth0 inet6 fe80::20c:29ff:fe39:759f/64 scope link valid_lft forever preferred_lft forever
当然您也能够通过 /var/log/message的日志进行keepalived是否正常工作的验证。
2-2、继续两个keepalived节点上准备LVS
准备lvs的工作就太简单了,由于centos6.4、6.5、6.6都已经集成了LVS的核心,我们仅仅须要安装LVS的管理工具即可了:两个LVS节点都运行:
yum -y install ipvsadm
还记得lvs管理工具怎么使用吗?请參见我介绍LVS单节点安装的博文:《架构设计:负载均衡层设计方案(5)——LVS单节点安装》。
这里为了方便阅读。给出主要參数的含义列表:
-A –add-service 在内核的虚拟server表中加入一条新的虚拟server记录。也就是添加一台新的虚拟server。 -E –edit-service 编辑内核虚拟server表中的一条虚拟server记录。 -D –delete-service 删除内核虚拟server表中的一条虚拟server记录。 -C –clear 清除内核虚拟server表中的全部记录。 -R –restore 恢复虚拟server规则 -S –save 保存虚拟server规则,输出为-R 选项可读的格式 -a –add-server 在内核虚拟server表的一条记录里加入一条新的真实server记录。也就是在一个虚拟server中添加一台新的真实server -e –edit-server 编辑一条虚拟server记录中的某条真实server记录 -d –delete-server 删除一条虚拟server记录中的某条真实server记录 -L –list 显示内核虚拟server表 -Z –zero 虚拟服务表计数器清零(清空当前的连接数量等) –set tcp tcpfin udp 设置连接超时值 –start-daemon 启动同步守护进程。他后面能够是master 或backup。用来说明LVS Router 是master 或是backup。在这个功能上也能够採用keepalived 的VRRP 功能。 –stop-daemon 停止同步守护进程 -t –tcp-service service-address 说明虚拟server提供的是tcp 的服务[vip:port] or [real-server-ip:port] -u –udp-service service-address 说明虚拟server提供的是udp 的服务[vip:port] or [real-server-ip:port] -f –fwmark-service fwmark 说明是经过iptables 标记过的服务类型。 -s –scheduler scheduler 使用的调度算法。选项:rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, 默认的调度算法是: wlc. -p –persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求,将被同一台真实的server处理。timeout 的默认值为300 秒。 -M –netmask netmask persistent granularity mask -r –real-server server-address 真实的server[Real-Server:port] -g –gatewaying 指定LVS 的工作模式为直接路由模式DR模式(也是LVS默认的模式) -i –ipip 指定LVS 的工作模式为隧道模式 -m –masquerading 指定LVS 的工作模式为NAT 模式 -w –weight weight 真实server的权值 –mcast-interface interface 指定组播的同步接口 –connection 显示LVS 眼下的连接 如:ipvsadm -L -c –timeout 显示tcp tcpfin udp 的timeout 值 如:ipvsadm -L –timeout –daemon 显示同步守护进程状态 –stats 显示统计信息 –rate 显示速率信息 –sort 对虚拟server和真实server排序输出 –numeric -n 输出IP 地址和端口的数字形式
到后面正式启动LVS的时候,就不要问我參数含义咯。^_^
2-3、准备两个Nginx节点并保证可用
在《架构设计:负载均衡层设计方案(5)——LVS单节点安装》(http://blog.csdn.net/yinwenjie/article/details/47010569) 这篇文章中,我们具体解说了Nginx节点的准备工作。可是为了方便各位读者阅读,这里我们大致再讲一下。Nginx节点的准备工作主要由以下步骤构成(这个不是本文的重点。点到即可):
安装Nginx(当然,正式系统中,还涉及到Nginx的參数调优,能够參见《架构设计:负载均衡层设计方案(2)——Nginx安装》这篇文章)
打开Nginx所在server的“路由”功能、关闭“ARP查询”功能
将VIP:192.168.220.140 设置成Nginx所在节点的回环IP
=============安装Nginx
[root@vm1 ~]# yum -y install make zlib zlib-devel gcc gcc-c++ ssh libtool [root@vm1 ~]# 下载nginx(别拷贝,不能运行的) [root@vm1 ~]# 解压nginx(别拷贝。不能运行的) [root@vm1 ~]# ./configure –prefix=/usr/nginx-1.8.0 [root@vm1 ~]# make && make install [root@vm1 ~]# 环境变量设置(别拷贝。不能运行的) [root@vm1 ~]# 启动nginx
=============打开Nginx所在server的“路由”功能、关闭“ARP查询”功能
[root@vm1 ~]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore [root@vm1 ~]# echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce [root@vm1 ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore [root@vm1 ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
=============设置回环IP
[root@vm1 ~]# ifconfig lo:0 192.168.220.140 broadcast 192.168.220.140 netmask 255.255.255.255 up [root@vm1 ~]# route add -host 192.168.220.140 dev lo:0
两台Nginx的节点都依照这个方案去设置。然后使用浏览器,看看这两个节点的Nginx是否工作正常:
=====
2-4、其它说明
keepalived和LVS是天生配合完美的一对,LVS负责进行请求转发不负责不论什么节点的健康监測;keepalived负责监控整个环境中,包含虚拟ip,真实ip相应的下层节点的健康状态监測。3、開始配置:LVS-DR工作模式
3-1、keepalived的更改——健康监測
首先我们要更改之前配置的“最简keepalived”配置。让keepalived能够对结构中全部节点和虚拟ip的健康状态进行监測。更改配置和含义例如以下:! Configuration File for keepalived global_defs { #notification_email { # acassen@firewall.loc # failover@firewall.loc # sysadmin@firewall.loc #} #notification_email_from Alexandre.Cassen@firewall.loc #smtp_server 192.168.200.1 #smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { #141节点设置为MASTER,142或者还有其它的节点设置为BACKUP #还记得我们前面文章讲到的无抢占设置吗?这里也能够用哦。 state MASTER #网络适配器名称 interface eth0 virtual_router_id 51 #全部的SLAVE节点的优先级都要比这个设置值低 priority 120 advert_int 1 #真实ip,142要改成相应的lvs节点真实ip mcast_src_ip=192.168.220.141 authentication { auth_type PASS auth_pass 1111 } #虚拟/浮动IP virtual_ipaddress { 192.168.220.140 } } virtual_server 192.168.220.140 80 { #健康时间检查,单位秒 delay_loop 6 #负载均衡调度算法wlc|rr。和您将使用的LVS的调度算法保持原则一致 lb_algo rr #负载均衡转发规则 DR NAT TUN。和您将启动的LVS的工作模式设置一致 lb_kind DR #虚拟地址的子网掩码 nat_mask 255.255.255.0 #会话保持时间,由于我们常常使用的是无状态的集群架构。所以这个设置可有可无 #persistence_timeout 50 #转发协议。当然是TCP protocol TCP #真实的下层Nginx节点的健康监測 real_server 192.168.220.131 80 { #节点权重, weight 10 #设置检查方式,能够设置HTTP_GET | SSL_GET HTTP_GET { url { path / digest ff20ad2481f97b1754ef3e12ecd3a9cc } #超时时间,秒。假设在这个时间内没有返回,则说明一次监測失败 connect_timeout 3 #设置多少次监測失败,就觉得这个真实节点死掉了 nb_get_retry 3 #重试间隔 delay_before_retry 3 } } real_server 192.168.220.132 80 { weight 10 HTTP_GET { url { path / digest 640205b7b0fc66c1ea91c463fac6334d } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }
这样一来,keepalived就能够检查整个架构中的全部节点状态了。
另外要说明的是,这个检查过程并非必须的,您使用keepalived的最简配置也是能够的,只是您就须要自己写监測脚本了(道理是一样的)。
3-2、启动两个LVS节点
启动LVS的过程就太简单了(两个节点都是一样的启动方式):[root@lvs2 ~]# ipvsadm -C [root@lvs2 ~]# ipvsadm -At 192.168.220.140:80 -s rr [root@lvs2 ~]# ipvsadm -at 192.168.220.140:80 -r 192.168.220.131 -g [root@lvs2 ~]# ipvsadm -at 192.168.220.140:80 -r 192.168.220.132 -g [root@lvs2 ~]# 然后我们能够使用ipvsadm 监控眼下LVS的状态 [root@lvs2 ~]# ipvsadm
注意:处于standby的lvs1节点也要这样进行设置。
还有。以上的LVS的设置,和real server上的设置。在重新启动后都会消失,所以一定要做成脚本哦。
4、验证工作
这样LVS + Keepalived + Nginx方式的配置就做完了。如今我们进行搭建效果的监測:
4-1、验证Master-LVS节点的工作
我们使用两个不同的浏览器,验证Master-LVS节点的工作:=========浏览器1:
=========浏览器2:
看来140这个VIP下的LVS工作是正常的。
4-2、验证Master-LVS节点停止后的效果
以下我们停止Master-LVS1:[root@lvs2 ~]# service keepalived stop
在经历了一些訪问停顿后,浏览器1显示的效果例如以下(这就是为什么keepalived最好设置为非抢占模式):
5、后文介绍
好了,到这里负载均衡层所使用的几个标准工具就介绍完了。下一篇文章我们将进行总结。然后进入架构设计:业务层设计方案 的系列文章。在下一个系列文章中,我们将介绍至少两套SOA的实现、至少两套系统间通信使用的消息队列。哦。应我朋友的要求,我会专门写几篇文章,介绍java中线程的基础知识和进阶知识。相关文章推荐
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层
- 架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(5)——LVS单节点安装
- 架构设计:负载均衡层设计方案(5)——LVS单节点安装
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(2)——Nginx安装
- 架构设计:负载均衡层设计方案(5)——LVS单节点安装