Linux之企业级调度器LVS
2019-05-24 23:17
1971 查看
1,实验拓扑图:VS/NAT
1,全部基于Ansible主机操作
安装ipvsadm 基于光盘yum源
# yum install ipvsadm # ipvsadm -A -t 172.22.145.146:80 添加集权主节点,VIP:PORT # ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.22.145.146:80 wlc wlc算法实验看起来不明显 # ipvsadm -E -t 172.22.145.146:80 -s rr 修改算法为轮询 # ipvsadm -a -t 172.22.145.146:80 -r 172.16.36.10:8080 -m # ipvsadm -a -t 172.22.145.146:80 -r 172.16.36.11:80 -m # ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.22.145.146:80 rr -> 172.16.36.10:8080 Masq 1 0 0 -> 172.16.36.11:80 Masq 1 0 0 开启路由转发功能 # sysctl -a | grep forward 模糊查找路由功能 # vim /etc/sysctl.conf net.ipv4.ip_forward = 1 # sysctl -p 重读配置文件,使之生效
ipvsadm.service服务启动文件,其实就是保存配置和删除配置一样
start调用重载/sbin/ipvsadm-restore< /etc/sysconfig/ipvsadm stop调用存储并删除集权规则 /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm
[Unit] Description=Initialise the Linux Virtual Server After=syslog.target network.target [Service] Type=oneshot ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm" ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm" ExecStop=/sbin/ipvsadm -C RemainAfterExit=yes [Install] WantedBy=multi-user.target
2,实验拓扑图:VS/DR
1,此环境Ansible作为路由器,配置只需开启路由转发功能,其余IP主机配置IP等地址省略,仅书写有关键配置项
# vim /etc/sysctl.conf net.ipv4.ip_forward = 1
LVS配置:
# cp /etc/sysconfig/network-scripts/ifcfg-ens33{,:1} # vim /etc/sysconfig/network-scripts/ifcfg-ens33:1 DEVICE="ens33:1" IPADDR=10.0.0.254 PREFIX=30 DEFROUTE=yes GATEWAY=10.0.0.253 # ipvsadm -A -t 10.0.0.254:80 -s rr # ipvsadm -a -t 10.0.0.254:80 -r 172.16.36.10 -g -w 1 # ipvsadm -a -t 10.0.0.254:80 -r 172.16.36.11 -g -w 1
Web1配置和Web2配置相同
# cp /etc/sysconfig/network-scripts/ifcfg-ens33{,:1} # vim /etc/sysconfig/network-scripts/ifcfg-ens33:1 DEVICE="ens33:1" IPADDR=10.0.0.254 PREFIX=30 DEFROUTE=yes GATEWAY=10.0.0.253 # echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore # echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
注意事项:一定要最后一个重启LVS网卡,否则VIP会被客户端抢占。测试机会直接请求网内的SR主机上的VIP。
图示2:
图示2:如果路由器的R2口IP与内网在一个网段,VIP不和内网在一个网段时,DIP的网关(此网关肯定要写,写与内网在一个段的任何IP,只要有个默认路由收到包能转出去即可,后续回应客户机的请求与VS主机无关),RIP的网关一定要指向路由器R2口IP。VIP无网关。
LVS介绍
LVS:Linux Virtual Server,负载调度器,内核集成,章文嵩(花名 正明) 官网:http://www.linuxvirtualserver.org/ VS: Virtual Server,负责调度 RS: Real Server,负责真正提供服务 L4:四层路由器或交换机 阿里的四层LSB(Server Load Balance)是基于LVS+keepalived实现 工作原理: VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS
netfilter
iptables/netfilter: iptables:用户空间的管理工具 netfilter:内核空间上的框架 流入:PREROUTING --> INPUT 流出:OUTPUT --> POSTROUTING 转发:PREROUTING --> FORWARD --> POSTROUTING DNAT:目标地址转换; PREROUTING
内核支持
[root@martinhe~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64 # IPVS transport protocol load balancing support CONFIG_IP_VS_PROTO_TCP=y #开启tcp CONFIG_IP_VS_PROTO_UDP=y #开启udp CONFIG_IP_VS_PROTO_AH_ESP=y CONFIG_IP_VS_PROTO_ESP=y CONFIG_IP_VS_PROTO_AH=y CONFIG_IP_VS_PROTO_SCTP=y # # IPVS scheduler #默认支持的算法 CONFIG_IP_VS_RR=m CONFIG_IP_VS_WRR=m CONFIG_IP_VS_LC=m CONFIG_IP_VS_WLC=m CONFIG_IP_VS_LBLC=m CONFIG_IP_VS_LBLCR=m CONFIG_IP_VS_DH=m CONFIG_IP_VS_SH=m CONFIG_IP_VS_SED=m
LVS集群体系结构
LVS概念
lvs集群类型中的术语: VS:Virtual Server,Director Server(DS) Dispatcher(调度器),Load Balancer RS:Real Server(lvs), upstream server(nginx) backend server(haproxy) CIP:Client IP VIP: Virtual serve IP VS外网的IP DIP: Director IP VS内网的IP RIP: Real server IP 访问流程:CIP <--> VIP == DIP <--> RIP
lvs集群的类型
lvs: ipvsadm/ipvs ipvsadm:用户空间的命令行工具,规则管理器 用于管理集群服务及RealServer ipvs:工作于内核空间netfilter的INPUT钩子上的框架 ** lvs-nat**:修改请求报文的目标IP,多目标IP的DNAT ** lvs-dr**:操纵封装新的MAC地址 ** lvs-tun**:在原请求IP报文之外新加一个IP首部 ** lvs-fullnat**:修改请求报文的源和目标IP
LVS-NAT模式:
本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发 (1)RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP (2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈 (3)支持端口映射,可修改请求报文的目标PORT (4)VS必须是Linux系统,RS可以是任意OS系统
LVS-DR模式:
LVS-DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变 (1) Director和各RS都配置有VIP (2) 确保前端路由器将目标IP为VIP的请求报文发往Director 在前端网关做静态绑定VIP和Director的MAC地址 在RS上使用arptables工具 arptables -A IN -d $VIP -j DROP arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP 在RS上修改内核参数以限制arp通告及应答级别 /proc/sys/net/ipv4/conf/all/arp_ignore /proc/sys/net/ipv4/conf/all/arp_announce (3)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director (4)RS和Director要在同一个物理网络 (5)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client (6)不支持端口映射(端口不能修败) (7)RS可使用大多数OS系统
LVS-TUN模式:
转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP) (1) DIP, VIP, RIP都应该是公网地址 (2) RS的网关一般不能指向DIP (3) 请求报文要经由Director,但响应不经由Director (4) 不支持端口映射 (5) RS的OS须支持隧道功能
LVS-FULLNAT模式
lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发 CIP --> DIP VIP --> RIP (1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP (2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client (3) 请求和响应报文都经由Director (4) 支持端口映射 注意:此类型kernel默认不支持
lvs-nat与lvs-fullnat:请求和响应报文都经由Director lvs-nat:RIP的网关要指向DIP lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信 lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发 lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信
ipvs scheduler
ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态 两种:静态方法和动态方法 静态方法:仅根据算法本身进行调度 1、RR:roundrobin,轮询 2、WRR:Weighted RR,加权轮询 3、SH:Source Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定 4、DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商 动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度 1、LC:least connections 适用于长连接应用 Overhead=activeconns*256+inactiveconns 2、WLC:Weighted LC,默认调度方法 Overhead=(activeconns*256+inactiveconns)/weight 3、SED:Shortest Expection Delay,初始连接高权重优先 Overhead=(activeconns+1)*256/weight 4、NQ:Never Queue,第一轮均匀分配,后续SED 5、LBLC:Locality-Based LC,动态的DH算法,使用场景:根据负载状态实现正向代理 6、LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制到负载轻的RS
相关文章推荐
- linux集群之LVS入门和企业级实战
- linux集群之LVS入门和企业级实战(续一)
- linux集群之LVS入门和企业级实战(续二)
- Linux AS 5上实战安装配置LVS
- Linux_LVS负载均衡_Lvs_IP_TUN配置
- Linux Deadline 调度器 - 第一部分:简介与理论背景
- linux virtual server(LVS)的构建
- Linux实时性分析-schedule-调度器
- Linux下lvs通过keepalived实现负载均衡
- LVS(Linux Virtual Server)
- 菜鸟学Linux 第082篇笔记 LVS
- LINUX硬盘磁盘LVS扩容
- Linux群集LVS简介及配置
- Linux集群服务LVS概述与安装配置详解 推荐
- Univention Corporate Server 4.4-0 发布,基于Debian GNU/Linux的企业级发行版
- 在Linux下用LVS和Ipvsadm做Web负载均衡
- Linux企业级桌面版:Ubuntu Vs Windows
- 集群基础----(lvs【Linux+virtual+server】)
- Linux下基于LVS的集群原理及配置方法(1)
- linux LVS (keepalived+ipvsadm)负载均衡搭建 一