Nginx反向代理&&Http调度

使用Nginx实现Web反向代理功能，实现如下功能：

• 后端Web服务器两台，可以使用httpd实现
• Nginx采用轮询的方式调用后端Web服务器
• 两台Web服务器的权重要求设置为不同的值
• 最大失败次数为1，失败超时时间为30秒

使用4台RHEL7虚拟机，其中一台作为Nginx代理服务器，该服务器需要配置两块网卡，IP地址分别为192.168.4.5和192.168.2.5，两台Web服务器IP地址分别为192.168.2.100和192.168.2.200。客户端测试主机IP地址为192.168.4.10。如图所示。

Nginx调度算法

nginx 目前支持的调度算法：

• 轮询（默认的）：逐一循环调度
• weight:指定轮询几率，权重值和访问比率成正比
• ip_hash:根据客户端IP分配固定的后端服务器

服务器组主机状态

状态类型

• down:表示当前server暂时不参与负载
• max_fails:允许请求失败的次数（默认为1）
• fail_timeout:max_fails次失败后，暂停提供服务的时间

步骤：

一、部署实施后端web服务器

1. 部署后端Web1服务器,后端Web服务器可以简单使用yum方式安装httpd实现Web服务，为了可以看出后端服务器的不同，可以将两台后端服务器的首页文档内容设置为不同的内容。

yum  -y  install  httpd
echo "192.168.2.100" > /var/www/html/index.html
systemctl restart httpd
firewall-cmd --set-default-zone=trusted
setenforce 0

1. 部署后端Web2服务器

yum  -y  install  httpd
echo "192.168.2.200" > /var/www/html/index.html
systemctl restart httpd
firewall-cmd --set-default-zone=trusted
setenforce 0

二、配置Nginx服务器，添加服务器池，实现反向代理功能

修改/usr/local/nginx/conf/nginx.conf配置文件

vim /usr/local/nginx/conf/nginx.conf

.. ..
http {
.. ..
#使用upstream定义后端服务器集群，集群名称任意(如webserver)
#使用server定义集群中的具体服务器和端口
upstream webserver {
#权重为2，每次调用两次之后再调用200,谁的权重越高，被调用的次数越多，没写默认值为1
server 192.168.2.100:80 weight=2;
server 192.168.2.200:80;
}
.. ..
server {
listen        80;
server_name  localhost;
location / {
#通过proxy_pass将用户的请求转发给webserver集群
proxy_pass http://webserver;
}
}
nginx -s reload

客户端测试

三、配置upstream服务器集群池属性

1）设置失败次数，超时时间，权重

weight

可以设置后台服务器的权重，

max_fails

可以设置后台服务器的失败次数，

fail_timeout

可以设置后台服务器的失败超时时间。

vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
upstream webserver {
server 192.168.2.100 weight=1 max_fails=1 fail_timeout=30;
server 192.168.2.200 weight=2 max_fails=2 fail_timeout=30;
server 192.168.2.101 down;
}
#weight设置服务器权重值，默认值为1,权重越大，被访问的次数越多
#max_fails检测下游服务器最大失败次数，超过次数，表示该服务器宕机，则后面不参与调度
#fail_timeout设置失败超时时间，单位为秒，这个超时时间内，不再访问宕机的服务器
#down标记服务器已关机，不参与集群调度
.. ..
server {
listen        80;
server_name  localhost;
location / {
proxy_pass http://webserver;
}
}

nginx -s reload

systemctl stop  web1   //停止web1的web服务

curl 192.168.4.5轮询测试

systemctl start web1

curl 192.168.4.5轮询测试

2)配置upstream服务器集群的调度算法

设置相同客户端访问相同Web服务器

vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
upstream webserver {
#通过ip_hash设置调度规则为：相同客户端访问相同服务器
ip_hash;
server 192.168.2.100 weight=1 max_fails=2 fail_timeout=10;
server 192.168.2.200 weight=2 max_fails=2 fail_timeout=10;
}
.. ..
server {
listen        80;
server_name  www.tarena.com;
location / {
proxy_pass http://webserver;
}
}

nginx -s reload
客户端测试

Nginx的TCP/UDP调度器

案例：使用Nginx实现TCP/UDP调度器功能，实现如下功能：
后端SSH服务器两台
Nginx编译安装时需要使用–with-stream，开启ngx_stream_core_module模块
Nginx采用轮询的方式调用后端SSH服务器

使用4台虚拟机，其中一台作为Nginx代理服务器，该服务器需要配置两块网卡，IP地址分别为192.168.4.5和192.168.2.5，两台SSH服务器IP地址分别为192.168.2.100和192.168.2.200。客户端测试主机IP地址为192.168.4.10。如图所示。

步骤：

1. 部署支持4层TCP/UDP代理的Nginx服务器
   1)部署nginx服务器
   编译安装必须要使用–with-stream参数开启4层代理模块
2. 配置Nginx服务器，添加服务器池，实现TCP/UDP反向代理功能
   1 )修改/usr/local/nginx/conf/nginx.conf配置文件

vim /usr/local/nginx/conf/nginx.conf
... ...
stream{
upstream backend{ #backend是集群名字，随便定义

server 192.168.2.100:22; #后端SSH服务器的IP和端口
server 192.168.2.200:22;

}
server{
listen 22; #Nginx监听的端口
#proxy_connect_timeout 1s;
#proxy_timeout 3s;
proxy_pass backend;
}
}

http{
... ...
}

2 ) 重启nginx服务

nginx -s reload

3 )客户端使用访问代理服务器测试轮询效果

ssh 192.168.4.5 -p 12345

//使用该命令多次访问查看效果

案例：Nginx常见问题处理

问题

本案例要求对Nginx服务器进行适当优化，解决如下问题，以提升服务器的处理性能：

• 如何自定义返回给客户端的404错误页面
• 如何查看服务器状态信息
• 如果客户端访问服务器提示“Too many open files”如何解决
• 如何解决客户端访问头部信息过长的问题
• 如何让客户端浏览器缓存数据
• 日志切割
• 开启gzip压缩功能，提高数据传输效率
• 开启文件缓存功能
• 然后客户机访问此Web服务器验证效果：
• 使用ab压力测试软件测试并发量
• 编写测试脚本生成长头部信息的访问请求
• 客户端访问不存在的页面，测试404错误页面是否重定向

1. 自定义报错页面
1 ) 修改Nginx配置文件，自定义报错页面

vim /usr/local/nginx/conf/nginx.conf
.. ..
error_page   404  /404.html;    //自定义错误页面
.. ..

nginx -s reload

2 ) 常见http状态码

2. 如何查看服务器状态信息（非常重要的功能）
1）编译安装时使用

--with-http_stub_status_module

开启状态页面模块
2）启用Nginx服务并查看监听端口状态

ss

命令可以查看系统中启动的端口信息，该命令常用选项如下：

-a

显示所有端口的信息

-n

以数字格式显示端口号

-t

显示TCP连接的端口

-u

显示UDP连接的端口

-l

显示服务正在监听的端口信息，如httpd启动后，会一直监听80端口

-p

显示监听端口的服务名称是什么（也就是程序名称）
注意：在RHEL7系统中可以使用

ss

命令替代

netstat

命令，功能一样，选项一样。
3）修改配置文件

vim  /usr/local/nginx/conf/nginx.conf

… …
location /status {
stub_status on;
#allow IP地址;
#deny IP地址;
}
… …

nginx -s reload

客户端: curl http://192.168.4.5/status

Active connections: 1
server accepts handled requests
10 10 3
Reading: 0 Writing 3ff7 : 1 Waiting: 0

Active connections：当前活动的连接数量。
Accepts：已经接受客户端的连接总数量。
Handled：已经处理客户端的连接总数量。
（一般与accepts一致，除非服务器限制了连接数量）。
Requests：客户端发送的请求数量。
Reading：当前服务器正在读取客户端请求头的数量。
Writing：当前服务器正在写响应信息的数量。
Waiting：当前多少客户端在等待服务器的响应。

3. 优化Nginx并发量
1 ） 优化前使用ab高并发测试

ab -n 2000 -c 2000 http://192.168.4.5/
>>>>
Benchmarking 192.168.4.5 (be patient)
socket: Too many open files (24)                //提示打开文件数量过多

2 ）修改Nginx配置文件，增加并发量

vim /usr/local/nginx/conf/nginx.conf
.. ..
worker_processes  2;                    //与CPU核心数量一致
events {
worker_connections 65535;        //每个worker最大并发连接数
use epoll;  #处理模型，可以不写，默认是这个
}
.. ..

nginx -s reload

3 ）优化Linux内核参数（最大文件数量）

ulimit -a                        //查看所有属性值
ulimit -Hn 100000                //设置硬限制（临时规则）
ulimit -Sn 100000                //设置软限制（临时规则）
vim /etc/security/limits.conf
.. ..
*               soft    nofile            100000
*               hard    nofile            100000
#该配置文件分4列，分别如下：
#用户或组    硬限制或软限制    需要限制的项目   限制的值

4）优化后测试服务器并发量（因为客户端没调内核参数，所以在4.5上测试）

ab -n 2000 -c 2000 http://192.168.4.5/

4.优化Nginx数据包头缓存

1）优化前，使用脚本测试长头部请求是否能获得响应

编写一个脚本，脚本内容如下

#!/bin/bash
URL=http://192.168.4.5/index.html?
for i in {1..5000}
do
URL=${URL}v$i=$i
done
curl $URL                                //经过5000次循环后，生成一个长的URL地址栏

执行脚本

./buffer.sh

.. ..
<center><h1>414 Request-URI Too Large</h1></center>        //提示头部信息过大
... ...

2）修改Nginx配置文件，增加数据包头部缓存大小

vim /usr/local/nginx/conf/nginx.conf

.. ..
http {
client_header_buffer_size    1k;        //默认请求包头信息的缓存
large_client_header_buffers  4 4k;        //大请求包头部信息的缓存个数与容量
.. ..
}

nginx -s reload

3）优化后，再使用刚才的脚本测试长头部请求是否能获得响应

./buffer.sh

5.浏览器本地缓存静态数据
1）使用Firefox浏览器查看缓存
以Firefox浏览器为例，在Firefox地址栏内输入about:cache将显示Firefox浏览器的缓存信息，如图所示，点击List Cache Entries可以查看详细信息。

2）清空firefox本地缓存数据，如图所示。

3）修改Nginx配置文件，定义对静态页面的缓存时间

vim /usr/local/nginx/conf/nginx.conf
server {
listen       80;
server_name  localhost;
location / {
root   html;
index  index.html index.htm;
}
location ~* \.(jpg|jpeg|gif|png|css|js|ico|xml)$ {
expires        30d;            //定义客户端缓存时间为30天
}
}

cp /usr/share/backgrounds/day.jpg /usr/local/nginx/html
nginx -s reload

4）优化后，使用Firefox浏览器访问图片，再次查看缓存信息

firefox http://192.168.4.5/day.jpg

6.日志切割
日志文件越来越大怎么办？单个文件10G? 如何切割？
步骤：

1. 把旧的日志重命名
2. kill USR1 PID(nginx的进程PID号)

1）手动执行

备注：/usr/local/nginx/logs/nginx.pid文件中存放的是nginx的进程PID号。

mv access.log access2.log
kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)

2）自动完成
每周5的03点03分自动执行脚本完成日志切割工作。

vim /usr/local/nginx/logbak.sh

脚本内容为

#!/bin/bash
date=`date +%Y%m%d`
logpath=/usr/local/nginx/logs
mv $logpath/access.log $logpath/access-$date.log
mv $logpath/error.log $logpath/error-$date.log
kill -USR1 $(cat $logpath/nginx.pid)

USR1亦通常被用来告知应用程序重载配置文件；例如，向Apache HTTP服务器发送一个USR1信号将导致以下步骤的发生：停止接受新的连接，等待当前连接停止，重新载入配置文件，重新打开日志文件，重启服务器，从而实现相对平滑的不关机的更改。
将脚本写入计划任务

crontab -e
03 03 * * 5  /bin/bash /usr/local/nginx/logbak.sh

7.对页面进行压缩处理
修改配置文件

vim  /usr/local/nginx/conf/nginx.conf
http {
.. ..
gzip on;                            #开启压缩
gzip_min_length 1000;                #小文件不压缩
gzip_comp_level 4;                #压缩比率
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml
application/xml+rss text/javascript;
#对特定文件压缩，类型参考mime.types
.. ..
}

8.服务器内存缓存
如果需要处理大量静态文件，可以将文件缓存在内存，下次访问会更快。

http {
open_file_cache          max=2000  inactive=20s;
open_file_cache_valid    60s;
open_file_cache_min_uses 5;
open_file_cache_errors   off;
#设置服务器最大缓存2000个文件句柄，关闭20秒内无请求的文件句柄
#文件句柄的有效时间是60秒，60秒后过期
#只有访问次数超过5次会被缓存
}

文中所需软件包在

Github