Varnish4.0缓存代理配置

varnish缓存是web应用加速器，同时也作为http反向缓存代理。可以安装varnish在任何http的前端，同时配置它缓存内容。与传统的squid相比，varnish具有性能更高、速度更快、管理更加方便等诸多优点。



Varnish与Squid 的对比

相同点： 同是反向代理服务器、开源

Varnish的优势：

1、Varnish的稳定性很高，Squid 服务器发生故障的几率要高于Varnish，因为使用 Squid 要经常重启
2、Varnish访问速度更快，缓存数据都直接从内存读取，而Squid是从硬盘读取，所以Varnish要快于Squid
3、Varnish可以支持更多的并发连接，因为Varnish的 TCP连接释放要比Squid快，因而在高并发连接情况下可以支持更多TCP连接
4、Varnish可以通过管理端口，使用正则表达式批量的清除部分缓存，而Squid是做不到的；Squid属于是单进程使用单核CPU，但Varnish是通过fork形式打开多进程来做处理，所以可以合理的使用所有核来处理相应的请求

Varnish 的缺点：

1、varnish进程一旦Crash或者重启，所有缓存数据都会丢失，在高并发下，给后端服务器造成很大压力
2、在 varnish 使用中如果单个url的请求通过 HA/F5 等负载均衡，则每次请求落在不同的varnish服务器中，造成请求都会被穿透到后端；而且同样的请求在多台服务器上缓存，也会造成varnish的缓存的资源浪费，造成性能下降

Varnish 劣势的解决方案：

缺点1：在访问量很大的情况下推荐使用 varnish 的内存缓存方式启动，而且后面需要 跟多台 squid/nginx 服务器。主要为了防止前面的varnish服 务、服务器被重启的情况下， 大量请求穿透varnish，这样squid/nginx可以就担当第二层CACHE，而且也弥补了varnish缓存在内存中重启都会释放的问题
缺点2：可以在负载均衡上做url哈希，让单个url请求固定请求到一台varnish服务器上

Varnish 中内置子程序

vcl_recv子程序：
开始处理请求，通过return(动作);选择varnish处理模式，默认进入hash缓存模式（即return(hash);），缓存时间为配置项default_ttl（默认为120秒）过期保持时间default_grace（默认为10秒）。该子程序一般用于模式选择，请求对象缓存及信息修改，后端节点修改，终止请求等操作。

vcl_pipe子程序：
pipe模式处理，该模式主要用于直接取后端响应内容返回客户端，可定义响应内容返回客户端。该子程序一般用于需要及时且不作处理的后端信息，取出后端响应内容后直接交付到客户端不进入vcl_deliver子程序处理。

vcl_pass子程序：
pass模式处理，该模式类似hash缓存模式，仅不做缓存处理。

vcl_hit子程序：
hash缓存模式时，存在hash缓存时调用，用于缓存处理，可放弃或修改缓存。

vcl_miss子程序：
hash缓存模式时，不存在hash缓存时调用，用于判断性的选择进入后端取响应内容，可以修改为pass模式。

vcl_hash子程序：
hash缓存模式，生成hash值作为缓存查找键名提取缓存内容，主要用于缓存hash键值处理，可使用hash_data(string) 指定键值组成结构，可在同一个页面通过IP或cookie生成不同的缓存键值。

vcl_purge子程序：
清理模式，当查找到对应的缓存时清除并调用，用于请求方法清除缓存，并报告。

vcl_deliver子程序：
客户端交付子程序，在vcl_backend_response子程序后调用（非pipe模式），或vcl_hit子程序后调用，可用于追加响应头信息、cookie等内容。

vcl_backend_fetch子程序：
发送后端请求之前调用，可用于改变请求地址或其它信息，或放弃请求。

vcl_backend_response子程序：
后端响应后调用，可用于修改缓存时间及缓存相关信息。

vcl_backend_error子程序：
后端处理失败调用，异常页面展示效果处理，可自定义错误响应内容，或修改beresp.status与beresp.http.Location重定向等。

vcl_synth 子程序：
自定义响应内容。可以通过 synthetic（）和返回值synth调用，这里可以自定义异常显示内容，也可以修改resp.status与resp.http.Location重定向。

vcl_init 子程序：
加载vcl时最先调用，用于初始化VMODs，该子程序不参与请求处理，仅在vcl加载时调用一次。

vcl_fini 子程序：
卸载当前vcl配置时调用，用于清理VMODs，该子程序不参与请求处理，仅在vcl正常丢弃后调用。

附上一张原理图（摘自网络）



varnish应用案例：

环境

web01(httpd)：192.168.154.137
web02(httpd)：192.168.154.138
varnish：192.168.154.139

步骤
web01&web02

yum -y install httpd
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload
setenforce 0

安装varnish

下载地址：http://varnish-cache.org/releases/index.html
我使用的是varnish-4.0.3.tar.gz这个包

tar zxf varnish-4.0.3.tar.gz
cd varnish-4.0.3/
./configure && make && make install

/usr/local/var/varnish/default.vcl文件的配置如下

#加载后端负载均衡模块
import directors;
#加载 std 模块
import std;
#创建名为 backend_healthcheck 的健康检查策略
probe backend_healthcheck {
.url="/";
.interval = 5s;
.timeout = 1s;
.window = 5;
.threshold = 3;
}
#定义后端服务器
backend web_app_01 {
.host = "192.168.154.137";                     #这里改成你的web服务器地址
.port = "80";
.first_byte_timeout = 9s;
.connect_timeout = 3s;
.between_bytes_timeout = 1s;
.probe = backend_healthcheck;
}
backend web_app_02 {
.host = "192.168.154.138";                     #这里改成你的web服务器地址
.port = "80";
.first_byte_timeout = 9s;
.connect_timeout = 3s;
.between_bytes_timeout = 1s;
.probe = backend_healthcheck;
}
#定义允许清理缓存的 IP
acl purgers {
"127.0.0.1";
"localhost";
"192.168.154.0/24";
}
#vcl_init 初始化子程序创建后端主机组
sub vcl_init {
new web = directors.round_robin();
web.add_backend(web_app_01);
web.add_backend(web_app_02);
}
#请求入口， 用于接收和处理请求。 这里一般用作路由处理， 判断是否读取缓存和指定该请求使用哪个后端
sub vcl_recv {
#将请求指定使用 web 后端集群 .在集群名后加上 .backend()
set req.backend_hint = web.backend();
# 匹配清理缓存的请求
if (req.method == "PURGE") {
if (!client.ip ~ purgers) {
return (synth(405, "Not Allowed."));
}
# 是的话就执行清理
return (purge);
}
# 如果不是正常请求 就直接穿透没商量
if (req.method != "GET" &&req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PATCH" &&
req.method != "DELETE") {
return (pipe);
}
# 如果不是 GET 和 HEAD 就跳到 pass
if (req.method != "GET" && req.method != "HEAD") {
return (pass);
}
#如果匹配动态内容访问请求就跳到 pass
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
return (pass);
}
#具有身份验证的请求跳到 pass
if (req.http.Authorization) {
return (pass);
}
if (req.http.Accept-Encoding) {
if (req.url ~
"\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
unset req.http.Accept-Encoding;
} elseif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip";
} elseif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
unset req.http.Accept-Encoding;
}
}
if (req.url ~
"\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
unset req.http.cookie;
return (hash);
}
# 把真实客户端 IP 传递给后端服务器 后端服务器日志使用 X-Forwarded-For 来接收
if (req.restarts == 0) {
if (req.http.X-Forwarded-For) {set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
# hash 事件(缓存事件)
sub vcl_hash {
hash_data(req.url);
if (req.http.host) {
hash_data(req.http.host);
} else {
hash_data(server.ip);
}
return (lookup);
}
# 缓存命中事件
sub vcl_hit {
if (req.method == "PURGE") {
return (synth(200, "Purged."));
}
return (deliver);
}
# 缓存不命中事件
sub vcl_miss {
if (req.method == "PURGE") {
return (synth(404, "Purged."));
}
return (fetch);
}
# 返回给用户的前一个事件 通常用于添加或删除 header 头
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT";
set resp.http.X-Cache-Hits = obj.hits;
} else {
set resp.http.X-Cache = "MISS";
}
#取消显示 php 框架版本的 header 头
unset resp.http.X-Powered-By;
#取消显示 web 软件版本、 Via(来自 varnish)等 header 头 为了安全
unset resp.http.Server;
unset resp.http.X-Drupal-Cache;unset resp.http.Via;
unset resp.http.Link;
unset resp.http.X-Varnish;
#显示请求经历 restarts 事件的次数
set resp.http.xx_restarts_count = req.restarts;
#显示该资源缓存的时间单位秒
set resp.http.xx_Age = resp.http.Age;
#显示该资源命中的次数
set resp.http.hit_count = obj.hits;
#取消显示 Age 为了不和 CDN 冲突
unset resp.http.Age;
#返回给用户
return (deliver);
}
# pass 事件
sub vcl_pass {
return (fetch);
}
#处理对后端返回结果的事件(设置缓存、移除 cookie 信息、设置 header 头等) 在 fetch 事件后自动调用
sub vcl_backend_response {
#开启 grace 模式 表示当后端全挂掉后 即使缓存资源已过期(超过缓存时间) 也会把该资源返回给用户 资源最大有效时间为 5 分钟
set beresp.grace = 5m;
#后端返回如下错误状态码 则不缓存
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true;
}
#如请求 php 或 jsp 则不缓存
if (bereq.url ~ "\.(php|jsp)(\?|$)") {
set beresp.uncacheable = true;
} else { //自定义缓存文件的缓存时长，即 TTL 值
if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
set beresp.ttl = 15m;
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
set beresp.ttl = 30m;
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m;
unset beresp.http.Set-Cookie;
}
}
#返回给用户return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry);
}
}
sub vcl_fini {
return (ok);
}

启动varnish

/usr/local/sbin/varnishd -f /usr/local/var/varnish/default.vcl -s malloc,100M -a 0.0.0.0:80
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload
setenforce 0

使用/usr/local/sbin/varnishd -h可以查看启动命令的帮助
然后通过ss或者netstat查看是否正常启动

##varnish官网：http://varnish-cache.org/
##varnish官方文档：http://varnish-cache.org/docs/index.html