varnish的了解与常用配置使用

Varnish是一款高性能的开源HTTP加速器及反向代理服务器。
varnish架构图：

Varnish 与一般服务器软件类似，分为 master 进程和 child 进程。Master 进程读入存储配置文件，调用合适的存储类型，然后创建 / 读入相应大小的缓存文件，接着 master 初始化管理该存储空间的结构体，然后 fork 并监控 child 进程。Child 进程在主线程的初始化的过程中，将前面打开的存储文件整个 mmap 到内存中，此时创建并初始化空闲结构体，挂到存储管理结构体，以待分配。Child 进程分配若干线程进行工作，主要包括一些管理线程和很多 worker 线程。
接着，开始真正的工作，varnish 的某个负责接收新 HTTP 连接线程开始等待用户，如果有新的 HTTP 连接过来，它总负责接收，然后唤醒某个等待中的线程，并把具体的处理过程交给它。Worker 线程读入 HTTP 请求的 URI，查找已有的 object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
分配缓存的过程是这样的：它根据所读到 object 的大小，创建相应大小的缓存文件。为了读写方便，程序会把每个 object 的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。如果缓存已满，就根据 LRU 机制，把最旧的 object 释放掉。
释放缓存的过程是这样的：有一个超时线程，检测缓存中所有 object 的生存期，如果超初设定的 TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块，如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。
整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的 object 都考虑是在内存中，如果系统内存不足，系统会自动将其换到 swap 空间，而不需要 varnish 程序去控制。

配置使用varnishCentOS7上epel源上直接安装使用：varnish-4.0.5[root@node3 dylan]# yum install varnishepel源
[root@node3 dylan]# cd /etc/varnish/
[root@node3 varnish]# cp varnish.params{,.bak}
[root@node3 varnish]# systemctl start varnish.service

示例：
一台web服务器安装httpd作为后端服务器
[root@localhost ~]# vim /var/www/html/index.html
<h1> Backend Server 1</h1>
varnish主机上编辑：
[root@node3 varnish]# vim default.vcl
backend default {
.host = "192.168.0.150"; ###后端服务器地址
.port = "80";###端口
[root@node3 varnish]# systemctl reload varnish.service

举几个常用示例：
1、.测试缓存命中情况：

[root@node3 ~]# vim /etc/varnish/default.vcl
sub vcl_deliver {
# Happens when we have all the pieces we need, and are about to send the
# response to the client.
#
# You can do accounting or modifying the final object here.
if (obj.hits>0) {###增加
set resp.http.X-Cache = "HIT";
} else {
set resp.http.X-Cache = "Miss";
}
}
sub vcl_deliver {
# Happens when we have all the pieces we need, and are about to send the
# response to the client.
#
# You can do accounting or modifying the final object here.
if (obj.hits>0) {
set resp.http.X-Cache = "HIT via" + " " + server.ip;
} else {
set resp.http.X-Cache = "Miss via" + " " + server.ip;
}
}

###使varnishadm工具来管理
[root@node3 ]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 ###varnishadm命令
vcl.load test1 default.vcl
200
VCL compiled.
varnish> vcl.use test1
200
VCL 'test1' now active

2、缓存对象修剪

acl purgers { ###添加访问控制varnish4.0
"127.0.0.0"/8;
"192.168.0.0"/16;
}

sub vcl_recv {
# Happens before we check if we have this in cache already.
#
# Typically you clean up the request here, removing cookies you don't need,
# rewriting the request, etc.
if (req.url ~"^/test.html$") {
return(pass);
}
if (req.method == "PURGE"){
if (!client.ip ~ purgers){###ip不属于定义端内的返回405错误
return(synth(405,"Purging not allow for" + client.ip));
}
return(purge);
}
}

sub vcl_purge {
return(synth(200,"Purged,"));###修剪
}
管理端：
varnish> vcl.load test9 default.vcl ###重新配置
200
VCL compiled.
vcl.use test9 ###使用新配置
200
VCL 'test9' now active

3、###设定多个后端主机
backend default {
.host = "192.168.0.150";
.port = "80";
}
backend appsrv {###定义一个后端主机
.host = "192.168.0.113";
.port = "80";
}
sub vcl_recv {
# Happens before we check if we have this in cache already.
#
# Typically you clean up the request here, removing cookies you don't need,
# rewriting the request, etc.
if (req.url ~"(?i)\.php$") {
set req.backend_hint = appsrv;
} else {
set req.backend_hint = default;
}
}
vcl.load test10 default.vcl
200
VCL compiled.
vcl.load
varnish> vcl.use test10
200
VCL 'test10' now active

4、设定负载均衡效果：
Directors:
import directors;###首先import
backend websrv1 {###定义两个后端主机
.host = "192.168.0.150";
.port = "80";
}
backend websrv2 {
.host = "192.168.0.115";
.port = "80";
}
sub vcl_init {
new websrvs = directors.round_robin();
websrvs.add_backend(websrv1);
websrvs.add_backend(websrv2);
}
sub vcl_recv {
set req.backend_hint = websrvs.backend();
}

管理端使用：
varnish> vcl.load test13 default.vcl
200
VCL compiled.
vcl.use test13
200
VCL 'test13' now active

5、健康状态检测：
backend websrv1 {
.host = "192.168.0.115";
.host = "80";
.prode = {
.url = "/"; ###检测时要请求的url,默认为”/”
.interval = 1s; ###检测频率
.window = 8; ###基于最近的多少次检查
.threshold = 5; ###检查最近8次检查5次成功即为健康
.timeout = 2s; ###超时时长
}
}
.request = ###可添加具体的请求
"GET /HTTP/1.1"
"Host: 192.168.0.115"
"connection:Close"
.expected_response=200; ###期望的响应码
完整性示例：
vcl 4.0;
import directors;
# Default backend definition. Set this to point to your content server.
backend websrv1 {
.host = "192.168.0.150";
.port = "80";
.probe = {
.url = "/";
.interval = 2s;
.window = 5;
.threshold = 4;
}
}
backend websrv2 {
.host = "192.168.0.115";
.port = "80";
.probe = {
.url = "/";
.interval = 2s;
.window = 5;
.threshold = 4;
}
}
sub vcl_init {
new websrvs = directors.round_robin();
websrvs.add_backend(websrv1);
websrvs.add_backend(websrv2);
}

sub vcl_recv {

# if (req.url ~"(?i)\.php$") {
#set req.backend_hint = appsrv;
# } else {
set req.backend_hint = websrvs.backend();
# }
if (req.url ~"^/login") {
return(pass);
}
if (req.method == "PURGE"){
if (!client.ip ~ purgers){
return(synth(405,"Purging not allow for" + client.ip));
}
return(purge);
}
}

sub vcl_purge {
return(synth(200,"Purged,"));
}
acl purgers {
"127.0.0.0"/8;
"192.168.0.0"/16;
}

sub vcl_backend_response {

if (beresp.http.cache-control !~ "s-masage") {
if (bereq.url ~ "(?i)\.jpg$") {
set beresp.ttl = 7200s;
unset beresp.http.Set-Cookie;
}
if (bereq.url ~ "(?i)\.css$"){
set beresp.ttl = 3600s;
unset beresp.http.Set-Cookie;
}
}
}

sub vcl_deliver {

if (obj.hits>0) {
set resp.http.X-Cache = "HIT via" + " " + server.ip;
} else {
set resp.http.X-Cache = "Miss via" + " " + server.ip;
}
# if (beresp.backend.name ~ "appsrv") {
#set resp.htttp.X-Server = "appsrv";
# }
}

varnish几个常用的命令工具：
varnishadm
varnishtop
varish log entry ranking
varnishlog
varnishlog.service
varnishncsa
varnishncsa.service
varnishstat
Varnish Cache statistics

varnish的运行时参数： 配置文件中修改全局生效
[root@node3 ~]# vim /etc/varnish/varnish.params
DAEMON_OPTS="-p thread_pools=4" ###设置线程池为4
[root@node3 ~]# systemctl restart varnish.service ###不能随便重启，否则缓存全部失效
[root@node3 varnish]# varnishstat ###查看状态

附：
变量
內键变量：
req.*:由客户端发来的http请求相关
req.http.*:请求报文各首部
bereq.*：由varnish向backend主机发出的http请求
bere.http.*
beresp.*:由backend主机发来的http响应报文
resp.*: 由varnish响应给client的http响应报文
resp.http.*:响应报文各首部
obj.*:存储在缓存空间的缓存对象属性，只读

client.*,server.*,storage.*:可用在所有的client side 的sub riutines中

自定义： set

常用的变量：
bereq:
bereq.http.HEADERS
bereq.request:请求方法
bereq.url：请求的url
bereq.proto:协议版本
bereq.backend:指明要调用的后端主机

beresp:
beresp.proto
beresp.status:响应的状态码
beresp.reason
beresp.backend.name
baresp.http.HEADERA:
beresp.ttl:后端服务器响应中的内容余下的生存时长

obj:
obj.hits:此对象从缓存中命中的次数；
obj.ttl：对象的ttl值

server：
server.ip
server.hostname

req.method：请求方法
req.url:请求的url