站長(zhǎng)資訊網(wǎng)varnish緩存是web應(yīng)用加速器，同時(shí)也作為http反向緩存代理?？梢园惭bvarnish在任何http的前端，同時(shí)配置它緩存內(nèi)容。與傳統(tǒng)的squid相比，varnish具有性能更高、速度更快、管理更加方便等諸多優(yōu)點(diǎn)。
Varnish與Squid 的對(duì)比
相同點(diǎn)： 同是反向代理服務(wù)器、開(kāi)源
Varnish的優(yōu)勢(shì)：
1、Varnish的穩(wěn)定性很高，Squid 服務(wù)器發(fā)生故障的幾率要高于Varnish，因?yàn)槭褂?Squid 要經(jīng)常重啟
2、Varnish訪問(wèn)速度更快，緩存數(shù)據(jù)都直接從內(nèi)存讀取，而Squid是從硬盤(pán)讀取，所以Varnish要快于Squid
3、Varnish可以支持更多的并發(fā)連接，因?yàn)閂arnish的 TCP連接釋放要比Squid快，因而在高并發(fā)連接情況下可以支持更多TCP連接
4、Varnish可以通過(guò)管理端口，使用正則表達(dá)式批量的清除部分緩存，而Squid是做不到的；Squid屬于是單進(jìn)程使用單核CPU，但Varnish是通過(guò)fork形式打開(kāi)多進(jìn)程來(lái)做處理，所以可以合理的使用所有核來(lái)處理相應(yīng)的請(qǐng)求
Varnish 的缺點(diǎn)：
1、varnish進(jìn)程一旦Crash或者重啟，所有緩存數(shù)據(jù)都會(huì)丟失，在高并發(fā)下，給后端服務(wù)器造成很大壓力
2、在 varnish 使用中如果單個(gè)url的請(qǐng)求通過(guò) HA/F5 等負(fù)載均衡，則每次請(qǐng)求落在不同的varnish服務(wù)器中，造成請(qǐng)求都會(huì)被穿透到后端；而且同樣的請(qǐng)求在多臺(tái)服務(wù)器上緩存，也會(huì)造成varnish的緩存的資源浪費(fèi)，造成性能下降
Varnish 劣勢(shì)的解決方案：
缺點(diǎn)1：在訪問(wèn)量很大的情況下推薦使用 varnish 的內(nèi)存緩存方式啟動(dòng)，而且后面需要 跟多臺(tái) squid/nginx 服務(wù)器。主要為了防止前面的varnish服 務(wù)、服務(wù)器被重啟的情況下， 大量請(qǐng)求穿透varnish，這樣squid/nginx可以就擔(dān)當(dāng)?shù)诙覥ACHE，而且也彌補(bǔ)了varnish緩存在內(nèi)存中重啟都會(huì)釋放的問(wèn)題
缺點(diǎn)2：可以在負(fù)載均衡上做url哈希，讓單個(gè)url請(qǐng)求固定請(qǐng)求到一臺(tái)varnish服務(wù)器上
Varnish 中內(nèi)置子程序
vcl_recv子程序：
開(kāi)始處理請(qǐng)求，通過(guò)return(動(dòng)作);選擇varnish處理模式，默認(rèn)進(jìn)入hash緩存模式（即return(hash);），緩存時(shí)間為配置項(xiàng)default_ttl（默認(rèn)為120秒）過(guò)期保持時(shí)間default_grace（默認(rèn)為10秒）。該子程序一般用于模式選擇，請(qǐng)求對(duì)象緩存及信息修改，后端節(jié)點(diǎn)修改，終止請(qǐng)求等操作。
vcl_pipe子程序：
pipe模式處理，該模式主要用于直接取后端響應(yīng)內(nèi)容返回客戶端，可定義響應(yīng)內(nèi)容返回客戶端。該子程序一般用于需要及時(shí)且不作處理的后端信息，取出后端響應(yīng)內(nèi)容后直接交付到客戶端不進(jìn)入vcl_deliver子程序處理。
vcl_pass子程序：
pass模式處理，該模式類似hash緩存模式，僅不做緩存處理。
vcl_hit子程序：
hash緩存模式時(shí)，存在hash緩存時(shí)調(diào)用，用于緩存處理，可放棄或修改緩存。
vcl_miss子程序：
hash緩存模式時(shí)，不存在hash緩存時(shí)調(diào)用，用于判斷性的選擇進(jìn)入后端取響應(yīng)內(nèi)容，可以修改為pass模式。
vcl_hash子程序：
hash緩存模式，生成hash值作為緩存查找鍵名提取緩存內(nèi)容，主要用于緩存hash鍵值處理，可使用hash_data(string) 指定鍵值組成結(jié)構(gòu)，可在同一個(gè)頁(yè)面通過(guò)IP或cookie生成不同的緩存鍵值。
vcl_purge子程序：
清理模式，當(dāng)查找到對(duì)應(yīng)的緩存時(shí)清除并調(diào)用，用于請(qǐng)求方法清除緩存，并報(bào)告。
vcl_deliver子程序：
客戶端交付子程序，在vcl_backend_response子程序后調(diào)用（非pipe模式），或vcl_hit子程序后調(diào)用，可用于追加響應(yīng)頭信息、cookie等內(nèi)容。
vcl_backend_fetch子程序：
發(fā)送后端請(qǐng)求之前調(diào)用，可用于改變請(qǐng)求地址或其它信息，或放棄請(qǐng)求。
vcl_backend_response子程序：
后端響應(yīng)后調(diào)用，可用于修改緩存時(shí)間及緩存相關(guān)信息。
vcl_backend_error子程序：
后端處理失敗調(diào)用，異常頁(yè)面展示效果處理，可自定義錯(cuò)誤響應(yīng)內(nèi)容，或修改beresp.status與beresp.http.Location重定向等。
vcl_synth 子程序：
自定義響應(yīng)內(nèi)容。可以通過(guò) synthetic（）和返回值synth調(diào)用，這里可以自定義異常顯示內(nèi)容，也可以修改resp.status與resp.http.Location重定向。
vcl_init 子程序：
加載vcl時(shí)最先調(diào)用，用于初始化VMODs，該子程序不參與請(qǐng)求處理，僅在vcl加載時(shí)調(diào)用一次。
vcl_fini 子程序：
卸載當(dāng)前vcl配置時(shí)調(diào)用，用于清理VMODs，該子程序不參與請(qǐng)求處理，僅在vcl正常丟棄后調(diào)用。
附上一張?jiān)韴D（摘自網(wǎng)絡(luò)）
varnish應(yīng)用案例：
環(huán)境
web01(httpd)：192.168.154.137
web02(httpd)：192.168.154.138
varnish：192.168.154.139
步驟
web01&web02
yum -y install httpd
firewall-cmd –add-port=80/tcp –permanent
firewall-cmd –reload
setenforce 0
安裝varnish
下載地址：http://varnish-cache.org/releases/index.html
我使用的是varnish-4.0.3.tar.gz這個(gè)包
tar zxf varnish-4.0.3.tar.gz
cd varnish-4.0.3/
./configure && make && make install
/usr/local/var/varnish/default.vcl文件的配置如下
#加載后端負(fù)載均衡模塊
import directors;
#加載 std 模塊
import std;
#創(chuàng)建名為 backend_healthcheck 的健康檢查策略
probe backend_healthcheck {
.url=”/”;
.interval = 5s;
.timeout = 1s;
.window = 5;
.threshold = 3;
}
#定義后端服務(wù)器
backend web_app_01 {
.host = “192.168.154.137”; #這里改成你的web服務(wù)器地址
.port = “80”;
.first_byte_timeout = 9s;
.connect_timeout = 3s;
.between_bytes_timeout = 1s;
.probe = backend_healthcheck;
}
backend web_app_02 {
.host = “192.168.154.138”; #這里改成你的web服務(wù)器地址
.port = “80”;
.first_byte_timeout = 9s;
.connect_timeout = 3s;
.between_bytes_timeout = 1s;
.probe = backend_healthcheck;
}
#定義允許清理緩存的 IP
acl purgers {
“127.0.0.1”;
“localhost”;
“192.168.154.0/24”;
}
#vcl_init 初始化子程序創(chuàng)建后端主機(jī)組
sub vcl_init {
new web = directors.round_robin();
web.add_backend(web_app_01);
web.add_backend(web_app_02);
}
#請(qǐng)求入口， 用于接收和處理請(qǐng)求。 這里一般用作路由處理， 判斷是否讀取緩存和指定該請(qǐng)求使用哪個(gè)后端
sub vcl_recv {
#將請(qǐng)求指定使用 web 后端集群 .在集群名后加上 .backend()
set req.backend_hint = web.backend();
# 匹配清理緩存的請(qǐng)求
if (req.method == “PURGE”) {
if (!client.ip ~ purgers) {
return (synth(405, “Not Allowed.”));
}
# 是的話就執(zhí)行清理
return (purge);
}
# 如果不是正常請(qǐng)求 就直接穿透沒(méi)商量
if (req.method != “GET” &&req.method != “HEAD” &&
req.method != “PUT” &&
req.method != “POST” &&
req.method != “TRACE” &&
req.method != “OPTIONS” &&
req.method != “PATCH” &&
req.method != “DELETE”) {
return (pipe);
}
# 如果不是 GET 和 HEAD 就跳到 pass
if (req.method != “GET” && req.method != “HEAD”) {
return (pass);
}
#如果匹配動(dòng)態(tài)內(nèi)容訪問(wèn)請(qǐng)求就跳到 pass
if (req.url ~ “.(php|asp|aspx|jsp|do|ashx|shtml)($|?)”) {
return (pass);
}
#具有身份驗(yàn)證的請(qǐng)求跳到 pass
if (req.http.Authorization) {
return (pass);
}
if (req.http.Accept-Encoding) {
if (req.url ~
“.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$”) {
unset req.http.Accept-Encoding;
} elseif (req.http.Accept-Encoding ~ “gzip”) {
set req.http.Accept-Encoding = “gzip”;
} elseif (req.http.Accept-Encoding ~ “deflate”) {
set req.http.Accept-Encoding = “deflate”;
} else {
unset req.http.Accept-Encoding;
}
}
if (req.url ~
“.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|?)”) {
unset req.http.cookie;
return (hash);
}
# 把真實(shí)客戶端 IP 傳遞給后端服務(wù)器 后端服務(wù)器日志使用 X-Forwarded-For 來(lái)接收
if (req.restarts == 0) {
if (req.http.X-Forwarded-For) {set req.http.X-Forwarded-For = req.http.X-Forwarded-For + “, ” + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
# hash 事件(緩存事件)
sub vcl_hash {
hash_data(req.url);
if (req.http.host) {
hash_data(req.http.host);
} else {
hash_data(server.ip);
}
return (lookup);
}
# 緩存命中事件
sub vcl_hit {
if (req.method == “PURGE”) {
return (synth(200, “Purged.”));
}
return (deliver);
}
# 緩存不命中事件
sub vcl_miss {
if (req.method == “PURGE”) {
return (synth(404, “Purged.”));
}
return (fetch);
}
# 返回給用戶的前一個(gè)事件 通常用于添加或刪除 header 頭
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = “HIT”;
set resp.http.X-Cache-Hits = obj.hits;
} else {
set resp.http.X-Cache = “MISS”;
}
#取消顯示 php 框架版本的 header 頭
unset resp.http.X-Powered-By;
#取消顯示 web 軟件版本、 Via(來(lái)自 varnish)等 header 頭 為了安全
unset resp.http.Server;
unset resp.http.X-Drupal-Cache;unset resp.http.Via;
unset resp.http.Link;
unset resp.http.X-Varnish;
#顯示請(qǐng)求經(jīng)歷 restarts 事件的次數(shù)
set resp.http.xx_restarts_count = req.restarts;
#顯示該資源緩存的時(shí)間單位秒
set resp.http.xx_Age = resp.http.Age;
#顯示該資源命中的次數(shù)
set resp.http.hit_count = obj.hits;
#取消顯示 Age 為了不和 CDN 沖突
unset resp.http.Age;
#返回給用戶
return (deliver);
}
# pass 事件
sub vcl_pass {
return (fetch);
}
#處理對(duì)后端返回結(jié)果的事件(設(shè)置緩存、移除 cookie 信息、設(shè)置 header 頭等) 在 fetch 事件后自動(dòng)調(diào)用
sub vcl_backend_response {
#開(kāi)啟 grace 模式 表示當(dāng)后端全掛掉后 即使緩存資源已過(guò)期(超過(guò)緩存時(shí)間) 也會(huì)把該資源返回給用戶 資源最大有效時(shí)間為 5 分鐘
set beresp.grace = 5m;
#后端返回如下錯(cuò)誤狀態(tài)碼 則不緩存
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true;
}
#如請(qǐng)求 php 或 jsp 則不緩存
if (bereq.url ~ “.(php|jsp)(?|$)”) {
set beresp.uncacheable = true;
} else { //自定義緩存文件的緩存時(shí)長(zhǎng)，即 TTL 值
if (bereq.url ~ “.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|?)”) {
set beresp.ttl = 15m;
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ “.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|?)”) {
set beresp.ttl = 30m;
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m;
unset beresp.http.Set-Cookie;
}
}
#返回給用戶return (deliver);
}
sub vcl_purge {
return (synth(200,”success”));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry);
}
}
sub vcl_fini {
return (ok);
}
啟動(dòng)varnish
/usr/local/sbin/varnishd -f /usr/local/var/varnish/default.vcl -s malloc,100M -a 0.0.0.0:80
firewall-cmd –add-port=80/tcp –permanent
firewall-cmd –reload
setenforce 0
使用/usr/local/sbin/varnishd -h可以查看啟動(dòng)命令的幫助
然后通過(guò)ss或者netstat查看是否正常啟動(dòng)
##varnish官網(wǎng)：http://varnish-cache.org/
##varnish官方文檔：http://varnish-cache.org/docs/index.html
