博文大綱：
一、Varnish概述
1.Varnish簡(jiǎn)介
2.Varnish和squid的區(qū)別
3.Varnish的工作原理
4.Varnish架構(gòu)
5.Varnish配置
6.VCL中內(nèi)置預(yù)設(shè)變量
7.VCL的子程序
8.特定功能語(yǔ)句
9.return語(yǔ)句
10.Varnish請(qǐng)求處理的步驟
11.Varnish的優(yōu)雅模式
二、安裝Varnish
1.客戶(hù)端訪(fǎng)問(wèn)測(cè)試緩存
2.服務(wù)端測(cè)試清除緩存
3.配置http服務(wù)器的訪(fǎng)問(wèn)獲取客戶(hù)端的IP地址創(chuàng)新互聯(lián)建站是一家集網(wǎng)站建設(shè)、成都做網(wǎng)站、網(wǎng)站頁(yè)面設(shè)計(jì)、網(wǎng)站優(yōu)化SEO優(yōu)化為一體的專(zhuān)業(yè)網(wǎng)站建設(shè)公司，已為成都等多地近百家企業(yè)提供網(wǎng)站建設(shè)服務(wù)。追求良好的瀏覽體驗(yàn),以探求精品塑造與理念升華,設(shè)計(jì)最適合用戶(hù)的網(wǎng)站頁(yè)面。 合作只是第一步，服務(wù)才是根本,我們始終堅(jiān)持講誠(chéng)信，負(fù)責(zé)任的原則，為您進(jìn)行細(xì)心、貼心、認(rèn)真的服務(wù),與眾多客戶(hù)在蓬勃發(fā)展的市場(chǎng)環(huán)境中,互促共生。
Varnish是一款高性能且開(kāi)源的反向代理服務(wù)器和HTTP加速器，其采用全新的軟件體系機(jī)構(gòu)，和現(xiàn)在的硬件體系緊密配合。與傳統(tǒng)的squid相比，Varnish具有高性能、速度快、管理更加方便等優(yōu)點(diǎn)，目前很多大型的網(wǎng)站都開(kāi)始嘗試使用Varnish來(lái)代替squid，這便是Varnish迅速發(fā)展的最根本的原因。
Varnish的主要特征：
相同點(diǎn)：
Varnish的優(yōu)勢(shì)：
Varnish的缺陷：
Varnish缺陷的解決方案：
當(dāng)Varnish服務(wù)器收到客戶(hù)端的請(qǐng)求時(shí)，選檢查緩存中是否有數(shù)據(jù)，如果有，則直接響應(yīng)客戶(hù)端；如果沒(méi)有則向后端服務(wù)器請(qǐng)求相應(yīng)的資源，緩存到Varnish服務(wù)器本地，再響應(yīng)客戶(hù)端；
根據(jù)規(guī)則和請(qǐng)求頁(yè)面的類(lèi)型選擇數(shù)據(jù)是否需要進(jìn)行緩存，可以根據(jù)請(qǐng)求頭中Cache-Contorl判斷是否緩存，以及cookis是否有標(biāo)記，這些功能都可以通過(guò)編寫(xiě)配置文件的方式來(lái)實(shí)現(xiàn)。
Varnish分為management進(jìn)程和child進(jìn)程：
child進(jìn)程生成的常見(jiàn)線(xiàn)程有：
- accept線(xiàn)程：接收新的連接請(qǐng)求并響應(yīng)；
- worker線(xiàn)程：會(huì)話(huà)，處理請(qǐng)求資源；
- expiry線(xiàn)程：清除緩存中過(guò)期的內(nèi)容；
Varnish主要配置部分：
- 后端配置：給Varnish添加反向代理服務(wù)器節(jié)點(diǎn)，最少配置一個(gè)；
- ACL配置：給Varnish添加訪(fǎng)問(wèn)控制列表，可以指定這些列表訪(fǎng)問(wèn)或禁止訪(fǎng)問(wèn)；
- probes配置：給Varnish添加探測(cè)后端服務(wù)器是否正常的規(guī)則，方便切換或禁止對(duì)應(yīng)后端服務(wù)器；
- directors配置：給Varnish添加負(fù)載均衡模式管理多個(gè)后端服務(wù)器；
- 核心子程序配置：給Varnish添加后端服務(wù)器切換，請(qǐng)求緩存、訪(fǎng)問(wèn)控制、錯(cuò)誤處理等規(guī)則；
如圖：
客戶(hù)端基本信息：
服務(wù)端基本信息：
客戶(hù)端請(qǐng)求（req） ：
varnish請(qǐng)求后端服務(wù)器（bereq）：
后端服務(wù)器向varnish（beresq）：
高速緩存對(duì)象（obj）：
返回給客戶(hù)端的響應(yīng)對(duì)象（resp）：
return 語(yǔ)句是終止子程序并返回動(dòng)作，所有動(dòng)作都根據(jù)不同的 vcl 子程序限定來(lái)選用的。
語(yǔ)法：return （action）；
常用的選項(xiàng)：
- abandon：放棄處理，并生成一個(gè)錯(cuò)誤；
- deliver：交付處理；
- fetch：從后端取出響應(yīng)對(duì)象；
- hash：哈希緩存處理；
- lookup：查找緩存；
- ok：繼續(xù)執(zhí)行；
- pass：進(jìn)入 pass 非緩存模式；
- pipe：進(jìn)入 pipe 非緩存模式；
- purge：清除緩存對(duì)象，構(gòu)建響應(yīng)；
- restart：重新開(kāi)始retry 重試后端處理；
- synth(status code,reason)：合成返回客戶(hù)端狀態(tài)；
如圖：
VCL處理過(guò)程大致分為如下幾個(gè)步驟:
(1)Receive 狀態(tài),也就是請(qǐng)求處理的入口狀態(tài),根據(jù) VCL 規(guī)則判斷該請(qǐng)求應(yīng)該是 Pass 或Pipe,或者進(jìn)入 Lookup(本地查詢(xún))；
(2)Lookup 狀態(tài),進(jìn)入此狀態(tài)后,會(huì)在 hash 表中查找數(shù)據(jù),若找到,則進(jìn)入 Hit 狀態(tài),否則進(jìn)入 miss 狀態(tài)；
(3)Pass 狀態(tài),在此狀態(tài)下,會(huì)進(jìn)入后端請(qǐng)求,即進(jìn)入 fetch 狀態(tài)；
(4)Fetch 狀態(tài),在 Fetch 狀態(tài)下,對(duì)請(qǐng)求進(jìn)行后端的獲取,發(fā)送請(qǐng)求,獲得數(shù)據(jù),并進(jìn)行本地存儲(chǔ)；
(5)Deliver 狀態(tài), 將獲取到的數(shù)據(jù)發(fā)送給客戶(hù)端,然后完成本次請(qǐng)求；
當(dāng)幾個(gè)客戶(hù)端請(qǐng)求同一個(gè)頁(yè)面的時(shí)候，varnish 只發(fā)送一個(gè)請(qǐng)求到后端服務(wù)器，然后讓其他幾個(gè)請(qǐng)求掛起并等待返回結(jié)果；獲得結(jié)果后，其它請(qǐng)求再?gòu)?fù)制后端的結(jié)果發(fā)送給客戶(hù)端；但如果同時(shí)有數(shù)以千計(jì)的請(qǐng)求，那么這個(gè)等待隊(duì)列將變得龐大，這將導(dǎo)致 2 類(lèi)潛在問(wèn)題：驚群?jiǎn)栴}(thundering herd problem)，即突然釋放大量的線(xiàn)程去復(fù)制后端返回的結(jié)果，將導(dǎo)致負(fù)載急速上升；沒(méi)有用戶(hù)喜歡等待；
故為了解決這類(lèi)問(wèn)題，可以配置 varnish 在緩存對(duì)象因超時(shí)失效后再保留一段時(shí)間，以給那些等待的請(qǐng)求返回過(guò)去的文件內(nèi)容(stale content)，配置案例如下：
重慶分公司
重慶分公司
sub vcl_recv {
if (! req.backend.healthy) { #判斷后端服務(wù)器的健康狀態(tài)
set req.grace = 5m; #如果后端服務(wù)器不健康，客戶(hù)端額外緩存15分鐘
}else {
set req.grace = 15s; } #正常額外緩存時(shí)間15秒
}
sub vcl_fetch {
set beresp.grace = 30m; #定義緩存過(guò)期后額外緩存時(shí)間30分鐘
}獲取Varnish軟件包
[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel pkgconfig python-docutils python-sphinx
//安裝Varnish所需依賴(lài)
[root@localhost ~]# tar zxf varnish-4.0.3.tar.gz -C /usr/src
[root@localhost ~]# cd /usr/src/varnish-4.0.3/
[root@localhost varnish-4.0.3]# ./configure && make && make install //編譯安裝Varnish
[root@localhost ~]# cp /usr/src/varnish-4.0.3/etc/example.vcl /usr/local/var/varnish/
//復(fù)制Varnish主配置文件
[root@localhost ~]# vim /usr/local/var/varnish/example.vcl //編譯Varnish主配置文件
#
# This is an example VCL file for Varnish.
#
# It does not do anything by default, delegating control to the
# builtin VCL. The builtin VCL is called when there is no explicit
# return statement.
#
# See the VCL chapters in the Users Guide at https://www.varnish-cache.org/docs/
# and http://varnish-cache.org/trac/wiki/VCLExamples for more examples.
# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
.url="/"; #訪(fǎng)問(wèn)后端服務(wù)器根路徑
.interval = 5s; #請(qǐng)求時(shí)間間隔
.timeout = 1s; #請(qǐng)求超時(shí)時(shí)間
.window = 5; #指定輪詢(xún)次數(shù)5次
.threshold = 3; #如果出現(xiàn)3次失敗則表示后端服務(wù)器異常
}
backend web1 { #定義后端服務(wù)器
.host = "192.168.1.7"; #要轉(zhuǎn)向主機(jī)（即后端主機(jī)）的 IP 或域名
.port = "80"; #指定后端服務(wù)器的端口號(hào)
.probe = backend_healthcheck; #健康檢查調(diào)用backend_healthcheck定義的內(nèi)容
}
backend web2 {
.host = "192.168.1.8";
.port = "80";
.probe = backend_healthcheck;
}
acl purgers { #定義訪(fǎng)問(wèn)控制列表
"127.0.0.1";
"localhost";
"192.168.1.0/24";
!"192.168.1.8";
}
sub vcl_init { #調(diào)用 vcl_init 初始化子程序創(chuàng)建后端主機(jī)組，即 directors
new web_cluster=directors.round_robin(); #使用 new 關(guān)鍵字創(chuàng)建 drector 對(duì)象,使用 round_robin(輪詢(xún)) 算法
web_cluster.add_backend(web1); #添加后端服務(wù)器節(jié)點(diǎn)
web_cluster.add_backend(web2);
}
sub vcl_recv {
set req.backend_hint = web_cluster.backend(); #指定請(qǐng)求的后端節(jié)點(diǎn)web_cluster定義的后端節(jié)點(diǎn)
if (req.method == "PURGE") { #判斷客戶(hù)端的請(qǐng)求頭部是否是PURGE
if (!client.ip ~ purgers) { #如果是，再判斷客戶(hù)端的IP地址是不是在ACL訪(fǎng)問(wèn)控制列表中.
return (synth(405, "Not Allowed.")); #如果不是，返回給客戶(hù)端405狀態(tài)碼并且返回定義的頁(yè)面.
}
return (purge); #如果是ACL定義的，則交給purge處理.
}
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PATCH" &&
req.method != "DELETE") { #判斷客戶(hù)端的請(qǐng)求類(lèi)型
return (pipe);
}
if (req.method != "GET" && req.method != "HEAD") {
return (pass); #如果不是GET及HEAD則交給pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
return (pass); #當(dāng)客戶(hù)端訪(fǎng)問(wèn)的是.php等結(jié)尾的交給pass處理.
}
if (req.http.Accept-Encoding) {
if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
unset req.http.Accept-Encoding; #取消客戶(hù)端接收的壓縮類(lèi)型
} elseif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip"; #如果有g(shù)zip類(lèi)型，標(biāo)記gzip類(lèi)型.
} elseif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
unset req.http.Accept-Encoding; #其他未定義的頁(yè)面也取消客戶(hù)但接收的壓縮類(lèi)型.
}
}
if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
unset req.http.cookie; #取消客戶(hù)端的cookie值.
return (hash); #將請(qǐng)求轉(zhuǎn)發(fā)給hash子程序，也就是查看本地緩存.
}
if (req.restarts == 0) { #判斷客戶(hù)端是不是第一次請(qǐng)求
if (req.http.X-Forwarded-For) { #如果是第一次請(qǐng)求，設(shè)置獲取客戶(hù)端的IP地址.
set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
sub vcl_hash {
hash_data(req.url); #查看客戶(hù)端請(qǐng)求的頁(yè)面，并且進(jìn)行hash
if (req.http.host) {
hash_data(req.http.host); #設(shè)置客戶(hù)端的主機(jī)
} else {
hash_data(server.ip); #設(shè)置服務(wù)器的IP
}
return (lookup);
}
sub vcl_hit {
if (req.method == "PURGE") { #如果是HIT并且當(dāng)客戶(hù)端請(qǐng)求的類(lèi)型是PURGE返回的200的狀態(tài)碼，并返回相應(yīng)頁(yè)面.
return (synth(200, "Purged."));
}
return (deliver);
}
sub vcl_miss {
if (req.method == "PURGE") {
return (synth(404, "Purged.")); #如果是miss返回404
}
return (fetch);
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.CXK = "HIT-from-varnish"; #設(shè)置http頭部X-Cache =hit
set resp.http.X-Cache-Hits = obj.hits; #返回命令的次數(shù)
} else {
set resp.http.X-Cache = "MISS";
}
unset resp.http.X-Powered-By; #取消顯示web版本
unset resp.http.Server; #取消顯示varnish服務(wù)
unset resp.http.X-Drupal-Cache; #取消顯示緩存的框架
unset resp.http.Via; #取消顯示文件內(nèi)容來(lái)源
unset resp.http.Link; #取消顯示HTML的超鏈接地址
unset resp.http.X-Varnish; #取消顯示varnish的id
set resp.http.xx_restarts_count = req.restarts; #設(shè)置客戶(hù)端請(qǐng)求的次數(shù)
set resp.http.xx_Age = resp.http.Age; #顯示緩存文件的時(shí)長(zhǎng)
#set resp.http.hit_count = obj.hits; #顯示緩存命中的次數(shù)
#unset resp.http.Age;
return (deliver);
}
sub vcl_pass {
return (fetch); #將后端服務(wù)器返回的數(shù)據(jù)緩存到本地
}
sub vcl_backend_response {
set beresp.grace = 5m; #緩存額外寬限時(shí)間
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true; #當(dāng)后端服務(wù)器相應(yīng)狀態(tài)碼是449等，不緩存
}
if (bereq.url ~ "\.(php|jsp)(\?|$)") {
set beresp.uncacheable = true; #當(dāng)是PHP的頁(yè)面不緩存
} else {
if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
set beresp.ttl = 15m; #當(dāng)是上面結(jié)尾的，緩存15分鐘
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
set beresp.ttl = 30m; #緩存30分鐘
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m; #生存時(shí)間10分鐘
unset beresp.http.Set-Cookie;
}
}
return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry); #如果狀態(tài)碼是上述其中之一，則重新請(qǐng)求
}
}
sub vcl_fini {
return (ok);
}
[root@localhost ~]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
//啟動(dòng)varnish服務(wù)
//-f指定配置文件存放位置；-s指定啟動(dòng)時(shí)使用的內(nèi)存大??；-a指定監(jiān)聽(tīng)的地址與端口
[root@localhost ~]# netstat -anpt | grep 80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 10508/varnishd
//確定80端口已經(jīng)在監(jiān)聽(tīng)自行搭建兩臺(tái)http服務(wù)器（訪(fǎng)問(wèn)頁(yè)面建議不要一樣）！
首次訪(fǎng)問(wèn)：
按F5刷新后的結(jié)果：
注意：測(cè)試時(shí)清除緩存！
web服務(wù)器（192.168.1.7）
[root@localhost ~]# curl -X "PURGE" 192.168.1.6
//指定192.168.1.6的緩存服務(wù)器，清除緩存測(cè)試訪(fǎng)問(wèn)如下：
web服務(wù)器（192.168.1.8）
[root@localhost ~]# curl -X "PURGE" 192.168.1.6
//指定192.168.1.6的緩存服務(wù)器，清除緩存測(cè)試訪(fǎng)問(wèn)如下：
測(cè)試完成！
如果不配置的情況下，http服務(wù)器只會(huì)記錄Varnish服務(wù)器的IP地址，上面Varnish配置文件中已經(jīng)配置完成。那么httpd的配置如下：
[root@localhost ~]# vim /etc/httpd/conf/httpd.conf //修改http主配置文件
196 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
197 LogFormat "%h %l %u %t \"%r\" %>s %b" common
//添加以下內(nèi)容，使http服務(wù)可以截取到客戶(hù)端的IP地址
198 LogFormat "%{X-Forwarded-For}i %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User- Agent}i\"" combined
//X-Forwarded-For參數(shù)已經(jīng)在Varnish配置文件中定義
[root@localhost ~]# systemctl restart httpd //重新啟動(dòng)http服務(wù)兩臺(tái)http服務(wù)器都需配置（防止時(shí)間過(guò)長(zhǎng)切換到另一臺(tái)服務(wù)器）。
注意：測(cè)試時(shí)清除緩存！
客戶(hù)端依然訪(fǎng)問(wèn)Varnish服務(wù)器，http訪(fǎng)問(wèn)日志如下：
測(cè)試完成?。?！
——————————————本文到此為止，感謝觀(guān)看————————————
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。
