Varnish工作原理及配置.docx

Varnish工作原理及配置网址：/2895551/6825551、VCL使用说明VCL，即为Varnish Configuation Language，用来定义varnish的存取策略，VCL语法比较简单，跟C和perl比较相似，可以使用指定运算符“=”，比较运算符“=”，逻辑运算符“!,&,!”等形式。还支持正则表达样和用“”进行ACL匹配运算，同时还可以使用“set”这样的关键字来指定变量。需要注意的是，“”字符在VCL里没有特别的含义，这点与其它语言略有不同，另外，VCL只是配置，并不是真正的编程语言，没有循环，也没有自定义变量。在讲述Varnish配置之前，首先需要了解下varnish的配置语法，即VCL，下面对VCL常用的一些内置函数和公用变量进行详细介绍。VCL内置函数（1）vcl_recv函数用于接收和处理请求，当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求。此函数一般以如下几个关键字结束：qpass：表示进入pass模式，把请求控制权交给vcl_pass函数。qpipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。qerror code reason：表示返回“code”给客户端，并放弃处理该请求，“code”是错误标识，例如200、405等，“reason”是错误提示信息。（2）vcl_pipe函数此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个链接关闭。此函数一般以如下几个关键字结束：qerror code reasonqpipe（3）vcl_pass函数此函数在进入pass模式时被调用，用于将请求直接传递至后端主机，后端主机应答数据后送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。此函数一般以如下几个关键字结束：qerror code reasonqpass（4）lookup表示在缓存里查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或者函数vcl_miss。（5）vcl_hit函数在执行lookup指令后，如果在缓存中找到请求的内容，将自动调用该函数。此函数一般以如下几个关键字结束：qdeliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver。qerror code reasonqpass（6）vcl_miss函数在执行lookup指令后，如果没有在缓存中找到请求的内容时自动调用该方法，此函数可以用于判断是否需要从后端服务器取内容。此函数一般以如下几个关键字结束：qfetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数。qerror code reasonqpass（7）vcl_fetch函数在从后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是否将内容放入缓存，还是直接返回给客户端。此函数一般以如下几个关键字结束：qerror code reasonqpassqdeliver（8）vcl_deliver函数在缓存中找到请求的内容后，发送给客户端前调用此方法。此函数一般以如下几个关键字结束：qerror code reasonqdeliver（9）vcl_timeout 函数此函数在缓存内容到期前调用。一般以如下几个关键字结束：qdiscard：表示从缓存中清除该内容。qfetch（10）vcl_discard函数在缓存内容到期后或缓存空间不够时，自动调用该方法，一般以如下几个关键字结束：qkeep：表示将内容继续保留在缓存中。qdiscard2、VCL处理流程图通过上面对VCL函数的介绍，读者对各个函数实现的功能已经有了一个了解，其实每个函数之间都是相互关联的，下图列出了varnish处理HTTP请求的一个运行流程图。处理过程大致分为如下几个步骤：（1）Receive状态，也就是请求处理的入口状态，根据VCL规则判断该请求应该是Pass或Pipe，或者进入Lookup（本地查询）。（2）Lookup状态，进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入miss状态。（3）Pass状态，在此状态下，会进入后端请求，即进入fetch状态。（4）Fetch状态，在Fetch状态下，对请求进行后端的获取，发送请求，获得数据，并进行本地的存储。（5）Deliver状态， 将获取到的数据发送给客户端，然后完成本次请求。3、内置公用变量VCL内置的公用变量可以用在不同的VCL函数中，根据这些公用变量使用的不同阶段，下面依次介绍。当请求到达后，可以使用的公用变量如表2所示：表2公用变量名称 含义req.backend 指定对应的后端主机server.ip 表示服务器端IPclient.ip 表示客户端IPreq.request 指定请求的类型，例如GET、HEAD、POST等req.url 指定请求的地址to 表示客户端发起请求的HTTP协议版本req.http.header表示对应请求中的http头部信息req. restarts 表示请求重启的次数，默认最大值为4Varnish 在向后端主机请求时，可以使用的公用变量如表3所示：表3公用变量名称含义beresp.request指定请求的类型，例如GET、HEAD等beresp.url指定请求的地址beresp .proto表示客户端发起请求的HTTP协议版本beresp .http.header表示对应请求中的http头部信息beresp .ttl表示缓存的生存周期，也就是cache保留多长时间，单位是秒从cache或者后端主机获取内容后，可以使用的公用变量如表4所示：表4公用变量名称含义obj.status表示返回内容的请求状态代码，例如200、302、504等obj.cacheable表示返回的内容是否可以缓存，也就是说，如果HTTP返回是200、203、300、301、302、404、410等，并且有非0的生存期，则可以缓存obj.valid表示是否是有效的HTTP应答obj.response表示返回内容的请求状态信息to表示返回内容的HTTP协议版本obj.ttl表示返回内容的生存周期，也就是缓存时间，单位是秒obj.lastuse表示返回上一次请求到现在的间隔时间，单位是秒对客户端应答时，可以使用的公用变量如表5所示：表5公用变量名称含义resp.status表示返回给客户端的HTTP状态代码to表示返回给客户端的HTTP协议版本resp.http.header表示返回给客户端的HTTP头部信息resp.response表示返回给客户端的HTTP状态信息在上面的讲述中，我们只是介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录varnish官方网站查阅。三 、配置一个简单的Varnish实例由于版本的不同，Varnish配置文件的写法也存在一定差异，varnish2.x版本和1.x版本之间不但配置文件写法不同，而且新的版本功能也增加很多，并且去除了很多应用BUG，这里讲述的版本是varnish2.1.2，配置文件写法也以varnish2.x版本为基准。Varnish安装完成后，默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl，此文件内容默认全部被注释掉了，这里，我们以这个文件为模板，创建一个新的文件vcl.conf，并且放到/usr/local/varnish/etc目录下，配置完成的vcl.conf文件如下：#通过backend定义了一个名称为webserver的后端主机，“.host”指定后端主机的IP地址或者域名，“.port”指定后端主机的服务端口。其中，“6”就是后端的一个web服务器。backend webserver .host = 6; .port = 80;#调用vcl_recv开始。sub vcl_recv if (req.http.x-forwarded-for) set req.http.X-Forwarded-For = req.http.X-Forwarded-For , client.ip; else set req.http.X-Forwarded-For = client.ip; #如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE时，进入pipe模式。注意这里是“&”的关系。 if (req.request != GET & req.request != HEAD & req.request != PUT & req.request != POST & req.request != TRACE & req.request != OPTIONS & req.request != DELETE) return (pipe); #如果请求的类型不是GET与HEAD，则进入pass模式。 if (req.request != GET & req.request != HEAD) return (pass); #对或者两个域名进行缓存加速，这是个泛域名的概念，也就是所有以或者结尾的域名都进行缓存。 if (req.http.host (.*). | req.http.host (.*).) set req.backend = webserver; #对以.jsp和.do结尾以及带有?的URL时，直接从后端服务器读取内容。 if (req.url .(jsp|do)($|?) return (pass); else return (lookup); sub vcl_pipe return (pipe);sub vcl_pass return (pass);sub vcl_hash set req.hash += req.url; if (req.http.host) set req.hash += req.http.host; else set req.hash += server.ip; return (hash);sub vcl_hit if (!obj.cacheable) return (pass); return (deliver);sub vcl_miss return (fetch);sub vcl_fetch if (!beresp.cacheable) return (pass); if (beresp.http.Set-Cookie) return (pass); #当url中包含servlet时，不进行缓存。 if (req.url /servlet/) return (pass); #当url中包含services时，不进行缓存。 if (req.url /services/) return (pass); #对于请求类型是GET，并且请求的URL中包含upload，那么就进行缓存，缓存的时间是300秒，即5分钟。 if (req.request = GET & req.url /upload(.*)$) set beresp.ttl = 300s; #对于请求类型是GET，并且请求的URL以png、xsl、xml、gif、css、js等结尾时，则进行缓存，缓存时间为600秒。 if (req.request = GET & req.url .(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$) set beresp.ttl = 600s; return (deliver);#下面是添加一个Header标识，以判断缓存是否命中。sub vcl_deliver if (obj.hits 0) set resp.http.X-Cache = HIT ; else set resp.http.X-Cache = MISS ; return (deliver);本文出自 “技术成就梦想” 博客，谢绝转载！网址：/article/17-varnish-makes-websites-flyVarnish安装配置和使用2011-05-05 Web开发标签:缓存varnish先引用Varnish官方网站宣传语：Varnish makes websites fly! （让网站飞？）Varnish定义为一种网站加速的软件（其实就是反向代理），可以把整个网页内容缓存到内存（或文件）中，并设置不同类型的页面缓存不同时间（TTL），同时提供缓存的更新（purge）。此外还可以设置多个后端服务器，支持后端服务器的健康检查，Header甚至url地址的重置修改，以及ESI（Edge Side Includes）功能（与nginx的ssi类似）先介绍一下Varnish处理请求的主要处理方法和流程1 vcl_recv，首先接收请求，判断是否要进一步处理，还是直接转发给后端（pass）等。 此过程中可以使用和请求相关的变量，例如客户端请求的url，ip，user-agent，cookie等，此过程中可以把不需缓存的地址，通过判断（相等、不相等、正则匹配等方法）转给后端，例如gif/png/jpg/css/js等静态文件；2 vcl_fetch，当从后端服务器获取内容后会进入此阶段，除了可以使用客户端的请求变量，还可以使用从后端获取的信息（bersp），如后端返回的头信息，设置此信息的缓存时间TTL等；3 vcl_miss 缓存未命中时中要做的处理4 vcl_hit 缓存命中后做的处理5 vcl_delever 发送给客户端前的处理6 vcl_pass 交给后端服务器7 vcl_hash 设置缓存的键值key首次请求时过程如下：recv-hash-miss-fetch-deliver缓存后再次请求：recv-hash-hit-deliver（fetch的过程没了，这就是我们要做的，把要缓存的页面保存下来）直接交给后端pass的情况：recv-hash-pass-fetch-deliver（直接从后端获取数据后发送给客户端，此时Varnish相当于一个中转站，只负责转发）*详细请求过程可以参考./bin/varnishlog中的输出日志下面具体介绍安装和配置一、安装1 下载源文件/releases，或者选择相应的编译版本直接安装（如直接安装方式以下步骤可跳过）$ tar zxf varnish-2.1.5.tar.gz$ cd varnish-2.1.5/#假设安装在/data/app/varnish下，详细安装设置查看帮助./configure -help$ ./configure -prefix=/data/app/varnish$ make$ make install注意，如果配置中提示一个或者其中几个警告信息的话，是没有安装对应的支持库configure: WARNING: xsltproc not found not building documentationchecking for rst2man. nochecking for rst2man.py. noconfigure: WARNING: rst2man not found not building man pageschecking for clock_gettime in -lrt. yeschecking for dlopen in -ldl. yeschecking for library containing initscr. noconfigure: WARNING: curses not found; some tools will not be built直接安装对应扩展库即可，否则varnishhist varnishtop varnishsizes varnishstat这些工具不会安装sudo apt-get install xsltproc rst2man libncurses5-dev二、配置首先，修改Varnish的配置文件default.vcl，默认在安装目录的./etc/varnish/下，当然，在哪并不重要，可以在启动服务的时候指定配置文件（关键你要记得位置）#开头的是注释标记，.host表示的是后端服务器的地址或者域名，.port其对应的端口号（这里为了方便测试，Varnish和web服务器都位于一台机子上，我们用Varnish监听8080端口，暂时先不修改原web服务器的80端口）backend default .host = ; .port = 80;好了，可以运行Varnish了，sudo ./sbin/varnishd -f /data/app/varnish/etc/varnish/default.vcl -s malloc,32M -T :2000 -a :8080 -F直接访问localhost:8080即可看到经过Varnish输出的页面了！怎么样，很简单吧。通过Firebug或者curl -I查看http头信息：Server: nginxContent-Type: text/htmlLast-Modified: Sat, 09 Apr 2011 15:51:38 GMTContent-Encoding: gzipContent-Length: 134Date: Thu, 05 May 2011 14:15:59 GMTX-Varnish: 1047954835 1047954830Age: 7Via: 1.1 varnishConnection: keep-alive可以看到多了三项X-Varnish、Age、Via如何判断是否是经过缓存的呢？首先可以看Age字段，如果是大于0的话，说明是从缓存命中的。其次查看X-Varnish字段，如果是两个数字例如X-Varnish: 1668515406 1668515405代表的是Varnish两次请求id（req.xid）：一个为发起请求的id，另外一个是获取缓存的id，而缓存未命中或者pass到后端的情况都是一个数值（当然你可以在deliver过程中修改这些头信息或者直接隐藏掉）注意！如果后端程序设置了类似这样的头信息Cache-Control: max-age=300会重置默认的缓存时间TTL，当然你可以在配置文件中重置这个时间下面看具体的配置文件，具体作用看注释#设置后端服务器地址backend default .host = ; .port = 80;#允许刷新缓存的ipacl purgeAllow localhost; ;sub vcl_recv #刷新缓存设置 if (req.request = PURGE) #判断是否允许ip if (!client.ip purgeAllow) error 405 Not allowed.; #去缓存中查找 return (lookup); #首次访问增加X-Forwarded-For头信息,方便后端程序 #获取客户端ip if (req.restarts = 0) #如果设置过此header则要再次附加上,用,隔开,如果 #只有一层代理的话,就无需设置了 if (req.http.x-forwarded-for) set req.http.X-Forwarded-For = req.http.X-Forwarded-For , client.ip; #没有则要加上 else set req.http.X-Forwarded-For = client.ip; #修正客户端的Accept-Encoding头信息,默认选用gzip方式 #防止个别浏览器发送类似 deflate, gzip #当然后端如果只支持gzip的话.可以只设置gizp if (req.http.Accept-Encoding) if (req.http.Accept-Encoding gzip) set req.http.Accept-Encoding = gzip; #如果后端支持deflate方式,建议去掉,否则刷新缓存时 #需特殊处理 elsif (req.http.Accept-Encoding deflate) set req.http.Accept-Encoding = deflate; #其他的压缩方式忽略 else remove req.http.Accept-Encoding; #静态文件和明确以.php结尾的url无需缓存, 建议把静态文件分离 #至单独服务器下,减少动态应用服务器压力,同时降低arnishd的压力 if(req.url .(png|gif|jpg|css|js|php)$) return (pass); #非正规的请求直接转发给后端服务器 if (req.request != GET & req.request != HEAD & req.request != PUT & req.request != POST & req.request != TRACE & req.request != OPTIONS & req.request != DELETE) /* Non-RFC2616 or CONNECT which is weird. */ return (pipe); #只处理GET和HEAD请求,如果你不想缓存POST的页面话 if (req.request != GET & req.request != HEAD) return (pass); #http认证的页面也pass if (req.http.Authorization) return (pass); return (lookup);#管道?按官方文档说的是此模式下请求会原封不动的转交给后端知道连接关闭sub vcl_pipe return (pipe);#交给后端服务器sub vcl_pass return (pass);#缓存文件名的哈希处理sub vcl_hash #以url为hash set req.hash += req.url; #加上host if (req.http.host) set req.hash += req.http.host; #没有则取ip else set req.hash += server.ip; #支持压缩的要增加,防止发送给不支持压缩的浏览器压缩的内容 if(req.http.Accept-Encoding) set req.hash += req.http.Accept-Encoding; return (hash);#缓存命中后的处理sub vcl_hit #如果不可缓存,直接交给后端 if (!obj.cacheable) return (pass); #如果为更新缓存的请求,则设置ttl为0，并告知客户端处理结果 if (req.request = PURGE) set obj.ttl = 0s; error 200 Purged.; return (deliver);#缓存未命中sub vcl_miss #更新缓存的请求,提示缓存不存在Not in cache if (req.request = PURGE) error 404 Not in cache.; #既然缓存不存在了,就去后端取吧 return (fetch);# sub vcl_fetch #是否开启ESI功能(仅做演示用,单独给/esi-test.html开启esi) if (req.url = /esi-test.html) esi; #如果后端返回不可缓存,直接pass if (!beresp.cacheable) return (pass); #/article/下的url缓存30分钟(演示用) if (req.url /article/d+.html$) set beresp.ttl = 30m; #/category/下的url缓存20分钟(演示用) if (req.url /category/$) set beresp.ttl = 20m; #如果后端发送了set-cookie头信息(如session会话开启),则不缓存 if (beresp.http.Set-Cookie) return (pass); return (deliver);#发送给客户端sub vcl_deliver #去掉varnish中的一些头信息(如果你不想保留的话,建议保留Age,方便查看) #remove resp.http.X-Varnish; #remove resp.http.Via; return (deliver);#定义错误页面的信息sub vcl_error #设置返回页面的类型及编码 set obj.http.Content-Type = text/html; charset=utf-8; #具体内容,可以更加自己的需要修改错误提示信息 synthetic obj.status obj.response Error obj.status obj.response obj.response Guru Meditation: XID: req.xid req.http.Host Varnish cache server ; return (deliver);最后简单总结下Varnish优点不同的页面设置不同的缓存时间，缓存更新快捷缺点缓存不能持久保存，服务重启后缓存消失不支持https，本身不提供gzip输出（只是把后端服务器返回的压缩信息保存下来）Transfer-Encoding方式中的chunked消失了，替代的是Content-Length，看来Varnish是获取后端的数据后自己计算出了body长度要考虑的问题后端动态应用的相应修改，例如对IP的获取，要通过http头信息中的x-forwarded-for获得，另外对cookie的读取不能直接在代码中调用，例如登录信息的读取可以改为js方式，防止页面缓存用户私有的信息（如用户的个人中心）直接pass给后端的请求会有一定的开销（代理服务器都有这个问题，前提是这个开销要小于缓存后的开销，否则还不如直接访问后端）不提供gzip等格式的压缩，而是从后端获取时更加Accept-Encoding来获取（即完全模拟浏览器的行为），所以很容易造成两种或多种格式的缓存文件，给缓存的更新带来麻烦其他注意事项启动varnishd的时候如果选用-s file方式，每次会重新建立缓存文件，而原来的文件不会删除，因此注意清除这些遗留文件缓存的默认保存时间（time-to-live准确说应该是缓存的存活时间）default_ttl默认为120秒，当然你可以在启动varnish的时候指定为121秒，如：-t 121启动varnishd时注意-w min,max,timeout，分别代表thread_pool_min、thread_pool_max、thread_pool_timeout，根据实际需求调节，当然你可以通过varnishadm随时调节写ACL配置文件时要注意，例如acl purgeAllow localhost; /24;其中/24表示ip范围的要写到之外，否则Varnish启动时就over了，也不报解析错误，会一直停留在第一阶段，一定要注意！（折腾了n次，去掉acl时才发现）如何不停止服务重新加载配置文件telnet 2000vcl.load newconfig /data/app/varnish/etc/varnish/default.vclvcl.use newconfig同时varnishlog中可以看到以下日志，表示加载配置文件成功0 CLI - Rd vcl.use newconfig查看编译为C语言后的VCL文件./varnishd -C -f /data/app/varnish/etc/varnish/default.vcl./varnish/bin/下的一些工具简单介绍varnishadm管