Bluecoat_SP_HTTP反向代理和CDN技术方案建议_jun.doc

知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ xxx用户用户 反向代理和反向代理和 cdn 技术方案建议书技术方案建议书 2007 年年 7 月月 17 日日 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 目目 录录 1前言前言4 2用户需求分析用户需求分析5 3方案设计原则方案设计原则6 4技术方案建议技术方案建议7 4.1反向代理网络的总体设计.7 4.1.1在同一数据中心部署反向代理节点7 4.1.2异地部署反向代理节点9 4.2adn + cdn 业务（动态和静态网页同时加速业务） .10 4.2.1设计概述10 4.2.2动态网页加速流程11 4.2.3设备选型13 4.2.4https 加密动态网页加速业务14 4.2.5reflect client ip(用户 ip 地址传送).17 4.2.6保留用户原有域名17 4.3bluecoat http 业务特点.18 4.3.1https 源服务器卸载19 4.3.2http 压缩.19 4.3.3多线程下载20 4.3.4典型 http 策略设置20 4.4bluecoat网络安全设计 20 4.4.1bluecoat 抗ddos攻击和port scanning20 4.4.2sgos 操作系统.21 4.4.3bluecoat 协议检测22 4.4.4防止反向代理服务器成为open proxy .22 4.4.5管理员访问限制和安全23 4.5用户行为分析和统计及错误定位用户的追踪.23 4.6全局网络管理.24 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 4.7未来扩展.25 5bluecoat http 缓存技术特点缓存技术特点.27 5.1pipelining：快速的内容抓取 .27 5.2自适应的刷新：快速、新鲜的内容.28 5.3自适应的刷新：对带宽消耗的影响.30 5.4新鲜度测量和报告.31 5.5blue coat 存储子系统.32 5.6http 策略控制引擎33 5.6.1blue coat 可视化策略管理器34 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 1 前言前言 本文是 bluecoat 对 xxx 用户 http 反向代理工程的技术方案建议。 我们期待着和 xxx 用户进行进一步的深入交流。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 2 用户需求分析用户需求分析 xxx 用户目前的网站站点设计有 http apache 服务器，主要服务的内容是 大量新闻和图片及一些 flash 视频类的节目。 采用 apache 服务器带来的主要挑战有三方面，一方面系统运行在通用操 作系统上，网站安全性存在风险。另一方面 apache 服务器的性能受限，通常一 台服务器只能处理 3000-5000 个并发 http 客户连接。性能上存在瓶颈。最后还 有在后台存储 xxx 用户使用基于 fc san 的磁盘阵列。当为了提升网站性能而增 加前面的 apache 服务器时，后台存储的共享也成为了一个复杂的技术问题。 为了解决上述的一些实际问题。xxx 用户需要在 http web server 前端增 加硬件反向代理服务器，利用其安全和高性能的特性来降低 apache 服务器的负 载和被黑客攻击的风险。同时由于主要的负载都被反向代理服务器所承担，源 服务器只需要保持一个基本的 ha 服务器就可以，也无需涉及复杂的 fc san 共 享问题。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 3 方案设计原则方案设计原则 考虑 xxx 用户的实际情况，在方案设计时需要遵循如下原则： 1标准性 现在构建的 http 反向代理网络应当符合网络业界的主流标准，保证系统 和已有的 web server 的兼容性。 2合理的性能价格比 在满足当前的业务需求的同时，还考虑到今后业务发展的需求，确保在 未来扩容时能够扩展到更多的性能和容量支持。同时尽量选择经济的设备，做 到最优的性价比。 3高可靠性 在确保系统可靠工作和数据的可靠性的原则基础上，尽可能的做到高起 点，选用先进的技术和设备，使构建的反向代理系统有较高的可靠性，以适应 今后的发展。 4可管理性和可维护性 反向代理设备可以通过多种技术和方式实现了高可靠性，同时也增加了系 统的复杂性，从而容易导致维护和管理的复杂性。因此在方案设计中在提供高 可靠性的同时，也要注重提供反向代理系统的可管理性和可维护性。 整个系统应该能够采用基于 web 的界面对存储设备进行配置管理。系统配 置工作应该简单明了，流程清晰。系统应该能够提供远程告警。 5. 高性能 整个反向代理系统应该提供较高的 http 和 https 性能，能够满足大量 用户同时使用时的性能要求。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 4 技术方案建议技术方案建议 4.1反向代理网络的总体设计反向代理网络的总体设计 使用 bluecoat sg 设备作为反向代理的方式对源服务器进行加速，利用 bluecoat 设备的安全性和强大的性能来实现对源服务器的卸载和安全防护。同 时可以部署多台 bluecoat sg 设备在前端，实现高速性能负载均衡和系统高可 用性。并且会降低后台源服务器的部署数量，解决存储共享的问题。 .1 在同一数据中心部署反向代理节点在同一数据中心部署反向代理节点 在同一数据中心的条件下，部署反向代理的结构如下图所示： slb设备设备/ 四层交换机四层交换机 internet sgsg 内网内网 ocs 源服务器源服务器 用户用户 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ sg 实际部署在源服务器的前端，缓存用户访问的内容，因此大部分的服 务压力都会被 sg 所承担，而不需要源服务器具有高性能的处理能力。同时由于 sg 和源服务器之间是通过内部私网地址的连接，这样保证了内部的源服务器是 绝对安全的，因为没有黑客能够从公网上访问到源服务器。 后台的源服务器还可以使用多台 web server 来实现冗余和可靠性。在 bluecoat 的方案中，后台的源服务器组并不需要使用四/七层交换机来实施负 载均衡，因为 sg 设备本身可以具有负载均衡能力。在从 sg 向源服务器请求未 命中的内容时会根据几种不同的算法进行负责均衡，包括：round-robin, 最少 连接，用户源地址关联，根据用户被加速设备设置的 cookie 关联等。bluecoat sg 设备还可以对后台的源服务器实施健康检查，检查的方法包括四层协议和 http 协议等。如果发现某一台源服务器出现故障，sg 则会自动将流量切换到别 的服务器上。 bluecoat sg 也提供了性能上的显著提升，通常的 web server 具有二方 面的性能瓶颈：http 并发连接数，http 吞吐量。尽管可以给这些服务器配置较 大的内存和更新的 cpu，但是其性能依然无法令人满意。而作为对比， bluecoat 的设备 sg810-c 可以支持 12000 个客户端的并发 http 连接，并且在 典型环境下支持 150mbps 到 200mbps 的反向 http 代理吞吐量。因此同样的性能 要求条件下，会使用数量很少的 sg 设备就可以满足用户的性能要求，并由此节 省了大量的机房空间，电源消耗和空调消耗等相关资源。从维护成本的角度上 来考虑，是更为节省的一个方案。 在反向代理的方案中，对于静态网页的性能提升效果是非常明显的。因为 大部分的静态网页会缓存在本地。而对于动态网页而言，由于不能缓存在代理 服务器内部，所以必须代理回源服务器，此时对源服务器的服务并没有性能卸 载的能力。对于这种动态网页的加速，可以参考后续章节的方案，bluecoat 提 供了一种独到的 adn 加速方案来对动态网页进行加速。这一方案的范围已经超 出了反向代理的概念，而是和 cdn 的方案融合在一起。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ .2 异地部署反向代理节点异地部署反向代理节点 整个反向代理网络组件包括：gslb 和 slb 设备，http 缓存设备，web 源 服务器等。这种部署实际上已经成为了 cdn 的部署。下图表示了整体的网络架 构： sg 数据中心数据中心 加速动态网页加速动态网页 wan sg 加速动态网页加速动态网页 sg 加速静态网页加速静态网页 sg 加速流媒体加速流媒体 sg 加速流媒体加速流媒体 镜像服务器镜像服务器 gslb设备设备slb设备设备 slb设备设备 内容分发内容分发 字节缓存比较字节缓存比较 源服务器源服务器 数据中心数据中心 新建新建cdn节点节点 动态网页源服务器动态网页源服务器 在新建反向代理节点中部署 4 台 sg 缓存设备，其中 2 台主要用于加速流 媒体业务，1 台主要用于加速静态网页和 flash 视频的业务，1 台主要用于加速 动态网页的业务。考虑到业务安全的需要，2 台加速 http 网页的 sg 缓存设备 可以通过 slb 设备进行负载均衡。2 台加速流媒体业务的 sg 缓存设备通过 slb 设备进行负载均衡。 这里假定缓存设备中已经存有用户需要访问的内容（用户访问命中的情况） ，其中第 1 步是 dns 解析，用户解析过一次后就可以把 dns 记录缓存在本机上， 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 下次可以不用再去 gslb 设备进行解析。如果用户访问的内容未命中，则会由 cache 去源服务器抓取。 对于较简单的单个节点异地反向代理方案，可以不使用 gslb 设备，只使 用 dns 解析到反向代理服务器即可。 4.2adn + cdn 业务（动态和静态网页同时加速业务）业务（动态和静态网页同时加速业务） .1 设计概述设计概述 在中心和边缘节点部署的 sg 缓存设备和网络的总体架构如下图所示： internet gslb设备设备 slb 设备设备 slb设备设备 静态对象静态对象 （http,ftp） 源服务器源服务器 中心节点中心节点 (全国和北京全国和北京) 边缘边缘cdn节点节点 动态网页源服务器动态网页源服务器 sg 加速动态加速动态/静态网页静态网页 sg 加速动态加速动态/静态网页静态网页 sg 数据中心数据中心 加速动态网页加速动态网页 内容分发内容分发 字节缓存比较字节缓存比较 director cdn管理和管理和 内容分发内容分发 考虑到冗余的设计要求。在中心节点放置二台 sg 加速设备，这二台加速 设备并不需要一定连接在 slb 设备之后来实施负载均衡。因为 bluecoat 的 adn sg 数据中心数据中心 加速动态网页加速动态网页 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 加速方案里提供了不需要 slb 的中心点负载均衡。因此只需要给这二台设备各 一个公网 ip 地址就可以。二台中心点的设备会设置 adn 路由表，自动把源服务 器的网段地址广播给所有的边缘的 sg 设备。 在边缘节点，如果有多台 sg 设备的话，则可以放置在 slb 负载均衡设备 后面，使用私网地址，然后在 slb 上映射为公网的 vip。此时 slb 负载均衡设 备的算法建议使用基于用户源地址 hash 的，来保证每个用户的连接都达到同一 台 sg 设备中进行处理。这样加速效果更好。边缘节点的 sg 设备和中心节点的 sg 设备之间会形成 peer 关系，并建立 adn 隧道进行加速。二者的字节缓存是 完全同步的。边缘节点的 sg 会根据目的地网段的 adn 路由进行数据包转发选择。 如果发现去往目的地的网段有多台 sg peer 都可以通达，则会根据自己的设备 id 采用 hash 的方式自动选择一个 peer 作为下一跳。由于边缘节点有众多 sg 设备，因此最终会使得流量较为平均的转到中心节点的 2 台 sg 设备上。如果中 心节点有一台 sg 设备故障，则边缘节点的 sg 设备会自动切换到另外一台中心 节点 sg 上。 director 分发设备需要一个独立的公网 ip 地址来管理所有的 sg 设备。 为了管理的目的，每个边缘节点的 sg 也需要配置一个单独的公网 ip 地址用于 管理。director 使用 ssh 协议管理 sg 设备。director 设备也可以被配置为冗 余的来保证可靠性。 .2 动态网页加速流程动态网页加速流程 下图表示了用户访问动态网页时的数据包流程： 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ sg 全国数据中心全国数据中心 加速动态网页加速动态网页 internet sg 加速动态加速动态/静态网页静态网页 gslb设备设备slb设备设备 slb设备设备 内容分发内容分发 字节缓存比较字节缓存比较 源服务器源服务器 边缘边缘cdn节点节点 动态网页源服务器动态网页源服务器 1 2 3 4 5 6 7 8 sg 加速动态加速动态/静态网页静态网页 中心节点中心节点 (全国和北京全国和北京) 这些流程可以分步骤解释如下： 1）用户请求内容 /dynamic.css/dynamic.css，用户的 dns 解析请 求会达到 gslb 设备。 2）gslb 设备作出就近性判断把用户的请求重定向到离用户最近的 adn 节点(边 缘节点)的 slb 设备上 3）边缘节点 slb 把用户请求 /dynamic.css/dynamic.css 发送给边 缘 sg。 4）sg 设备根据自己的加速策略判断需要进行 adn 加速，把用户的请求通过 adn 隧道发给对端的 sg 设备（中心节点）。这一请求过程本身也会被加速， 因为通常一个 http request 数据包在几百个字节，如果加速后，则可能只 传送 12 个字节，因此大大缩短了在广域网上的传送延时。 5）sg 中心节点收到数据包后，向动态网页的源服务器发起请求 6）动态网页的源服务器响应给 sg 中心节点真正的用户数据，如数据库表单查 询或网上购物明细等页面。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 7）sg 中心节点收到响应后和自己的字节缓存数据库进行比对，将差量数据传 送到对端的边缘节点 sg，这一传送过程的速度会较未加速前大大加快。 8）sg 边缘节点收到响应后，根据自己的字节缓存，把源服务器的响应还原并 发送给用户。 上述流程就是一个完整的用户请求动态网页加速的流程。如果用户请求的一 个域名下的内容是既有动态网页，又有静态网页。则 sg 加速的流程如下： 1）sg 判断是否是可缓存的页面，如果是，则检查 a) 是否已经在本地的 http 对象缓存中且未过期，如果是则直接给用户服 务 b) 如果已经在本地的 http 对象缓存中但对象已经过期，则向源服务器发 送 ims 请求要求最新的对象。这一请求过程同样会经过 adn 加速。 c) 如果不在本地的 http 对象缓存中，则向源服务器发送内容请求。这一 请求过程同样会经过 adn 加速。 2）sg 判断此网页为不可缓存，则会直接把请求发给源服务器并且这一请求过 程会经过 adn 加速。 .3 设备选型设备选型 这里给出了不同设备型号之间的硬件参数对比： sg8100-gsg810fsg810esg510b 磁盘 6x300g 15k4x300g scsi4x144gb scsi1x300gb sata 内存 4gb4gb4gb1gb 网络接口2 个 ge 标配， 可扩展到 6 个 ge 2 个 ge 标配， 可扩展到 6 个 ge 2 个 ge 标配， 可扩展到 6 个 ge 2 个 ge 标配， 可扩展到 6 个 ge 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ .4 httpshttps 加密动态网页加速业务加密动态网页加速业务 在实际的网站类型的客户中，很多网站是使用 https 进行加密的业务处理。 而且这些 https 的页面往往是个性化的动态的页面。这就要求 cdn/adn 业务能 够提供针对 https 的动态网页加速能力。而传统的 adn 加速方案是无法直接加 速 https 的业务的。这一问题的原因在于 adn 的字典压缩算法对于加密的数据 流是没有显著效果的。 bluecoat 的 adn/cdn 解决方案提供了一个完整的解决方案可以对 https 类型的动态网页进行加速。从而扩展 cdn/adn 加速的适应范围。它的工作原理 是利用 ssl proxy 来截取 https 的流量并对未加密的页面进行字典压缩，然后 再把压缩后的流量进行 ssl 加密传送到 adn 对端设备。这里也分为二种情况： 1）源服务器使用了 https 加密，用户也使用 https 协议请求内容。 2）用户使用 https 协议请求内容，但是源服务器只使用普通的未加密 http。从 sg 边缘节点到源服务器之间使用加密的数据传送。 第一种情况的工作原理如下图所示： 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 边缘节点的 sg 会直接向 https 源服务器发送请求，并得到源服务器颁发 的证书。边缘节点的 sg 和中心节点的 sg 之间会形成一个联合工作的 ssl proxy。bluecoat 称之为 ssl split proxy。边缘节点的 sg 会把证书传递给中 心节点，由中心节点作为客户端和 https 源服务器进行直接通讯，并形成一个 完整的 https 连接。中心节点的 sg 在得到 ssl 内容后可以解密，从而得到了解 密后的 http 内容，能够直接对这些不加密的内容实施高效的字典压缩。而在边 缘节点和中心节点之间，二者使用自己预装的有效证书进行认证和传输加密。 这保证了数据传输的安全性。在边缘节点的 sg 会自动根据源服务器颁发证书的 信息仿真一个新的证书颁发给客户端。 对于 xxx 用户来说，这样的技术方案带来的优势是，由于在 xxx 用户 cdn 托管的互联网公司会有非常多的源服务器，每个源服务器颁发的证书都是不同 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 的。而采用了证书仿真和 ssl split proxy 技术后，整个 cdn/adn 网络的管理 会变得异常简单。bluecoat sg 设备会自动为每个源服务器创建一个新的用于 用户端的证书。这种技术可以大大节省 xxx 用户的维护成本。 第二种情况的工作原理如下图所示： internet sg中心节点中心节点sg边缘节点边缘节点 http 源服务器源服务器 动态网页动态网页 建立https连接 https 请求 在adn隧道中请求http对象, 字典压缩，并且可以使用ssl加密 颁发证书（预装） 请求http内容 返回http内容在adn隧道中返回http内容, 字典压缩，并且可以使用ssl加密 返回https内容 在这个部署方式下，边缘节点的 sg 预装了已经签过的数字证书。当用户访 问 https 内容时，边缘节点的 sg 会把预装的数字证书发给用户。然后边缘节点 sg 可以把用户的解密内容进行字典压缩，并通过加密 adn 隧道传送给对端的中 心节点设备。中心节点设备会以 http 的方式和源服务器进行通信。这种方式源 服务器不需要支持 https，可以节省大量源服务器的计算资源。这种方式实际 上是对源服务器的 https 卸载。 上面的二种部署方案可以共存在边缘节点 sg 中，sg 设备可以根据用户的访 问条件，如域名，url 路径，http header 等多种信息来定义，定义部分用户请 求需要是全程使用 https 加密，部分是需要做 https 卸载的。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ .5 reflectreflect clientclient ip(ip(用户用户 ipip 地址传送地址传送) ) 如果有网站客户需要统计用户的源 ip 地址，或者有特别的认证需求是基于 源 ip 地址的。此时需要把用户的源地址发送给源服务器。bluecoat 中心节点 的 sg 设备此时需要打开 reflect client ip 选项，并使用用户真正的源地址连 接到源服务器来请求内容。 但这里需要注意的是，需要增加四层交换机或设置路由器上的 wccp 流量把 源服务器送回的流量重定向到中心节点的 sg 上。否则会无法建立完整的 tcp 连 接。 .6 保留用户原有域名保留用户原有域名 在实际的 cdn 运营中，会有客户提出这样的需求，他们的原有网站已经申 请了域名，不想放弃，同时又想通过 cdn 的方案部署新的服务，并使用全新的 域名。此时 bluecoat 可以提供一个非常好的方案自动的帮助用户实施全新域名 的 cdn，同时用户原有网站的域名和内容都不需要更改。这里举例如下： 用户原有的域名和网站 url 为：, 希望通过 xxx 用户的 cdn 部署为 , 实际客户访问到 时是访问 xxx 用户的 cdn，然后再作反向代理，其 源服务器是 。这样 xxx 用户给其用户的网站提供了 ssl 卸载服务和 cdn 服务。而用户原有的 可以继续保 留，用于测试或继续服务的目的。 这里面需要注意的一个技术问题是在原有的 网站 中其页面内容中还会嵌入大量的连接，都是基于 域名的链接。 如果对这样的网页实施 cdn 加速，用户点击其中 cdn 加速页面的链接时会直接 访问 ，这样会绕过 cdn 网络而直接访问源服务器。为了避免 这个问题，通常是需要源网站改写其中的页面，这样的工作量是相当大的。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ bluecoat sg 缓存设备提供了一个功能叫做 two way url rewriting，可以解决 这个问题，它可以自动改写网页内部嵌入的链接，如果源网站中页面嵌入的链 接为 /path/page.htm/path/page.htm, 则 bluecoatsg 设备在接受到 源服务器响应后，把页面中的这个链接自动的改写为： /path/page.htm/path/page.htm 这一功能可以避免用户在源网站侧 保留域名的同时还需要对自己的网站内容进行大量改写。是一个提高用户满意 度的非常好的功能。 这里面需要注意的是 bluecoat sg 的 two way url rewriting 功能目前不 能对网页中的 activex 控件中的链接进行改写。如果用户的网站大量使用了 acitvex 控件则此功能目前还无法实施。 4.3bluecoat http 业务特点业务特点 http 缓存是整个反向代理的基础业务。bluecoat proxysg 提供了非常丰 富的 http 业务服务功能，包括： 非常灵活的 http 策略设置 支持认证，授权，sso 灵活的对象刷新机制 支持 http 压缩 支持多线程下载 https 加速和缓存 带宽管理 内容安全的保证 对用户上传内容进行病毒扫描 这里需要指出的是，http 压缩功能也是免费提供的。下面就其中的一些 具体业务进行详细描述： 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ .1 httpshttps 源服务器卸载源服务器卸载 使用 bluecoat sg 设备作为反向代理的方式对源服务器进行加速，可利用 bluecoat 设备的安全性和强大的性能来实现对源服务器的卸载和安全防护。如 果直接在源服务器上部署 https 的业务，则会给源服务器带来很大的压力和资 源开销。如果一个基于软件的 http 服务器上实施 https 服务，其性能通常只有 4-5mbps 的 ssl 吞吐量，并且能够处理的每秒请求数量也是非常有限的。 而如果在 http 源服务器前端部署 bluecoat sg 设备，则可以利用 bluecoat 的设备内置的 ssl 硬件加速卡实现对 http 源服务器的 ssl 加速功能， 从而使得源服务器专注于 http 服务，而将 ssl 加密的任务交给 sg 设备来处理。 在 bluecoat sg 设备上，可以通过二种方式装入数字证书用于颁发给用户 的访问。一种是在 bluecoat 设备上自己签发的证书，这种证书不需要去互联网 上的证书发放机构进行签署，但是用户的浏览器可能没有直接设置为信任 bluecoat 签发的证书并弹出一个提升窗口让用户确认是否信任这个证书。另一 种方式是装入经过互联网上证书发放机构发放的标准数字证书，如 verisign，baltimore 等公司签发的数字证书，这些证书通常是被用户客户端 所信任的。 .2 httphttp 压缩压缩 bluecoat sg 设备支持标准的 http1.1 压缩，可以支持的 http 压缩算法 是 gzip 和 deflate。对于 bluecoat sg 来说，如果源服务器没有使用 http 压 缩，而 client 端请求压缩对象，则可以把未压缩的 http 对象压缩后缓存在本 地，对于后续的 http 访问则直接提供压缩后的对象进行服务，不需要再去源服 务器拿去内容和重新压缩。 bluecoat http 压缩功能是可以根据策略设定来启用的，例如，可以根据 用户访问 url 的不同来确定是否启用 http 压缩。另外如果用户请求的是非压缩 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 的对象，则 bluecoat 会缺省给用户非压缩的对象。对于一些不能压缩的对象， 如 gif 图像文件和 jpg 图像文件，此时尽管 http 策略设定压缩这些对象，但是 bluecoat 设备也会自动忽略这些请求而给用户服务非压缩的对象。 .3 多线程下载多线程下载 bluecoat sg 设备支持标准的 http byte-range 字头，可以被多线程下载 程序如 flashget 用于多线程下载。因此利用 bluecoat 设备可以支持常见的多 线程下载程序。但是目前 bluecoat 设备还不能限制单个用户同时使用的多线程 下载的线程个数。 .4 典型典型 httphttp 策略设置策略设置 bluecoat 的 http 策略引擎提供了非常丰富的 http 策略控制功能，常见 的应用案例包括： 1） 去除用户请求的 no-cache header 来保证源服务器的安全。 2） 根据用户的 user agent header 来判断用户的浏览器版本和类型来判 断用户是否能够得到理想的页面效果 3） 进行 http 重定向来实现用户访问转向 4） 强制缓存指定的内容 5） 对 http 源服务器的错误代码响应提供定制的出错提示页面 6） 拒绝某些指定用户对内容的访问 4.4bluecoat网络安全设计网络安全设计 4.4.1bluecoat 抗抗 ddos 攻击和攻击和 port scanning blue coat 提供了完整的抗 ddos 攻击能力，包括如下的技术特性： sg 可以限制单个客户地址的 http/tcp 连接数量，并且对超过了连接数量 限制的客户连接请求进行拒绝和复位。对于被限制访问的客户，可以设定限制 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 访问的时间间隔，时间到期后恢复这些客户的访问权限。这一防护能力是针对 tcp 以上的协议。 对于常见的底层 ddos 攻击如 icmp flood, tcp syn flood，sg 可以进行安 全防护并且不会因此而消耗系统资源。对于 icmp flood，bluecoat 的设备可以 实施限速，保证不会因为大量的 ping 响应而导致系统资源过载。对于 tcp syn flood，可以对不完整的 tcp 连接不分配资源，从而不会导致系统资源过载。 对于端口扫描的攻击，缺省 bluecoat 设备不会打开任何端口。只有提供 http 服务的 80 端口和 ssh 及 https 管理端口。对于这些提供服务的端口还可 以实施访问控制，只有信任的客户才可以访问这些端口。 4.4.2sgos 操作系统操作系统 blue coat 专用设备的操作系统 sgos 是一个专门为高速对象缓存应用而开 发的操作系统，它通过了国际著名的安全认证：icsa labs 安全认证。表示这 个操作系统是一个非常安全和没有后门的操作系统。黑客不会知道真正的源服 务器地址，也无法通过 bluecoat 的反向代理设备而去篡改源网站的内容和攻击 源服务器。 而作为对比，一个运行在通用操作系统上的 web server 程序，它的安全性 是受限于操作系统的安全性的。在 www.cert.org 网站上，可以搜索到成千上 万的关于 windows, linux, unix 操作系统的安全漏洞。运行在这样的操作系统 之上的网站是非常不安全的。如果把这个 web 服务器直接暴露在 internet 上实 际是一个很危险的部署方式。 在对象存储方面，bluecoat 使用的是按照对象 url 产生高速索引的存储机 制，在硬盘上没有文件系统。即使黑客获取了 bluecoat 代理服务器的硬盘，由 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 于其不了解 bluecoat 的专有存储格式，也无法读出其中存储的数据内容，更不 用说篡改其中的内容。 美国军方的很多网站都采用 bluecoat 的设备作为反向代理作为安全设备部 署在网站的前面，避免其网站遭到黑客的攻击和篡改。 4.4.3bluecoat 协议检测协议检测 blue coat sg 可以检测到 80 或 443 端口访问的流量是否为真正的 http 或 https 流量。只有真正的 http 或 https 流量才会被 sg 进行处理，转发回源服 务器或在本地命中。 这种技术可以防止黑客利用 80 和 443 端口对反向代理设备或源服务器进行 攻击。对于标准 https 协议来说，客户机会使用 http connect method 来连接 服务器，通过对这些方法的检测，bluecoat sg 设备可以清楚地感知是否是真 正的 https 客户端在使用 443 端口还是伪装的 https 流量。 4.4.4防止反向代理服务器成为防止反向代理服务器成为 open proxy blue coat 反向代理设备可以被同时用作正向代理设备，因此当 sg 被部署 在公网上的时候，需要增加相应的安全策略保证 sg 设备不会被作为一个公用的 代理服务器来被其他非法用户用于访问 internet 上的内容。 典型的配置包括： 1）在反向代理服务器上不要配置 dns 服务器。这样非法设定 sg 为代理 服务器的客户将无法访问 internet 上的内容。 2）在反向代理服务器上配置 acl 控制策略。检查用户请求的 http host header 是否匹配正在加速的域名，匹配的进行处理，不匹配 的则拒绝其访问。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 通过上述的二个反向代理上的配置可以保证没有用户或黑客使用代理服务 器访问 internet 上的内容。 4.4.5管理员访问限制和安全管理员访问限制和安全 为了防止在公网上的黑客扫描 sg 的管理端口和进行破坏，在 sg 设备上可 以设置管理员访问控制列表，限制只能有特定的工作站才能访问 bluecoat sg 的管理端口。 同时为了保证设备管理的安全，bluecoat sg 设备使用的是 https 和 ssh 协议进行管理。并且可以定义使用一个专用的 https 端口而非标准的 443 端口。 4.5用户行为分析和统计及错误定位用户的追踪用户行为分析和统计及错误定位用户的追踪 bluecoat proxysg 提供了多种方式的系统访问日志信息，包括：http access log, streaming access log 等。bluecoat proxysg 的系统访问日志可 以被集中的送往 syslog / ftp 服务器进行存储，也可以以实时的方式输出到一 个独立的 log 服务器上进行实时监控。为了确保 log 日志的安全性，proxysg 还可以把日志信息进行数字签名，确保 proxysg 的日志不会被黑客攻击。典型 的 proxysg http access log 格式为 w3c，squid 等标准格式。 同时 bluecoat 提供了 reporter 工具软件来分析所有 bluecoat 设备的用 户访问日志。reporter 工具可以位于一个数据中心，集中地分析反向代理网络 中所有的 log 信息，也可以在每个省网部署一个 reporter 工具。 对于 xxx 用户来说，由于实际运营商网络条件的限制，如果由于错误配置 或设备故障引起的电信用户跨网访问 xxx 用户地址内容的情况出现，则会给用 户的访问效果来很大的影响，甚至影响后续业务的发展。为了避免这个情况的 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 出现，需要反向代理的管理员能够具有追踪和定位能力，把错误定位用户的 ip 地址迅速定位。避免这种跨运营商访问的情况出现。 proxysg 提供了基于策略的 log 能力。可以产生一个独立的 log 文件，把 符合条件的错误定位的用户记录在这个 log 中，供反向代理系统管理员来进行 追踪和分析。例如：假定电信的用户 ip 地址为 /16 网段，xxx 用户 的用户 ip 地址为 /16 网段，cache 上为电信用户提供服务的 ip 地址 是 , cache 上为 xxx 用户用户提供服务的 ip 地址是 。如 果电信的用户错误定位到了为 xxx 用户用户服务的 ip 地址，则 proxysg 上则会 产生出用户访问记录，记录 c-ip 和 cache 服务 ip 地址。这样对于反向代理管 理员来说，只需要察看这个 log 的文件就能追查到任何错误定位的用户访问。 4.6全局网络管理全局网络管理 bluecoat 提供了 bluecoat director 设备用于 bluecoat proxysg 专用设备 的功能强大的集中配置管理、更新管理、策略管理平台。director 是一个专用 的硬件可以支持集中管理和内容分发。 blue coat director 集中管理设备实现对 blue coat proxysg 系列专用设 备的可伸展的更新管理、配置管理和策略管理。产品的设计基于可扩充的管理 专用设备，director 减少了管理成本和复杂性。它为管理员提供了强大的平台， 来对分布的、远程的 sg 系列专用设备进行中心化的集中管理。配置信息和安全 策略都可通过任何一台 pc 或工作站上，通过浏览器在一个易于使用的界面来生 成和管理。 现在，企业能够采用管理成百上千的设备所必须的工具，在他们的整个网 络的全球分支机构内部署 proxysg 专用设备，对地理位置分布的远程系统进行 安装配置和策略更新和耗时且成本很高的工作。director 集中管理设备使这个 改变过程自动化，通过为企业提供快速地实施配置、资源和策略修改所必须的 实质性的工具来有效地管理 blue coat sg 系列专用设备。 blue coat director 集中管理设备使企业能够： o中心化的、全企业范围内的、基于策略的管理 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ o软件升级自动化 o备份配置，并在灾难时恢复 o强大的自动化任务定时安排 o管理专用设备，简化安装和日常维护的难度 o通过安全的 gui 或 cli 进行远程管理 o中心化管理策略，进行全局策略分发 o可从任何带有 web 浏览器的 pc 或工作站上启动管理 下图表述了 bluecoat director 管理的方式： 4.74.7未来扩展未来扩展 目前 xxx 用户的一期工程只考虑了二个节点，未来可以考虑随着业务的发 展扩展为更大规模的反向代理和 adn。 具体的扩展方式非常简单。在每个地方 的新建 pop 点，然后增加 slb 设备，再根据用户的业务量增加缓存设备和广域 网加速设备。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 广域网加速设备在扩展时，通常只需要扩展 pop 节点设备就可以了，因为 广域网加速设备中心节点设备可以和多个边缘节点设备形成 1 对多的伙伴关系。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 5 bluecoat http 缓存技术特点缓存技术特点 下面详细介绍 bluecoat sg 缓存设备针对 http 缓存的高级特性。 5.1pipelining：快速的内容抓取：快速的内容抓取 当浏览器请求内容时，在浏览器和远端的 web 服务器之间将有许多的往返 通讯发生，这是因为一个 web 页面通常由许多对象组成，而对于每个对象的获 取都必须首先有一个 tcp 会话建立，然后进行 http “get”请求，如下图： 这种串行的对象获取对于最终用户来说就意味着大量的延时，blue coat proxysg 设备的运用，将消除这种延迟的大部分；用户连接将终结在 blue coat proxysg 设备，该设备运行 sgos，包含了针对延迟的算法；这些算法之一就是 pipeline 抓取，该专利算法将打开尽可能多的到源服务器的 tcp 连接，并发地 获取 web 对象，这些对象将在浏览器请求它们时，被直接从专用设备快速地传 递到用户桌面系统，如下图： 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ object 1 object 2 object n pipeline 抓取的作用，使 blue coat 产品能够将对 web 页面的首次访问速度提 高 2 倍，这种性能的改善对最终用户来说是直观、生动的。 5.2自适应的刷新：快速、新鲜的内容自适应的刷新：快速、新鲜的内容 由于在 web 服务器上的内容在不断变化，blue coat proxysg 设备必须保持 缓存内容的更新；对于 blue coat 专用设备在将内容从其存储传递给用户时， 必须确信内容是新鲜的，那么，一个“refresh check”必须被发给源服务器； 然而，为了快速地提供内容，那就不能等到用户请求时才实现“refresh”操作。 如果“refresh”检查只在用户请求内容时进行，用户就必须忍受使得网络变慢 的延时，web 页面的响应时间必然也得不到很大的改善。 传递快速、新鲜的 web 页面的唯一可行的方法是将“refresh”操作与实际 的用户访问分开处理；blue coat 专用设备实现这个操作是通过另一个针对延 迟的算法自适应的刷新算法；该专利算法根据 web 对象的需要进行有选择 地刷新，刷新操作与实际的用户请求是异步进行的。 选择哪些对象、何时进行刷新要求专用设备理解对象的变化规律；web 对象 以不同的节奏变化，一部分变化很频繁、一部分很少变化，而大多数介于两者 之间。下图是 blue coat systems 设备在全球不同地区提取的数据，可以发现 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 对象变化比例最高的 24 小时内。（该柱状图并不代表对象如何变化的绝对模型； 它只是说明在分析时的变化比率） 自适应的刷新算法是业界唯一为缓存的每个 web 对象建立“变化模型”的 技术，它还根据这些对象被用户访问的历史情况建立其“使用模型”，然后， 综合这两方面信息来确定适合于这些对象的刷新模式（刷新产生的结果将随这 些模型的变化不断调整）。 通过自适应的刷新算法，blue coat proxysg 专用设备自动与源服务器实现 “新鲜度检查”，从而保证旧的内容被删除，并用新鲜的内容替代。例如，如 果在 首页中的对象，对于通过 blue coat 专用设备访问的用户群， 是访问量很大的；blue coat sgos 将更新那些变化的对象（例如：“top story”对象），而不刷新那些不变化的对象（例如：“cnn logo”对象）；这 样保证当前内容被快速地传递给用户。 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除） 百度一下“知识水坝“ 并发抓取能够改善 web 页面的第一次请求的响应，同时，动态刷新由于使 用户不必等待对象的刷新时的延迟，从而巨大地改善对象的后续请求的响应。 只有通过 blue coat systems