方案建议书-第九分册-Cache系统.doc

北京国网讯通数据网络技术有限公司 山东省山东省 Internet 数据中心工程数据中心工程 技术建议书技术建议书 第九分册第九分册 Cache 系统实施建议系统实施建议 北京国网讯通数据网络技术有限公司北京国网讯通数据网络技术有限公司 二零零零年十二月二零零零年十二月 北京国网讯通数据网络技术有限公司 目录目录 第一章第一章 CACHE SERVER 技术介绍技术介绍 1 1 1 概述 1 1 2 WEB 缓存服务概览 3 1 3 缓存系统的基本操作 6 1 4 主页缓存的类型 6 第二章第二章 缓存服务器系统设计缓存服务器系统设计 14 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 1 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第一章第一章 Cache Server 技术介绍技术介绍 1 1 概述概述 万维网的快速增长以及公司内联网对 Web 技术的采用开创了网络计算的 新纪元 尽管学者们大谈电子商务 虚拟社区以及数字神经系统 此新纪元的 真实特征却是 用户感到前所未有的失望 以及 WAN 成本的不断增长 是何 原因呢 这是因为当初在设计 Web 的基础结构时 并没有考虑到人们目前对 它的需求量 而且这种情况正变得更加糟糕 随着公司用户以更快地速度将其台式机和分支办公室连接到 LAN 以及家 庭用户也采用了速度更快的访问技术 例如 56K 调制解调器 电缆调制解调 器 ISDN 和 xDSL 他们会期待越来越快的 Web 和内联网的响应速度 然 而 如果用户高速访问链接的终端是速度缓慢的 WAN 以及拥挤的服务器 这 种期望便会受到打击 虽然企业和服务提供商正在部署速度更快的 WAN 和更大型的服务器 但 是这样做成本昂贵 并且只是权宜之计 因为等到用户的需求再次超出基础结 构的容量时 问题又会出现并且循环往复 到了一定时候 面对似乎永无止境 的用户要求 在效益缩减原理的作用下网络将由于其自身的庞杂而崩溃 此外 在善变的用户总是每天蜂拥到新的热门 Web 站点的世界上 固定容量的投资 的作用有限 为此 出现了不同的技术来满足这种日益增长的网络带宽需求 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 2 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 1 站点镜像站点镜像 Mirroring 即主页内容被复制在不同位置的服务器上 其原理 非常简单 使主页发布服务器尽量靠近用户 但这种方法存在很大缺陷 1 镜像内容只能事先设定 无法根据用户访问需求的变化而实时调整 2 需要定 时更新以保证镜像站点与源站点内容的一致性 由于更新时无法识别内容变化 部分 因此必须全部更新 在源站点容量较大的情况下 定时更新需要占用很 大的网络资源 3 对于后台采用数据库支持的源站点 除非通过授权进行后台 数据库镜像 否则对站点的镜像复制技术上存在困难 4 镜像站点需要专门维 护以保证镜像的完整性和一致性 2 客户端客户端 浏览器缓存浏览器缓存 Client Brower Caching 缓存由客户端在浏览器实现 它可以加速单个客户端对主页的访问速度 但由于其缓存无法与其他用户共享 其他用户在访问相同主页内容时仍然需要通过 Internet 获取 因此并不能带来带 宽的节约 3 数据压缩数据压缩 Compression 数据经过压缩后再通过网络传送 它要求在服 务器端和客户端增加额外的压缩 解压缩程序 影响了应用的透明性 同时造成 服务器的额外开销 4 主页缓存主页缓存 Web Caching 主页缓存即将用户经常访问的主页内容存放在 与用户有高速网络连接的用户侧网络服务器中 以提高对经常使用主页的访问 速度 主页缓存的原理是这样的 当浏览器向网络发出页面请求时 主页缓存 服务器接管并解释该请求 如缓存中存有该主页的有效拷贝 未超过设定时限 则立即将该拷贝发送给客户端浏览器 否则 主页缓存服务器通过网络从数据 源获得浏览器所请求的主页内容 再将结果返回给客户端浏览器 同时在主页 缓存服务器中保留一份拷贝供今后相同的页面请求使用 要解决这一问题 需 要有一个新的 更加灵活的架构 这种架构无须不断地对服务器和带宽进行升 级 此外 部署和维护的成本必须低廉 并且还要易于管理 无论最终的形式 如何 这种架构中的一个关键因素在于采用一种分布式系统 将用户经常访问 的内容存储在与用户邻近之处 这就是 Web 缓存服务的出发点 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 3 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 1 2 Web 缓存服务概览缓存服务概览 Web 缓存服务通过几种方式来改善用户的响应时间 如图 1 所示 通过 Web 缓存服务 用户访问网页时可以将 WAN 的流量降至最低 对于公司内 联网用户来说 这意味着将内容在本地缓存 而无须通过专用的 WAN 来检索 网页 对于万维网用户来说 这意味着将内容存储在他们的 ISP 的 PoP 中 而无须通过 Internet 来检索网页 在上述任何一种情况下 不但用户可以获得 更快的响应 而且企业或 ISP 也会因为通信成本的降低而受益 图一 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 4 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 实际上 Web 缓存服务采用一种分布式处理系统 这种系统将受欢迎的 Web 页存储在许多服务器内 从而提高了对这些 Web 页的总处理能力 缓存 服务能有效地在指定时间内向用户传送他们最需要的内容 内容越受欢迎 被 缓存的可能性越大 在完美的状况下 理想的缓存服务解决方案必须具有以下 8 个特点 1 100 命中率 2 缓存中的页对用户作瞬时响应 3 没有多余的 WAN 流量 4 缓存中的内容没有多余的重复 5 100 正常运行时间 6 对非 Web 流量没有影响 7 无须逐渐增加硬件或软件成本 8 对客户机 缓存以及中间系统实现零管理 虽然这种理想化的系统是不可能实现的 但缓存系统与这种目标越接近 它为用户和管理员提供的服务也将越好 100 命中率的第一个目标是指用户每次从 Web 页请求可以缓存的 即 并非真正动态 内容时 内容应在缓存中 并且信息是最新的 良好的缓存服 务系统设计可以大大提高命中率 一个值得重点考虑的问题是 如果某个站点 上部署了多个缓存 是否将对相同内容的多个用户请求引导到同一缓存呢 将 对相同内容的一系列请求引导到同一服务器上可以确保除第一个以外的所有请 求均可以得到缓存内容的服务 这样还可以确保在缓存满溢的情况下确定要刷 新哪些内容时 不会过早地将内容从一个采用最近最少使用 LRU 算法的缓 存中删除 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 5 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 完美的缓存服务系统设计的另一个重要目标是对来自用户的请求提供真正 的瞬时响应 这一目标与命中率有一部分关系 缓存中的数据返回的速度比从 包含内容的站点检索数据的速度要快 这一目标也与另外一些因素有关 例如 缓存中是否有足够的处理能力来为所有请求提供快速服务 可以通过部署更大 的缓存引擎 将面向网络的功能转移别处 以及将缓存集中到一个缓存集群的 方法来提高缓存处理能力 理想的缓存服务系统的第三个目标是不产生多余的 WAN 流量 也就是说 除非所有本地缓存都没有被请求的内容 缓存服务系统不会到 WAN 去查找内 容 将多个对相同内容的请求引导到同一服务器不仅有助于实现这一目标 而 且也有助于实现命中率目标 下一个目标是确保缓存不产生多余的重复内容 系统中多余的重复内容越 多 实现指定的命中率所需的磁盘空间也越多 从而浪费财力 从另一个角度 来看 对于任何给定数量的磁盘空间 其中多余的重复内容越多 命中率将越 低 从而增加 WAN 成本并降低用户的满意程度 缓存服务系统的第五个目标是 100 正常运行时间 根据所部署的缓存系 统类型 缓存系统故障可能导致 Web 或 Internet 连接的丧失 缓存系统的可 用性可以通过部署冗余缓存和在网络与缓存之间提供冗余连接而得到提高 理想的缓存服务系统的第六个目标是 对非 Web 流量没有影响 在某些 缓存服务系统中 某些部件必须同时插入到与 Web 相关和与 Web 不相关流量 的数据路径中 在这种情况下 系统必须尽量减小由于缓存了非 Web 流量而 造成的影响 与其为用户提供的利益相比 缓存服务应是价格低廉的 因为即使是象 Squid 这样的免费软件的缓存服务解决方案也必须在一些服务器平台上运行 所以没有哪种缓存服务系统是真正免费的 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 6 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 最后 缓存服务解决方案应该只需要最少的管理 对缓存服务系统的管理 也许不仅需要管理缓存本身 而且需要管理客户机浏览器以及任何所需的中间 系统 例如交换机或路由器 管理应主要集中在客户机浏览器上 因为客户机 浏览器的数量比系统中的任何其它部件都多 并且它们可能处于管理员无法访 问的位置 例如 在面向客户的 ISP 环境中 浏览器是在客户的家中 1 3 缓存系统的基本操作缓存系统的基本操作 要实现缓存服务 那么 接收用户对 Web 内容的请求的就必须是缓存而 不是 Web 服务器 确保这一点的方法之一是配置浏览器 以便将 Web 请求 直接发送到缓存 另一个方法是让浏览器对 Web 内容的请求像往常一样发往 包含该内容的服务器 但通过一些其它设备来截取这些请求并将它们重引导到 缓存 当缓存收到对 Web 内容的请求时 它将查看是否存储了所请求的内容 如果缓存中包含该内容 它便将内容直接发往请求者 如果不包含该内容 缓 存便将向适当的 Web 服务器请求该内容 该服务器可能在公司内部某处 也 可能在 Internet 上 缓存从包含内容的服务器接收到该内容后 便将其转发给 请求者 然后缓存该内容 以便能够快速处理今后对相同内容的请求 1 4 主页缓存的类型主页缓存的类型 缓存服务系统通常使用三个部署选项之一来确保对 Web 页的请求到达缓 存 而不是到达远程主机 第一个选项称为代理缓存服务 使用代理缓存服务 时 对浏览器的配置会把对 Web 页的请求直接发送到缓存 而不是发送到包 含内容的 Web 服务器 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 7 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第二个选项称为透明代理缓存服务 使用该选项 浏览器像通常一样将请 求发送到包含内容的 Web 服务器 缓存本身位于数据路径中 通常在进入 WAN 之前的最后一个路由器中继附近 检查发往 Internet 的所有数据包 截 取 Web 流量并为其提供服务 这就要求把缓存作为一个路由器中继来配置 或者将客户机配置为将该缓存作为自己的默认路由器来使用 在企业环境中 最好将缓存放置在最接近于 WAN 的地方 第三个选项是执行透明代理缓存服务 添加一个称为 Web 缓存重定向器 的部件 使用 Web 缓存重定向的透明代理缓存服务可以将缓存从数据路径中 移去 并通过将许多它必须执行的处理密集型的网络功能转移它处来提高缓存 性能 这些设备 通常是运行特殊软件的 LAN 交换机或路由器 检查所有发往 Internet 数据包 截取 Web 流量 并将它发送到缓存进行处理 和使用普通的 透明代理缓存服务一样 在企业环境中最好将 Web 缓存重定向器放置在最接 近于 WAN 的地方 以便使内联网的流量能够从包含内容的服务器 而不是缓 存 得到服务 代理缓存服务代理缓存服务 如图 2 所示 使用代理缓存服务后 所有对 Web 页的请求被发送到缓存 的 IP 地址 例如 客户机 N 的浏览器配置为将所有 HTTP 流量指向缓存 X 的 IP 地址 如果客户机 N 请求单色或条状背景的 Web 页 他们可以从缓存 得到服务 如果客户机 N 请求纵横交错排列的 Web 页 则缓存必须向主机 A 发送请求 以检索信息 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 8 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 图二 这种方法有一些优点 第一 由于客户机将所有 Web 请求 并且只是 Web 请求 直接发送到缓存 因此对非 Web 流量没有影响 可以将这一点与透明 代理缓存服务进行比较 在透明代理缓存服务中 缓存或重定向器必须在数据 路径中 并查看所有流量以确定哪些是 Web 流量 第二 逐步增加的硬件和软件成本将仅限于运行缓存的服务器和缓存服务 软件 根据解决方案的具体情况 这些产品可以分别购买 也可以捆绑购买 第三 对缓存的管理仅限于基本配置 由于不涉及任何中间系统 因而无须对 中间系统进行管理 然而 客户机管理是代理缓存服务的主要缺点 因为每个浏览器必须配置 成指向缓存 对浏览器进行管理所需的工作量对整个管理工作的负担具有巨大 影响 因为浏览器的数量大大超过缓存或中间系统的数量 在公司环境中 浏 览器配置十分繁琐 但可以进行自动配置 然而 要想让 ISP 控制台式机几乎 是不可能的 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 9 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 代理缓存服务的另一个重要缺陷是 即使为实现可伸缩性而部署了多个缓 存 每个客户机也只能命中其中一个缓存服务器 如果部署了多个缓存并且使 用了代理缓存服务 如图 2 所示 则浏览器必须配置为指向其中的某一个缓 存 使每个浏览器指向一个特定缓存会导致不良后果 例如 用户所需的内容 可能已缓存在本地网络中 却不在用户的浏览器所指向的缓存中 这种未能指 向正确缓存的结果 会导致较低的命中率 更多的 WAN 流量和对用户响应的 延误 如果各个缓存均使用缓存到缓存传递协议 则可以避免部分上述缺陷 然而 并非所有缓存服务系统都具备此功能 第二 代理缓存服务会导致多余的重复数据 因为代理缓存服务通常无法 将对内容的请求重定向到其它缓存 所以所有页都必须存储在两个缓存中 因 而导致多余的重复数据 第三 由于所有 Web 流量 包括内联网流量 必须由缓存来提供服务 因此会有更多的用户响应的延误和数据重复 最后 代理缓存服务可能导致不必要的停机 如果用户的浏览器指向一个 发生故障的缓存 在重新对他们的浏览器进行配置或者在缓存恢复工作前 用 户将无法进行 Web 访问 透明的代理缓存服务透明的代理缓存服务 透明代理缓存服务保留了代理缓存服务的一些重要优点 由于无须中间系 统 所增加的硬件和软件成本仅限于运行缓存的服务器和缓存服务软件 这也 意味着无须管理中间系统 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 10 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 如图 3 所示 透明代理缓存服务允许浏览器将对 Web 页的请求发送到包 含内容的服务器 这样可以消除代理缓存服务的一个主要缺点 即需要配置浏 览器 使用透明代理缓存服务 无须对浏览器作任何配置 配置透明代理的方 法之一是让每个客户机将缓存作为默认网关使用 然而 这种方法并不能算作 额外的管理 因为无论在何种情况下 所有台式机都必须配置一个默认网关 唯一的变化是用缓存的地址代替路由器的地址 图三 然而 虽然透明代理消除了代理缓存服务的一个主要缺点 但仍然保留了 另一些并增加了一些新的缺点 保留的缺点之一是 由于每个客户机和 Internet 之间通常只有一个活动路径 因此客户机通常只能命中一个缓存 这样 每个 客户机将只能命中位于该路径上的缓存 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 11 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 透明代理缓存服务由于有低可用性问题而可能会使问题变得更糟糕 可用 性的降低可能会使问题变得更糟是因为缓存位于数据路径中 其结果是 如果 用户要去的缓存发生故障 该用户将失去所有 Internet 连接 并还可能失去一 些内联网连接 而不仅仅是 Web 连接 只有当备用路径进入运作时 连接才 会恢复 透明代理新增加的一个缺点是 它对非 Web 流量有负面影响 请记住 所有 Internet 流量都必须通过缓存 而不仅仅是 Web 流量 缓存必须过滤出 与 Web 有关的流量 并将其它流量继续传递 不幸的是 最适用于缓存和其 它类型服务器的处理结构并不适合于检查大量数据包的内部信息 其结果是 透明代理缓存会降低通向 Internet 所有类型的通信速度 因为它们必须对每个 数据包进行逐一处理 以识别 Web 流量 最后 透明代理缓存会带来额外的管理工作 因为它们必须被作为路由器 来配置 如上所述 透明代理缓存位于数据路径中 它们通常配置为下一个中 继路由器或者客户机的默认网关 这意味着缓存必须配置两个网络接口 一个 连接到网络的客户机端 另一个连接到通向 Internet 的路径 缓存还必须被配 置成能在这些接口之间进行路由 以便那些需要通往 Internet 的非 Web 流量 可以到达 Internet 此外 由于使用透明代理的浏览器发送的数据包使用远程 Web 服务器的 IP 地址作为目标 IP 地址 因此缓存还必须处理那些并未发往它本身 IP 地址 的数据包 要做到这一点 必须安装网络地址转换功能 并将其配置成能在将 数据包发送到协议栈的上一层之前 将 Web 数据包的目标 IP 地址转换为缓 存的 IP 地址 在从缓存将数据包发送到客户机时 还必须反向转换成源 IP 地址 安装并配置网络地址转换会带来额外的管理工作 透明代理的路由选择 数据包检查和网络地址转换功能均会占用用于缓存 主要功能 为 Web 提供页服务 的 CPU 周期 这降低了缓存服务系统的整 体性能 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 12 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 使用使用 WebCache 重定向技术的透明代理缓存服务重定向技术的透明代理缓存服务 在解决与 Web 缓存服务有关的部署和管理的问题中 Web 缓存重定向是 最新的概念 Web 缓存重定向功能通常在专用 LAN 交换机或路由器上执行 如图 4 所示 重定向器在数据路径中 而缓存已移出了数据路径 并且原来由 缓存执行的网络功能 在普通的透明代理的情况下 被转移到重定向器上 或 者在某些情况下全部被消除了 图四 重定向器特别具有以下功能 1 检查所有数据包以识别应被转到缓存的 Web 流量 2 转发非 web 流量 3 为要被引导到缓存的流量进行网络地址转换 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 13 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 4 将相应的 Web 流量转发到缓存 如果缓存重定向是在路由器上执行的 那么它还可以处理所有路由事务 如果是在交换机上执行的 则无须再在网络的该点进行路由选择 将 Web 缓 存重定向添加到透明代理缓存的解决方案消除了无重定向透明代理的缺点 同 时还保留它的大多数优点 由于使用了经过优化的数据包检查设备进行数据包 处理 因此处理工作可以迅速完成 同时对非 Web 流量的影响极小 将数据包检查功能 以及网络地址转换和路由选择的功能从缓存移出 释 放了为 Web 页提供服务的缓存服务器上的 CPU 周期 为 Web 页提供服务 是缓存真正应该完成的工作 同时 将缓存的这些功能转移他处也意味着无须 将缓存配置成从事网络地址转换或路由选择 由于所有透明代理系统都无须对 浏览器进行配置 因此添加重定向器使缓存服务在最大程度上接近于零管理 使用单独的缓存重定向器可使客户机负载动态地在多个缓存中平衡分布 从而提高处理能力 减少响应时间 与以前讨论的情况不同的是 Web 缓存重 定向器可以接收来自于一个客户机的请求并将负载分发给多个服务器 将对内 容的请求引导到存储了该内容的缓存上 这样可以提高命中率 减少 WAN 流 量和用户响应时间 并避免了不必要地存储内容的多个副本 Web 缓存重定向器还可以提高可用性 缓存重定向器可识别本地连接的缓 存 并可以对这些缓存执行健康状况检查 如果部署了多个缓存 重定向器可 以将对内容的请求只引导到已经通过健康状况检查的缓存 此外 还可以部署 冗余重定向器 以消除系统中的任何单故障点 并提供最大限度的正常运行时 间 Web 缓存重定向的一个负面效果是必须部署一个额外的中间系统 重定向 器得花钱购买和进行配置 这样会略微增加解决方案的开销和管理负担 北京国网讯通数据网络技术有限公司 Tel 85288668 Fax 85288670 第 14 页 地址 北京朝阳区建国门外大街永安东里 8 号华彬大厦 16 层 100022 第二章第二章 缓存服务器系统设计缓存服务器系统设计 为了减少对广域网的访问带宽的需要及提高 Web 的访问速度 根据山东省 Internet 数据中心的建设方案 我们选择了 Cisco Cache Engine 570 与 Cisco Catalyst 6500 系列交换机配合使用 并采用带重定向的透明代理缓存模式 分 别在省中心 济南和青岛三节点设置一台缓存服务器系统 Cache Server 各 节点的千兆骨干交换机 Cisco Catalyst 6500 系列 通过 100M 快速以太网口与 Cache Server Cisco Cache Engine 570 相连 交换机将访问节点内的 WWW 访 问数据流进行重定向送到 Cache Engine 进行处理