基于云计算的web流量智能缓存方案

1 成果上报申请书 成果名称 基于云计算的 量智能缓存方案 成果申报单位 江苏省 公司 成果 承担 部门 /分 公司 项目负责人姓名 项目负责人联系电话 和 果专业类别 * 数据网络 所属专业部门 * 数据线条 成果研究类别 * 相关网络解决方案 省内评审结果 * 优秀 关键词索引（ 3 5 个） 存、云计算 应用投资 缓存系统投资 40 万元 左右 产品版权归属单位 中国移动通信集团江苏有限公司 对企业现有标准规范的符合度： （按填写说明 5） 符合 如果该成果来源于 研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个： 其他研发项目 成果简介： 简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 互联网 网页访问的快慢会直接影响用户的上网感知和体验 ， 目前 移动宽带 客户访问延迟增大， 务质量问题日益 突显 。 存技术被认为是减轻服务器负载、降低网络拥塞、增强 扩展性的有效途径之一，其基本思想是利用客户访问的时间局部性（ 理，将客户访问 过的内容在 存放一个副本，当该内容下次被访问时，不必连接到驻留网站，而是由 保留的副本提供。 目前 移动各个省市 都在逐步开展本地 存的建设工作，但是缓存 2 系统的性能 参差不齐。江苏公司 整合本地缓存和 各种疏导 出口的资源， 并结合云计算技术 对 缓存系统 进行 整体性能的优化和提升。 采取云计算技术的缓存系统和第三方智能疏导相结合部署的组网方案 部署 ，提升 了 缓存性能，节省 了 昂贵的 第三方出口带宽，提升 了 用户上网感知。 其主要成果如下， （ 1）减少 疏导出口 网络流量 和 网络拥塞 ，从而 节省昂贵的 第三方出口带宽 资源； （ 2）降低客户访问延迟，缓存在代理服务器中的内容，客户可以直接从代理获取而不是从远程服务器获取，从而减小了传输延迟；没有被缓存的内容由于网络拥塞及服务器负载的减轻而可以较快地被客户获取； （ 3） 缓存系统设计时，充分考虑到了缓存失效的情况 ， 同时为避免因缓存失效而引起 客户的访问延迟增加。 在设计 存系统时， 采用 了七层负载均衡交换机对 进入缓存的 流量进行筛选 ， 做到 中率最大化和失效代价最小化 。 省内试运 行效果： 描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等 。 采用七层交换与智能疏导 备 和 存系统 提升效能。 备实现会话及七层应用的第三方分流优化和负载均衡功能，突破了传统路由器最多只能识别到四层和手工调整第三方出口流量的局限；还可对进入缓存系统的 量进行筛选，自动剔除非标准 0 端口的流量，降低缓存系统冗余负荷，提高命中率。 整个缓存系统建设完成后节省第三方出口总体带宽的 20%左右，提升 3 宽带 网速约 5百分点，有效提升了客户感知，为目前宽带网速的优化以及第三方疏导系统的建设提供一个较好的方案。 该系统 除了已经 在无锡 公司使用之外，常州、徐州 分公司 已引进使 用，还有部分分公司也正在积极测试准备引入。 文章主体（ 3000 字以上，可附在表格后）： 根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明 6”。 一、 项目背景 （ 1）在移动宽带面临日益增加的互联互通压力和昂贵的第三方电路租赁费用情况下，如何提高逐步增长的宽带用户的上网感知，是我们当前面临的主要困难。 （ 2）目前各个地市都在逐步开展本地 存的建设工作，但是缓存系统的建设没有一个很好的模式以及性能都不高，所以我们提出了整合本地缓存和第三方出口的资源，结合云计算技术进行缓存系统整体性能的优化和 提升。 采取云计算技术的缓存系统和第三方智能疏导相结合部署的组网方案，提升缓存性能，节省第三方出口带宽，提升用户上网感知。本次研究课题旨在对地市本地缓存系统的建设和 优化工作做出积极有益的探索，并积累 经验。 二、 目前 宽带 优化 中存在的问题 目前第三方出口带宽资源有限并且价格高昂， 如果一旦用户投诉就往第三方疏导，势必造成第三方出口资源的不足。所以 如何更好地利用和发挥第三方出口的功能是我们面临的一个重要问题。 具体如下， （ 1） 采用传统路由器时，当一个出口中断后只能倒换会 4 法在出口间备份。 （ 2）通过传统路由 器不能筛选出非 80 标准包，不能将纯 量给缓存 系统 ，造成 缓存系统 因这些非标准包的处理 而 降低了缓存 的工作 效率。 （ 3） 传统路由器不能选择最快链路来实现优化疏导，只能选择某条固定链路。 三、 存系统主要功能及方案 总体方案介绍： 存解决方案包括两个组件 ,网络流量处理系统和缓存系统。 该 存解决方案，基于虚拟化和云 计算架构，支持所有基于 括新浪、搜狐等大型门户网站，华军、非凡等软件下载网站，操作系统、杀毒软件以及游戏软件的升级安装包下载，以及所有基于 视频媒 体分享网站，如优酷网、土豆网等，支持 文件类型。 本方案使用高性能、分布式的网格计算集群架构，充分利用虚拟化、并行计算等前沿技术，提供一个完全冗余具有电信级可靠性及具有数千兆部署扩展性的缓存内容加速平台，并且允许扩展存储和处理器，对部分特定内容提供定制优化服务。 该 存解决方案的缓存算法可以根据请求内容的大众化或使用频率、内容刷新和准确性提供缓存服务，其目的是将优选普遍的 体内容缓存至本地网络，从而可以更迅速地对用户提供 快速传送，排除相同内容的重复下载， 使流量本地化，节省出口带宽， 节省昂贵的链路租用 5 费用，并减少增加带宽所需的网络设备购置费用。 （一）组成模块 存解决方案包括两个组件：网络流量处理系统和缓存系统。 1、 网络流量处理系统 网络流量处理系统包括流量七层帅选和 议 的流量分发。 利用七层交换机开启七层包监测 , 进一步过滤分拣流量的方式， 筛选出非 80标准包，将纯 量给缓存 系统 ， 提高 存命中率，降低缓存用率，从而达到更高效利用缓存系统 的目的 。 网络流量处理系统通过 议（ 根据预设的转发规则及分发算法，将 量重定向到缓存系统并具体分发到每台缓存设备。如果缓存系统中有缓存设备发生故障，无法正常工作，流量处理系统可以自动探测，并立即将转往该缓存设备的流量分发到其他缓存；如果缓存系统所有设备均发生故障或整个缓存系统离线，流量处理系统则停止向缓存系统转发流量，而是直接将流量发往默认路由下一跳节点。 2、缓存系统 缓存系统可以透明地分析流量处理系统转发过来的 量，判断内容是否能够缓存，并执行相应操作。如果能够缓存，就检查存储系统中是否已经保 存了相应的内容拷贝，如果有，则从存储系统中直接读取该内容并返回给用户；如果没有，就主动连接远程主机下载该内容，并将内容转发给请求的用户，同时在存储系统中保存相应的拷贝。整个过程对用户端来说是完全透明的，即终端用户无需修改任何设置，也感觉不到 缓存 系统的存在。 6 网络流量处理系统与缓存系统分离，可以增加网络的扩展性能，为增加带宽提供可扩展的平台。 （二）设备组件 存 缓存系统主要包括以下主要组件： 1、缓存设备 缓存设备的硬件平台，具体配置如下： 平台 1 510 颗 强 核处理器， 12速缓存，s 内存 64 1333列 存 硬盘 104505K 6寸热插拔硬盘； 4100G 盘阵列卡 1700 集成 制器， 512M 高速缓存 1800 制器， 1G 高速缓存 网卡 716 双端口千兆以太网卡； 2 兆 端口服务器适配器 磁盘扩展柜 14600G 10K 源 冗余电源（ 750W） 2； 远程管理 存虚拟机 8 路虚机并行。 处理性能 7000 请求 /秒。 2、流量处理设备 流量处理设备为一台 750G 三层交换机，具体型号为体配置参数如下： 24 个千兆电口， 10/100/1000M 自适应 4 个 口 转发速率： 160 包转发率： 7 支持： 电源：双电源 （ 三）部署方法 1、系统拓扑结构 系统拓扑结构如 图 1 系统拓扑结构 所示： 图 1 系统拓扑结构 （ 1） 存系统配置： 每台 缓存 2500服务器上的 口千兆网卡分别连接四条五类线到 750（共 4 条千兆链路），划分到 （ 提供缓存服务； 每台 缓存 2500 服务器上的板载 兆网卡连接一条线到 750（共 2 条千兆链路），划分到 （ 提 8 供远程管理配置服务； 每台 缓存 2500服务器上的 750（共 2 条千兆链路） 过 接到核心交换机（视转发流量而定）的上行口和下行口（ _分别划分到 （ 2）七层负 载均衡设备 略 七层负载均衡设备 所要管理的流量由 7600路由器策略路由引入X 3000 设备后，再根据策略转发至缓存系统或者第三方链路； 000 和 7600 之间采用多个端口捆绑引入流量 多个第三方链路通过防火墙后接入 X 3000 设备，防火墙过 000 设备发送会内网日志服务器 750仍旧保持原有 科 3750 原来和 7600 直连，现在改为和 X 3000 捆绑接入，由 000 分拣流量后发送给 统。 针对 统， 000 可以通过黑名单或者白名单方式过滤流量，将适合发送给缓存的流量转发给缓存系统 针对出口链路， 000 可以通过多种手段灵活调整流量分配策略，包括 o 根据目标地址所属运营商，在链路中按照链路带宽选路 9 o 按照最快响应选择最佳链路 o 可根据需求，同一个链路可以为不同运营商服务，例如同时处理电信和网通流量 需要疏导的流量 如 o 所有 0 端口流量经过分辨后发送缓存 o 其他端口流量和不适合发送缓存的 0 端口流量智能选路使用第 三方链路 o 缓存使用本身 址获取和更新内容，针对这些源地址流量智能选路使用第三方链路 以上配置的关键在于避免 路，保障正常流量的分发 其他 o 基于 7 层的链路健康监测，按照特定网站是否可以访问作为判定链路健康与否的方式 o 链路故障或者恢复可以通过日志报警，例如发送 139 信息到手机上 流量处理的逻辑图如下， 10 2、流量导入机制 为避免给现网流量造成过大冲击，导入流量可以采取分阶段抓重点的方法进行，即： 第一阶段 可将一部分用户（ 1000户）的所有 求通过策略路由（ 式在核心交换机上转发给 750，缓存系统在每天处理完用户请求后，可以根据访问日志，分析汇总得出用户访问流量分布构成报表，根据这个报表，可以进行第二阶段的流量导入。 第二阶段 根据缓存得出的用户访问流量分布报表，将占流量构成 0给 750；同时逐步将用户流量限制范围扩大，最终取消限制，将所有用户的访问 表网段的 11 请求导给缓存系统，实现缓存效益的最大化。 四、 解决的问题 （ 1） 存系统上线后采用互联网探针系统测试统计提升宽带网速 约 10%，晚忙时节省第三出口约 400右 。 （ 2） 启 7 层交换机功能，可以筛选出非 80 标准包，将纯 免缓存对这些非标准包的处理，提升缓存效率。 优化前缓存系统的情况： 优化后缓存系统的情况： 12 优化 后缓存命中率由日均 加到 较之前提升约 12个百分点。测试前缓存处理用户上网请求数日均 s 左右（包含网页请求和非标准网页请求）， 线后缓存处理的请求数下降为 s 左右，其中 滤了约 40%的迅雷等非标准 80 端口 的流量，降低了缓存负载，使缓存可以处理更大的 量。 （ 3） 原 由模式，当一条第三方出口故障后，原路由器模式是自动切换到 口，通过 以再重新选一条第三方出口。 （ 4） 以根据业务质量实现第三方出口的路由调度