基于网络缓存加速系统的运营支持解决方案使用报告毕业设计

精品文档 基于网络缓存加速系统的运营支持基于网络缓存加速系统的运营支持 解决方案使用报告解决方案使用报告 成都成都 XXXX 宽带网络服务有限公司宽带网络服务有限公司 20092009 年年 9 9 月月 精品文档 目目 录录 1 1前言前言 1 2 2网络情况网络情况 1 2 1网络现状 1 2 2网络结构 1 3 3实施安排实施安排 2 4 4网视通缓存加速系统网视通缓存加速系统 2 4 1网视通系统硬件性能指标 2 4 2网视通系统部署 2 4 2 1自动缓存平台与智能管理平台部署 3 4 3IP 地址分配 5 5 5网视通系统工作情况网视通系统工作情况 6 5 1用户使用 P2P 下载体验 7 5 1 1下载响应时间 7 5 1 2下载平均速度 7 5 1 3下载最高速度 7 5 1 4无缓存资源情况下的效果对比 8 5 1 5结论 8 5 2客户端支持 8 5 2 1迅雷 9 5 2 2快车 2 0 9 5 2 3比特彗星 1 04 10 5 2 4比特精灵 v 3 3 2 252 10 5 2 5结论 11 5 3WEB 视频效果分析 11 5 3 1土豆网 11 5 3 2优酷网 12 5 3 3无缓存资源情况下的效果对比 12 5 3 4结论 13 5 4用户使用 P2P 下载体验 13 5 4 1HTTP 下载效果 13 5 4 2无缓存资源情况下的效果对比 14 5 4 3结论 14 5 5网视通内网流量分析 15 5 5 1自动缓存平台的流量情况 15 表 10 自动缓存平台流量差统计表 16 5 5 2结论 16 6 6我看 我搜及推送页的使用我看 我搜及推送页的使用 17 6 1我看 17 6 1 1使用效果 17 6 1 2结果小结 19 精品文档 6 2我搜 20 6 2 1使用效果 20 6 2 2结果小结 22 7 7VODVOD 类应用情况类应用情况 22 8 8镜像类应用情况镜像类应用情况 22 9 9方案使用总结方案使用总结 23 1010使用前后效果对比使用前后效果对比 23 10 1网络应用上的前后效果对比 23 10 2市场运营上的前后效果对比 25 10 3使用前后效果对比总结 27 精品文档 1 1 前言前言 目前 以 P2P 以及 HTTP 为主的视频应用作为互联网主流应用 被越来越多 的用户接受 使用 但是大规模的 P2P 应用以及 HTTP 下载应用对成都 xx 网络 的影响是巨大的 吞噬出口带宽 挤占其他应用 致使服务质量下降 为解决 这一问题 我公司采用了成都盛世博通网络科技有限公司的提供的基于网络缓 存加速系统的运营支持解决方案 2 2 网络情况网络情况 2 12 1 网络现状网络现状 成都 xx 现有宽带在网用户 5 5 万左右 城域网的流量都汇聚在世贸中心 6509 上 再经 2 台 SE800 认证设备到各个出口 2 22 2 网络结构网络结构 网络拓朴结构如图 1 所示 图 1 成都 xx 网络拓朴结构图 精品文档 3 3 实施安排实施安排 基于网络缓存加速系统的运营支持解决方案 在内网做了多项建设 缓存加速类 网视通缓存系统 VOD 类应用 激动网 广电宽频 镜像类 迅雷 PPS 4 4 网视通缓存加速系统网视通缓存加速系统 4 14 1 网视通系统硬件性能指标网视通系统硬件性能指标 网视通性能指标见表 1 表 1 设备性能指标 单台 设备名称设备名称性能指标性能指标 分析定向平台分析定向平台监控端口 单台支持达 6 个 GE 口 自动缓存平台自动缓存平台 吞吐量 大于 500M 缓存存储能力 3 5T 并发内容服务 1000 1500 智能管理平台智能管理平台 网络接口 100M 1000M 管理接口 网页式 4 24 2 网视通系统部署网视通系统部署 成都 xx 城域网的流量都汇聚在世贸中心 6509 上 经 2 台 SE800 认证设备 到各个出口 本次实施考虑将 2 台认证设备的入口 均为 GE 端口 做分光 对流 经 SE800 的 P2P 下载流量以及 HTTP 下载流量进行优化管理 精品文档 网视通所用设备数量及用途见表 2 表 2 实施系统部署设备列表 设备名称设备名称数量数量用途用途 分析定向平台分析定向平台2 台P2P 下载流量拦截和请求重定向 自动缓存平台自动缓存平台12 台 负责缓存 P2P 下载资源 HTTP 下载资源 和 FLV 视频资源 并向用户提供下载加速 服务 智能管理平台智能管理平台1 台 管理和协调分析定向平台 自动缓存平台 等设备 系统部署拓扑结构如图 2 所示 图 2 网视通实施部署拓扑结构图 精品文档 4 2 14 2 1自动缓存平台与智能管理平台部署自动缓存平台与智能管理平台部署 1 自动缓存平台由 10 台服务器组成 包括 PACS1 6 WACS1 2 HACS1 4 根据成都 xx 需加强对优酷网的缓存的要求 故使用 2 台机器专门做优酷的 WEB 视频 命名为 WACS 其设备配置及端口见下表 5 设备名称设备名称配置配置端口端口 PACS1PACS1 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 750G 3 1T 2 内存 创见 FDB 2G 4 GE 电 PACS2PACS2 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 750G 3 1T 2 内存 创见 FDB 2G 4 GE 电 PACS3PACS3 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 750G 3 1T 2 内存 创见 FDB 2G 4 GE 电 PACS4PACS4 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 750G 3 1T 2 内存 创见 FDB 2G 4 GE 电 PACS5PACS5 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 750G 3 1T 2 内存 创见 FDB 2G 4 GE 电 PACS6PACS6 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 750G 3 1T 2 内存 创见 FDB 2G 4 GE 电 WACS1WACS1 Intel xeon E5405 1 内存 8G 硬盘 80G 750G 3 1T 2GE 电 WACS2WACS2 Intel xeon E5405 1 内存 4G 硬盘 80G 750G 3 1T 2GE 电 HACS1HACS1 Intel R xeon E5405 1 内存 4G 硬盘 160g 1TGE 电 HACS2HACS2 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 1T GE 电 精品文档 内存 创见 FDB 2G 4 HACS3HACS3 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 1T 5 内存 创见 FDB 2G 4 GE 电 HACS4HACS4 Intel xeon E5405 2 Intel S5000PSL 硬盘 160G 1T 5 内存 创见 FDB 2G 4 GE 电 2 智能管理平台由 1 台服务器组成 其设备配置及端口见下表 6 设备名称设备名称用途用途端口端口 ICSICS Intel R Core TM 2 Duo CPU E4500 2 20GHz 内存 2G 硬 盘 160G GE 电 3 两类共 11 台设备均配备千兆接口 4 34 3 IPIP 地址分配地址分配 网视通系统设备 IP 地址分配如表 7 所示 表 7 IP 地址分配表 设备名称设备名称IPIP 地址地址子网掩码子网掩码网关网关 分析定向平台分析定向平台 1 1 eth0eth0 211 162 130 49255 255 255 240211 162 130 51 分析定向平台分析定向平台 1 1 eth1eth1 211 162 130 66255 255 255 248211 162 130 65 分析定向平台分析定向平台 2 2 eth1eth1 211 162 130 67255 255 255 248211 162 130 65 智能管理平台智能管理平台 211 162 191 190255 255 255 0211 162 191 254 精品文档 PACS1PACS1202 115 1 81 211 162 190 231255 255 255 0202 115 1 254 PACS2PACS2202 115 1 83 211 162 190 232255 255 255 0202 115 1 254 PACS3PACS3202 115 1 87 211 162 190 233255 255 255 0202 115 1 254 PACS4PACS4202 115 1 88 211 162 190 234255 255 255 0202 115 1 254 PACS5PACS5202 115 1 89 211 162 190 235255 255 255 0202 115 1 254 PACS6PACS6202 115 1 90 211 162 190 236255 255 255 0202 115 1 254 WACS1WACS1211 162 183 179255 255 255 248211 162 183 182 WACS2WACS2211 162 183 180255 255 255 248211 162 183 182 HACS1HACS1202 115 1 82255 255 255 0202 115 1 254 HACS2HACS2202 115 1 92255 255 255 0202 115 1 254 HACS3HACS3211 162 190 237255 255 255 128202 115 1 254 HACS4HACS4211 162 190 238255 255 255 128202 115 1 254 网视通系统监控的用户 IP 地址段如表 8 所示 表 8 监控的用户 IP 地址段 去除网视通各设备的 IP 地址 序号序号地址段地址段序号序号地址段地址段 1 1211 162 216 0 215 5220 115 96 0 20 2 2211 162 128 0 186 6124 14 128 0 20 3 3220 112 128 0 187 7124 14 144 0 21 4 4220 115 64 0 198 8 精品文档 5 5 网视通系统工作情况网视通系统工作情况 根据系统功能 逐条进行检验分析 5 15 1 用户使用用户使用 P2PP2P 下载体验下载体验 使用比特彗星 1 04 版客户端进行模拟用户下载测试 测试方法为点击种子 发布网站的种子 并查看下载状况 评估数值包括下载响应时间 下载平均速 度和下载最高速度 测试带宽为 100M 5 1 15 1 1下载响应时间下载响应时间 点击种子开始下载后 经过 5 10 秒时间 速度达到 400KB S 左右 开始下载 1 分钟后 速度达到 800KB S 并稳定在 700KB S 左右 如图 3 图 4 所示 图 3 红色框中为 PACS 服务器 5 1 25 1 2下载平均速度下载平均速度 图 4 下载平均速度 下载资源大小 256MB 下载平均速度为 541KB S 总下载时间为 0 时 15 分 10 秒 精品文档 5 1 35 1 3下载最高速度下载最高速度 如图 5 所示 下载最高速度达到 971KB S 图 5 红色框中为 PACS 服务器 5 1 45 1 4无缓存资源情况下的效果对比无缓存资源情况下的效果对比 如图 6 所示 同样的网络环境下 没有缓存资源情况下 用户的下载速度 仅能达到 59KB S 图 6 没有缓存资源情况下的 BT 下载速度 5 1 55 1 5结论结论 网视通系统上线后 用户网视通系统上线后 用户 P2PP2P 下载效果得到大幅提升 未使用网视通系统下载效果得到大幅提升 未使用网视通系统 前 用户下载速度为前 用户下载速度为 5050 KB SKB S 左右 使用网视通系统后 用户下载速度基本达左右 使用网视通系统后 用户下载速度基本达 到其带宽策略的极限 到其带宽策略的极限 5 25 2 客户端支持客户端支持 使用多种主流客户端下载资源 测试系统的支持程度 测试客户端包括 迅雷 精品文档 快车 2 0 比特彗星 1 04 比特精灵 v 3 3 2 252 5 2 15 2 1迅雷迅雷 下载截图 图 7 如图所示 使用迅雷可正常进行下载 下载速度达到 5 12MB S 平均速度为下图所示 图 8 下载概况 精品文档 5 2 25 2 2快车快车 2 02 0 下载效果截图 图 9 如图 11 所示 可以进行下载 下载速度达到 1 5MB S 5 2 35 2 3比特彗星比特彗星 1 041 04 下载效果截图 图 10 如图 12 所示 可以进行下载 下载速度达到 6 9 MB S 5 2 45 2 4比特精灵比特精灵v v 3 3 2 2523 3 2 252 下载效果截图 精品文档 图 11 如图 13 所示 可以进行下载 下载速度达到 5 06 MB S 5 2 55 2 5结论结论 网视通支持所有主流客户端进行网视通支持所有主流客户端进行 P2PP2P 下载 且下载速度良好 下载 且下载速度良好 5 35 3 WEBWEB 视频效果分析视频效果分析 目前 网视通支持大多数热门网站的 WEB 视频缓存加速 同时可根据运营 商的特殊需求针对性的对某些其需求的 WEB 视频网站做缓存 5 3 15 3 1土豆网土豆网 图 12 如图 12 所示 12 分钟的视频 14 秒完成缓存 白色框部分 得到网视通 加速 红色框部分 精品文档 5 3 25 3 2优酷网优酷网 图 13 如图 13 所示 6 分 53 秒的视频 5 秒钟完成缓存 粉色框中部分 得到 网视通加速 红色框中部分 5 3 35 3 3无缓存资源情况下的效果对比无缓存资源情况下的效果对比 图 14 没有缓存资源情况下的 WEB 视频观看情况 如图 14 所示 同样的网络环境下 没有缓存资源情况下 用户耗时 20 秒 仅接收了不到 5 分钟的视频内容 根据视频服务器到本地的链路状况 个别视 频甚至出现卡 顿等现象 严重影响了用户的观看体验 更加无法满足拖动观 精品文档 看等需求 5 3 45 3 4结论结论 使用结果表明 在土豆网和优酷网等使用结果表明 在土豆网和优酷网等 WEBWEB 视频网站上看视频可以实现流畅视频网站上看视频可以实现流畅 播放 缓冲时间远远小于视频长度的播放 缓冲时间远远小于视频长度的 1 101 10 5 45 4 用户使用用户使用 P2PP2P 下载体验下载体验 目前 网视通支持多种文件类型的 HTTP 下载的缓存加速 包括 exe zip rar iso rmvb avi mp3 wma flv wmv txt xls 3gp ape bat chm dat doc docx flc mdf mid mkv mov mp4 mpe mpeg mpg pdf pmp ppt ra ram rm rtf smi swf tp ts wav wps 等等 5 4 15 4 1HTTPHTTP 下载效果下载效果 图 15 如图 15 所示 在天空软件站上下载腾讯 QQ2008 贺岁版 飘云版 V4 7 选 择河北邯郸联通下载点 下载速度达到 862KB S 精品文档 5 4 25 4 2无缓存资源情况下的效果对比无缓存资源情况下的效果对比 图 16 如图 16 所示 在天空软件站上下载 Pixarra TwistedBrush 15 57 同样 选择河北邯郸联通下载点 下载速度仅为 7 91KB S 5 4 35 4 3结论结论 网视通系统上线后 用户网视通系统上线后 用户 HTTPHTTP 下载效果得到大幅提升 未使用网视通系统下载效果得到大幅提升 未使用网视通系统 前 用户下载速度为前 用户下载速度为 8 8 KB SKB S 左右 使用网视通系统后 用户下载速度基本达到左右 使用网视通系统后 用户下载速度基本达到 其带宽策略的极限其带宽策略的极限 精品文档 5 5 网视通内网流量分析 5 5 15 5 1自动缓存平台的流量情况自动缓存平台的流量情况 图 17 PACS 流量数据 图 18 HACS 流量数据 图 19 WACS 流量数据 精品文档 自动缓存平台流量统计见表 10 表 9 自动缓存平台流量统计表 自动缓存平台自动缓存平台平均提供流量平均提供流量最高提供流量最高提供流量平均下载流量平均下载流量最高下载流量最高下载流量 PACS359 49920 6931 3877 40 HACS293 84654 1376 02596 58 WACS119 83277 3629 13106 46 系统总流量系统总流量 773 161852 18136 53780 44 注 表中数据为 2009 年 8 月 31 日 2009 年 9 月 7 日采集周平均值 单位 Mb s 表 10 自动缓存平台流量差统计表 自动缓存平台自动缓存平台平均提供流量平均提供流量平均下载流量平均下载流量平均出进流量比平均出进流量比平均出进流量差平均出进流量差 PACS359 4931 38 11 5 1 328 11 HACS293 8476 02 3 85 1 217 82 WACS119 8329 13 4 10 1 90 70 系统总流量系统总流量 773 16136 53 5 68 1 636 63 注 表中数据为 2009 年 8 月 31 日 2009 年 9 月 7 日采集周平均值 单位 Mb s 5 5 25 5 2结论结论 1 目前 由于系统充分调度用户之间互相加速 所以成都目前 由于系统充分调度用户之间互相加速 所以成都 xxxx 配备的配备的 6 6 台台 P2PP2P 资源缓存设备峰值可提供资源缓存设备峰值可提供 920M920M 内网流量 根据内网流量 根据 P2PP2P 下载原则 用户下载时 下载原则 用户下载时 部分流量由用户间互相提供 如全部由缓存设备提供流量 目前的部分流量由用户间互相提供 如全部由缓存设备提供流量 目前的 6 6 台服务器台服务器 还可贡献更多内网流量 还可贡献更多内网流量 2 2 我公司配备的我公司配备的 FLVFLV 资源缓存设备只针对热门下载资源进行缓存加速 资源缓存设备只针对热门下载资源进行缓存加速 2 2 精品文档 台设备目前提供台设备目前提供 277M277M 左右的内网流量 左右的内网流量 3 3 我公司配备的我公司配备的 HTTPHTTP 资源缓存设备只针对热门下载资源进行缓存加速 资源缓存设备只针对热门下载资源进行缓存加速 可提供可提供 650M650M 以上的内网流量 如果系统针对某些以上的内网流量 如果系统针对某些 HTTPHTTP 类应用资源进行专门缓类应用资源进行专门缓 存 如存 如 MP3MP3 HTTPHTTP 影视资源等 影视资源等 系统还可贡献更多的内网流量 系统还可贡献更多的内网流量 6 6 我看 我搜及推送页的使用我看 我搜及推送页的使用 6 16 1 我看我看 6 1 16 1 1使用效果使用效果 我看 的使用大大满足了没有明确下载目标的用户的需求 在 我看 上 用户可以通过多种方式寻找自己想看的资源 下面以搜索热门影片 画皮 为例 介绍 我看 的使用效果 1 进入我看 搜索 画皮 精品文档 2 画皮 搜索结果 3 进入新片 画皮 资源介绍页面 精品文档 4 点击 搜索本片下载资源 进入速度搜索页面 5 用户可根据习惯选择资源 并点击下载 下载效果如下图 6 1 26 1 2结果小结结果小结 我看 中囊括了超过 6 万部的国内外影视资源 可满足绝大部分用户的 精品文档 影视需求 我看 中所有最新最热的影视资源均可通过 我搜 获得下载 并保证 下载速度及下载完成度 无法通过 我搜 下载的资源 可以通过 我看 提供的求片功能提出申 请 系统将为用户提供该影片的下载 我看 的使用大大提升了用户的下载集中度 将用户超过 50 的 P2P 请求 从源头引导至网内 直接产生内网流量 6 26 2 我搜我搜 6 2 16 2 1使用效果使用效果 我搜 作为面向互联网的速度搜索引擎 可为用户搜索互联网中所有指 定影片的种子资源 并按下载速度快慢为用户返回搜索结果 我搜 的使用满足了有明确目标的用户的下载需求 我搜 为用户提供 的下载资源可保证下载速度 并保证下载完成度 下面以热门影片 即日启程 为例 介绍 我搜 使用效果 1 进入 我搜 搜索 即日启程 精品文档 2 即日启程 搜索结果页 3 点击下载 观看下载效果 精品文档 6 2 26 2 2结果小结结果小结 我搜 支持所有 BT 资源搜索 用户使用 我搜 搜索出的种子进行下载时 由网视通在内网提供流量 不产生网间穿透流量 我搜 可将有特定下载目标用户的需求限制在网内 内网满足用户需求 7 7 VODVOD 类应用情况类应用情况 VOD 系统建设内容有 激动网 广电宽频 通过 VOD 系统的建设 在网内提供了电影 中医 体育类电视节目同步播出 直播报道等 解决了网内用户 VOD 使用需求 目前 VOD 系统供出流量情况 峰值 600M600M 8 8 镜像类应用情况镜像类应用情况 镜像类应用建设内容有 PPS 迅雷 通过镜像类系统的建设 在网内提供了 PPS 观看 迅雷看看 迅雷下载等 解 决了网内用户对 PPS 迅雷看看 迅雷下载使用的需求 精品文档 目前镜像类应用供出流量情况 峰值 1 2G1 2G 9 9 方案使用总结方案使用总结 从采集的数据和分析结果来看 可以得出以下结论 1 网视通系统的旁路控制特性 以及其他的 VOD 系统 镜像系统的特性均 使得方案在部署和实施的过程中完全不影响网络的正常运营 没有网络 故障的风险 2 所有应用系统上线后 没有改变用户的上网习惯 所有主流下载客户端 均支持 3 成都 xx 上线的网视通系统各项功能均达到了预期目标 大幅度地提高 了 xx 用户的 P2P 下载体验 下载速度达到带宽策略极限 10M 端口下达 到 900KB S 100M 端口下超过 9MB S WEB 视频缓存时间小于视频长度 的 1 10 4 完成了视频下载流量优化策略 下载流量主要从内网资源建设获取 节 约出来的流量 给宽带用户的其他应用提供了空间 5 用户引导机制极大地方便了用户使用 提高了集中度和命中率 6 采用推送页的宣传推广方式 该模式下用户使用更加方便 用户体验明 显提升 并且没有发生用户投诉的现象 1010使用前后效果对比使用前后效果对比 10 1 网络应用上的前后效果对比网络应用上的前后效果对比 成都 xx 在采用了该套方案之后 极大的丰富了内网资源 网内流量结构发 生了变化 如图 20 所示 精品文档 图 20 通过这些内网资源的建设 成都 xx 出口网络应用的结构也发生了变化 如 图 21 所示 图 21 由图 21 可见 其 P2P 流量在出口的应用 由之前 30 30 以上 已经下降为 16 6 精品文档 其 HTTP 应用如图 22 所示 图 22 由图 22 可见 其 HTTP 流量的构成中 由 WEB 视频产生的下载流量由之前 的 30 40 30 40 已经下降到小于 20 如此的网络出口应用结构非但没有降低