上海电信宽带CDN总体建议方案.doc

上海电信宽带上海电信宽带 CDN 总体总体 建议方案建议方案 上海电信宽带网络流媒体应用平台方案 1 目目 录录 1概况概况 1 1 1CDN 概念 1 1 2NETAPP公司介绍 2 1 3方案特点简介 4 2系统需求系统需求 5 2 1最终目标 5 2 2CDN 要素要求 5 2 3工程目的 6 3设计原理设计原理 7 3 1CACHE技术和流的处理 7 3 2CACHE LOAD BALANCE技术 8 3 3CACHE FAIL OVER 9 3 4分层的 NETCACHE结构 10 3 5CDN 结构 11 3 6强大的内容过滤和用户访问控制 13 4解决方案解决方案 14 4 1NETCACHE产品选型 14 4 2CDN 产品配置 15 4 3全网方案设计 16 4 4系统配置组成 18 4 5内容报告机制和 LOG文件的处理及控制 19 4 6NETCACHE刷新机制 21 4 7内容和网络管理 22 4 8流媒体发布平台的价值 25 5方案特点方案特点 29 5 1智能化多级分布式结构 29 5 2超大容量 29 5 3高吞吐量 29 5 4高命中率 29 5 5高效性 30 5 6多内容 30 5 7增值服务 30 5 8高安全性 30 5 9简单管理 30 5 10丰富的管理特性 30 5 11CDN 平台集成方案 31 6客户名单客户名单 32 上海电信宽带网络流媒体应用平台方案 1 1 概况概况 1 1 CDN 概念概念 大量的网络内容 在现有的网络环境下如何才能到达内容消费者 形成 广大的接受面 增加服务的总容量 提高网络应用的容灾和可靠性 减少带宽 服务器的 开销 更重要的是可以对内容的部署和利用提供了手段 为以后各种增值业务 建立开放的平台 是多媒体内容发布面临的挑战 NetApp 的 CDN 方案就是针对这种情况 其中 CACHE 应用已经不再简单 地为了解决带宽问题 CDN 是一个有机结合的软硬件系统 解决内容存储 移动 消费过程中的一系列问题 同时为用户提供一种开放的增值业务平台 包括内容的存储管理平台 内容发布的控制软件 增值服务的开放体系结构 各种系统的管理和报告工具 全系列的 Cache 平台 Cache 技术是基于这样一个事实 用户访问 Internet 的数据中 有很大一 部分是重复的 包括访问同样的网站 下载相同的软件 通过使用 Cache 技术 可以在本地保存 缓存用户访问过的 Web 页面和对象 这样对相同对象的访 问就无需再占用主干的出口带宽 同时 由于用户对远端服务器的请求可以由 本地的 Cache 立即响应 因此可以极大的提高用户访问的响应速度 但是 这种用户拉的方式 缺乏对内容的有效控制 基于每台 Cache 的预取策略 无法对全网内容进行管理 资源投入盲目 Cache 无法单独有 效地解决在内容发布中的许多问题 NetApp 提供了一整套完整的内容存储 管理 移动 统计 部署的 CDN 业务的极为重要的功能 例如丰富的媒体类型 内容的控制和完备的网络管理和内容报告 使用户更有效地利用网络带宽 开 展增值业务 上海电信宽带网络流媒体应用平台方案 2 Network Appliance 公司在 Internet 领域占有主导地位 致力于 Internet 内 容发布的结构设计 与其他一些伙伴共同创立 ICAP 提供将内容从核心发布到 边缘的解决方案 该方案已经在众多电信和 ISP 公司 CDN 平台实施 例如 BT Cable 为 NASDAQ 上市公司 其 股票列为 NASDAQ 100 和华尔街标准普尔 500 成分指标股 NTAP 1999 2000 连续两年被财富杂志评为全美最快成长公司第四位 被商业周 刊杂志评为 99 年全美最佳业绩公司第 19 位 1999 2000 年连续两年名列高 速增长公司前 100 位 20th 00 其数据高端存储设备 FILER 占据 NAS 存储市场的 61 全球最大的 10 家 ICP 有 9 家用其存储管理内容 处于绝对优势地位 其高速缓存设备 NETCACHE 占 2000 年 CACHE 市场的 41 全球最大 的 10 家国家级电信 有九家用其加速用户访问 处于市场领先位置 Network Appliance Inc 公司美国 Santa Clara 加州 92 年 NASDAQ 上市 年增长幅度 100 已代替 ASCEND 位置成为 SP500 指标 股 公司产品网络数据存储设备 Filer 网络缓冲存储器 Net Cache 内容发布解决方案 特点设备专门化以达到高性能 高效 易用 可扩展 安全 利于业务增值 上海电信宽带网络流媒体应用平台方案 4 市场地位NAS WEB CACHE CDN 市场领导者 用户AOL Yahoo Hong Kong Telecom BT UUNET Telstra Internet 等 1 3 方案特点简介方案特点简介 方案成熟 NetApp 的方案有许多的成功应用案例 如 BT Deutch Telecom Cable and Wireless HK Telecom 等 他们都成功实施了在 宽带接入上的 Real MMS 流 并且与各家的 L4 交换机配合 方案完整 CDN 的各个模块都已成功应用于众多大型用用户 所有产 品都已经经过考验 为目前的应用和今后的发展提供广阔的前景 优秀的性价比 NetCache 的 Appliance 架构使其具有的流处理能力远 远领先 C6100 比与其性能最接近的其余厂商的产品性能高 5 倍 每 兆流所需要的投资最经济 部署方便 扩展能力强 易于安装 设置 统一网管 可以迅速实施 极大减低了网络的维护工作 更安全 真正完全的 Appliance 架构 固化的 TCP IP 堆栈 不受与 操作系统相关的安全漏洞的影响 1 4 建议可以开展的业务建议可以开展的业务 通过流媒体发布平台 可以开展多种业务 我们建议以下一些业务 供上海电 信结合自身情况开展 内容的虚拟托管内容的虚拟托管 面向对象 内容供应商 CDN 伙伴 企业 IDC 上海电信宽带网络流媒体应用平台方案 5 业务模型 对方需要在上海发布内容 开发上海地区用户 将内容发布到 CDN 平台 按不同的服务级别进行收费 服务级别 内容种类和数量 内容消费数量 存储容量 发布流量 突发带宽 注册用户数 总 消费流量等 按 CDN 提供的权限 可以自定义发布策略 使用指定的分级策略 增值服务 内容报告分析 用户类型等报告 为用户提供的价值 用户无需在本地和上海部署额外设备 无需固定的网络连 接 可立刻开展上海的服务 无市场和投资风险 无人使用 则无需过高支出 更高的伸缩性 可用性和服务质量 开展服务的难易 NetApp 提供完整方案 可以立刻开展业务 内容代理和辛迪加内容代理和辛迪加 面向对象 需要内容的各种机构 如城域网 小区 企业和需要特定内容的机 构 业务模型 转卖内容 扩大 CDN 的外延 利用汇聚的内容开展业务 对于某些 特定的具有用户的内容 取得上海地区的专营权 进行收费 流媒体服务注册流媒体服务注册 面向对象 CDN 覆盖范围的用户 业务模型 用户注册开通 CDN 的流媒体服务 注册费 根据服务级别 内容 费 按时间 站点类型 使用量 增值服务 此业务不同于用户对特定内容或 站点的注册 服务级别 WEB 128K 以下流免费 按速率 内容分级收费 上海电信宽带网络流媒体应用平台方案 6 按个性化程度收费 为用户提供价值 不通过 CDN 节点 用户无法得到服务质量保证 无法获得特 定的内容 开展服务的难易 可立刻开展 NetCache 提供基于协议 访问内容的认证 如 128k 以下无需认证 用户通过 CDN 访问特定内容或使用特定协议必须先经过 NetCache 认证 NetCache 的认证方式支持批发给企业等集团用户 ContentReporter 可以提供各种所需报表 生成计费文件利用 Potal 计费 提供个 性化所需的数据 广告插入广告插入 面向对象 广告公司 中介 内容供应商 业务模式 利用 CDN 产生额外的广告位置 新增窗口 水印 栏位 片段 替换原来广告位置 需取得内容供应商同意 或由广告公司统一安排 避免版 权纠纷 插入广告 业务举例 CDN 与 DoubleClick 签约 将广告位置交给其经营 按点击数量分 成 DoubleClick 通过其广告服务器 根据访问者的特点 Profile 插入定向广 告 同时 CDN 采用 ZACK 公司的软件 为当地 ISP 插入台标 同时根据用户 访问内容和用户类型插入相应内容 用户访问 打开窗口提供 NetApp 的股票价格 各大证券公司的分析报告等 业务开展难易 DoubleClick Adforce 等支持 ICAP 技术实施较易 基本业务 可较快实施 但个性化服务需要业务设计和软件支持 内容过滤内容过滤 面向对象 需要特别内容级别的用户 如学校 企业等 业务模式 为用户提供内容的深度过滤 防止有害的内容 黄色 反动 有安 全问题的 ActiveX 病毒等从 CDN 传入用户 收取附加费 可选 业务开展难易 可迅速开展 WebWasher 西门子子公司 在法国电信与 上海电信宽带网络流媒体应用平台方案 7 NetCache 一起部署 提供有害内容的过滤 NetCache 提供 Smartfilter 的过滤工具 各种有害站点目录 支持用户设定需阻挡的站点 Trend NAI 提供支持 ICAP 的反病毒工具 内容适应内容适应 面向对象 各类特殊终端上网接入商 特殊语言支持 为无英文基础用户提供 语言翻译 业务模式 为无线接入商 手机 PDA 提供广泛的内容 按内容访问量收取 费用 业务开展难易 可以方便开展 NetApp 在美国利用 ICAP 为 Palm Net Motorala 提供无线上网 其他其他 ICAP 为上海电信提供了强大的分布应用开发平台和控制点 上海电信可以根据 需要设计各种应用 NetApp 可以提供支持 上海电信宽带网络流媒体应用平台方案 8 2 系统需求系统需求 2 1 最终目标最终目标 上海宽带信息源能力建设工程的主要内容是 建立 1 核心节点 7 区 域节点 的宽带信息源服务架构 建立基于中 低速的流媒体平台 充分利用 现有的高速流媒体平台 在流平台上开发基于多媒体的网上教育 网上游戏 网上证券 多媒体消息中心 视频商业应用和互动媒体点播等功能 建设 1 8 的宽带信息源节点目的是满足向 18 万宽带用户提供信息源服务的要求 随着 宽带用户数的增长 将按照 2 9 N 的方案进行扩容 确保支持 50 万宽带用户 的需要 2 2 CDN 要素要求要素要求 Scalability and Availability 系统的扩充性和可用性 内容容量的扩充 性能的扩充 覆盖地域的扩充 应用程序种类扩充 增值业务扩充 各个部件的可用性 系统的单点故障 故障的恢复速度 Quality of service 高质量的边缘发布 减少流量突发 Content type support 发布内容的种类 http stream any file dynamic obj Manageability Appliance 结构 安全性 设备一致度 安装 变动 升级 监控工具 内容感知 业务使能 Easy of use 界面 工作流 系统集成度 上海电信宽带网络流媒体应用平台方案 9 Cost 每兆流的价格 Reporting 全网内容的统计报告 基于 domain 的分析 分布的结构 对计费的支持 Viability 技术的创新能力 方案的生命力 业界的影响力 2 3 工程目的工程目的 建设的目标是配合 L4 交换机和路由器等宽带网络设备采用分布式的流平 台服务结构 建立基于内容的 CDN 分发及管理系统 提供基于内容的智能 CACHE 服务 提供流媒体的 CACHE 及代理服务能力 流媒体应用平台系统结构参考示意图 Ethernet IP网络 内容分发管理控制器 CACHE内容服务器 内容服务器 内容服务器 CLIENT CDN 管理 CLIENT CACHE服务器 控制链路 内容服务器 内容分发 内容服务器 中心区 内容源 统计分析工作站 CDN控制中心 CACHE点 上海电信宽带网络流媒体应用平台方案 10 3 设计原理设计原理 3 1 Cache 技术技术和流的处理和流的处理 Cache 的部署可以作加速部署 或者透明 Cache 方式 作为一个采用 Web Cache 技术加速用户访问速度的系统 用户应当感觉不 到 NetCache 设备的存在 应当不用对 PC 的软件及设置作任何修改 Acceleration Deployments NetCache will handle more connections and much higher throughput than a single general purpose web server Multiple load balanced web servers can be replaced by fewer NetCache machines NetCache Accelerator Origin Server 加速模式的部署如上图所示 站点 x 的域名 设在加速器上 用户的访问被定向到了 Cache 上 Cache 把相关服务器上的内容返还给用户 这种方式又称为反向 Proxy 一台 NetCache 可以对多个站点进行加速 分布的 Cache 通过第四层集线器网络的配合 形成分布的站点加速 Transparent Cache 可以是基于第四层交换技术来实现的 与传统的第二 三层交换技术相比 第四层交换技术不但可以实现基于 MAC 地址和 IP 地址的 交换 还可以实现基于第四层 TCP UDP Port 的交换 也就是说 第四层交换机 不但可以根据 MAC 地址和 IP 地址区分数据来源 还可以根据 TCP UDP Port 区分数据类型 HTTP NNTP STREAM FTP etc 上海电信宽带网络流媒体应用平台方案 11 例如 通常 HTTP 请求的 TCP UDP 端口号为 80 第四层交换机可据此区 分 HTTP 和非 HTTP 数据 同样可以根据需要区分 NNTP Real MMS 的各种 数据 对于 HTTP 数据 第四层交换机将其转发到 NetCache 对于非 HTTP 数据 第四层交换机可以象一个普通的路由器工作 或让非 HTTP 数据透明穿 过交换机 采用 Transparent Cache 技术 NetCache 被隐藏在第四层交换机之后 用户 感觉不到 NetCache 的存在 也不用在浏览器上作任何设置 使网络有了更好的 安全性和易管理性 同时由于第四层交换机的存在 可以很容易的实现 Fail Over Cache Cluster 等功能 流媒体的播放是通过约定的第 4 层端口号 例如 Real8 利用 RTSP 端 口号是 554 可以利用第 4 层交换机透明转发用户的请求到 Cache NetCache 将流播放给用户 并对记费 认证等控制信息透明 NetCache 一般利用 TCP 连 接从服务器获得流数据 或者接受下推来的流文件 并按照合适的方式进行存 储 以便存取 在网络中提供高质量的回放效果 支持 MMS REAL QUICKTIME 3 2 Cache Load Balance 技术技术 在单台 NetCache 不足以负担业务时 可以使用多台 NetCache 多台 NetCache 间可以使用 ICP 协议协同工作 ICP 效率较低不建议采用 或使用第 Router L4 Switch Internet NetCache H HT TT TP P w we eb b d da at ta a n no on n c ca ac ch he ed d w we eb b d da at ta a n no on n w we eb b t tr ra af ff fi ic c H HT TT TP P 上海电信宽带网络流媒体应用平台方案 12 四层交换技术实现多台 Cache 间的负载均衡 第四层交换机可以将用户的请求按一定的规则 循环 比例 最小连接 Hash 算法 源 目的地址等 分配给 NetCache Server Farm 中的 NetCache 通过 使用第四层交换机提供的 Cache Load Balance 技术 可以使多个 NetCache 协同 工作 增加处理能力 多个 NetCache 对外只有一个虚拟的 IP 地址 当某调整 内部 NetCache 的 IP 地址时不会对网络服务造成任何影响 采用 Cache Load Balance 技术 可以使网络具有良好的可扩展性 在网络 规模迅速扩大的今天 是服务供应商一个良好的选择 同时 第 4 层交换机具有广域负载均衡功能 在异地的 CACHE 可以由 此形成广域的群集 进行负载均衡 3 3 Cache Fail Over 利用第四层交换机的特性 可以实现 NetCache 的 Fail Over 当只有一台 NetCache 时 当 NetCache 停止服务时 第四层交换机将 HTTP 的请求直接发送给路由 器 当多台 NetCache 做 Server Load Balance 时 当部分 NetCache 停止服务时 第四层交换机将本应由其承担的负载分配 SD NetApp F630 NetworkAppliance POWERRECEI VESTART UP BACK U P SD NetApp F630 NetworkAppliance POWERRECEI VESTART UP BACK U P SD NetApp F630 NetworkAppliance POWERRECEI VESTART UP BACK U P HTTP NetCache Server Load Balancer SLB S D FOUNDRY NETWORKS FastIron 上海电信宽带网络流媒体应用平台方案 13 到其他 NetCache 上 当所有 NetCache 停止服务时 第四层交换机将 HTTP 的 请求直接发送给路由器 注意 通过在第四层交换机中设置注意 通过在第四层交换机中设置 NetCache 的最大连接数 可以防止的最大连接数 可以防止 NetCache 过载 超出的请求将被直接送往路由器 过载 超出的请求将被直接送往路由器 3 4 分层的分层的 NetCache 结构结构 随着用户数量的增加 网络规模的扩大 可以在网络的不同层次部署 NetCache 既可以部署在 POP 出口的路由器处 也可以部署在诸如 RAS Broadband RAS 等处 对于主干的出口处 根据带宽流量的要求 可以 部署 Cache Cluster 各个 NetCache 间既可以独立工作 也可以根据网络实际结构确定不同的 层次 级别 协同工作 可采用工作形式如下 NetCache 间相互独立工作 在 NetCache 上不用设定父子或主从关系 在子 NetCache 上设定其 Parent NetCache 的 IP 地址 有多个 Parent NetCache 时可以设定多个 IP 地址 子 NetCache 会自动的实现对 Parent NetCache 访问的负载均衡 如果在多个 Parent NetCache 前使 用了第四层交换机 可以在子 NetCache 上设定一个 IP 地址对应多个 Router INTERNET Router Network SD FOUNDRY NETWORKS FastIron S D NetApp F630 NetworkAppliance PO WE RR E C EI VE STA R T U P B AC K U P Router Network SD FOUNDRY NETWORKS FastIron S D NetApp F630 NetworkAppliance PO WE RR E C EI VE STA R T U P B AC K U P Router Network SD FOUNDRY NETWORKS FastIron S D NetApp F630 NetworkAppliance PO WE RR E C EI VE STA R T U P B AC K U P SD FOUNDRY NETWORKS FastIron S D NetApp F630 NetworkAppliance PO WE RR E C EI VE STA R T U P B AC K U P S D NetApp F630 NetworkAppliance PO WE RR E C EI VE STA R T U P B AC K U P 上海电信宽带网络流媒体应用平台方案 14 Parent NetCache 的虚拟 IP 地址 由第四层交换机实现 Parent NetCache 的负载均衡 3 5 CDN 结构结构 CDN 应用面临的挑战包括 QoS 多样的媒体类型支持 流量爆炸成长 增值服务 内容的管理和控制 NetApp 提供端到端的解决方案 帮助用户面对 这些挑战 1 高度可扩的多协议存储 2 集成的智能内容管理 3 高质量的多媒体边缘发布系统 4 与优秀的业务伙伴一起提供增值服务 5 集中的服务和系统管理 Disks Filer FilerDatabase Server Web Server Log File Analysis Media Services High Quality Streaming Media Virus Scanning Content Transformation Local Ad Insertion User Profiling Internet Content Routing for External Clients NetCache 上海电信宽带网络流媒体应用平台方案 15 1 从 CDN 的数据中心或者其他内容伙伴将内容传送至发布层 Staging Server 内容的所有者利用 NetApp 的 Content Director 软件 以各种 方式 FTP 等 将需要发布的内容推到 CDN 的主要数据中心 除了 内容本身 Content Director 还支持传送 Meta Data 例如 内容的 生存时间 具有锁定内容的能力 以及送出数据的时间和时段 2 从发布层将数据传送至边缘 Cache 上 利用 Content Director 自动发现 位于 CDN 自有网络以及合作伙伴网络上的进行发布的 Cache 也可以 手工设置 建立 Cache 的逻辑分组 提供不同的服务级别 并使各个 内容客户具有虚拟的自己的 CDN CDN 利用 Cache Director 为位于发 布层的内容设定发布作业和策略 如时程 数量等 Content Director 将内容 流文件 WEB 文件等 线速送至 Cache 并在传送结束时进 行验证 Content Director 通过 email 向管理员报告传送状态 CDN 利 用中心的数据为内容客户提供灾难恢复服务 增加营收 3 建立一个能识别内容的网络 将数据流导向正确的 Cache 在 Cache 外围部署 GSLB 网络 实现智能路由和透明访问 利用 Content Director 与这些交换机交换数据 使其知道 Cache 中的内容 将无和 约的 或无关的 内容请求旁路到原始服务器 见下图 4 对传输的内容进行分析和服务 利用 NetApp 的 Content Report 软件 对从各个 Cache 中传来的 LOG 进行分析和服务 LOG 可以进行取样 或进行完整的分析 Content Reporter 可以配合第三方的服务软件定制 LOG 5 对部署的 Cache 进行统一管理 除了利用 NetApp 的多 Cache 管理工 具 可以将 Appliance Watch 基于 SNMP MIB 集成进 CDN 的现有 的网络管理平台 例如 Openview 或 Tivoli 对全网设备进行统一的监 控和管理 6 除了内容发布 还可从其他内容服务创造更多的营收 利用 ICAP 提 供本地广告插入 内容翻译等 上海电信宽带网络流媒体应用平台方案 16 3 6 强大的内容过滤和用户访问控制强大的内容过滤和用户访问控制 NetCache 具有内在的过滤引擎 与一般 Cache 运行过滤软件工具相比 具 有卓越的性能 用户可以自己定义需要过滤的站点 NetCache5 0 支持 LDAP Radius 和 NTLM 的认证方式 NetCache 也可以 根据自身的用户数据库进行访问控制 支持强大的 ACL 功能 支持针对流的 ACL 例如 可以控制用户只能访问某一速率以下的流服务 可以设定用户 只能在某些时段进行访问 上海电信宽带网络流媒体应用平台方案 17 4 解决方案解决方案 4 1 NetCache 产品选型产品选型 解决方案由 8 个服务点部署的 Cache C6100 以及核心站点的 Content Reporter Content Director 组成 方案中也会涉及 L4 交换机的支持 我们支持 主流的 L4 交换机 容量估算 假设 18 万用户 10 的峰值并发量 每个用户平均访问流量 512kbps ADSL 为 1Mb 以下 LAN 等宽带用户带宽可能会较高 总服务容量 并发用户数 X 平均带宽 18000X512k 9Gb 选型和配置 每台 C6100 支持 1Gbps 的实时流 600Mbps 的 VOD 参考 ZD 的公开测 试结果 方案建议 C6100 的数量为 8 台 配合 server 为全网提供相应的服务 能力 每台 C6100 的配置为 一个 Intel 733M Copper Mine CPU 可以扩充到 2 个 3 GB ECC Memory 128M NVRAM 4 个 36GB FC AL 10000RPM 磁盘 进行 RAID 提供 3X36GB 108GB 的容量 2 块 1000BASE SX 网络卡 支持 TRUNK 和 JUMBO FRAME 最多可以 支持 5 个千兆口或 21 个 10 100 兆以太网口 NetCache 5 1 版软件 RTSP LICENSE 对 RTSP 支持的许可 MMS LICENSE 对微软支持的许可 用于 ContentDirector 和 ContentReporter 的许可 配置了这些许可 上海电信宽带网络流媒体应用平台方案 18 NetCache 可以成为 CDN 的有机组成部分 Streaming Capacity of Cache Vender in HKT Bakeoff 2000 11 23 660 120 57 0 100 200 300 400 500 600 700 Mbps NetCache 6100Cacheflow 6285 Inktomi Sun3500 NC 121 Mbps CF 589 Mbps TCS 987 Mbps 4 2 CDN 产品配置产品配置 作为 CDN 中心控制的核心软件为 ContentDirector 控制内容 发布方式 发布地点等 CD 有三个组成部分 核心控制软件 Cache 组领导 Group Leader 和控制界面 组领导是 CD 和 NetCache 之间的传令官 控制界面通过 CD 的 JAVA 虚拟机工作 可以安装在网络的任何地方 建议 CD 安装在一台 Sun Ultra 5 工作站 Solaris 2 7 256M RAM 18GB Disk GroupLeader 和控制 界面建议也安装在该机 与 CD 关系密切的是 StagingServer Staging Server 实际上是一个存储池 内容供应者将其内容出版到这里 该存储可以是任何 CD 可以访问到的逻辑盘 网络文件系统等 CD 需要的另一块存储为 WorkSpace 保存 CD 内容发布过程 上海电信宽带网络流媒体应用平台方案 19 数据 如 Shadow 文件 CheckPoint 等 WoekSpace 应大于发布作业的内容的 容量 ContentReporter 是内容报告工具 提供内容消费情况和网络使用情况 提 供机费数据 CDN 计费所基于的大量 LOG 信息都会传给 CR 建议配置与 CD 同样的机型 ApplianceWatch 是所有 NetApp 设备的基于 OpenView 的管理工具 可运行 于现有的 OpenView 平台上 4 3 全网方案设计全网方案设计 Data Center Secondary Data Center Snap Mirror www ICP www ICP Enterprise Content Reporter Appliance Watch Content Director Web Serve r Database Media Serve r Staging Server Storage Content Push Content Push Content Push Content Push Content Pull Edge Delivery Log Retrieve From Every Cache Storage 流流媒媒体体平平台台全全网网工工作作拓拓扑扑图图 Content Director 的 workspace 可以是本地或者网络磁盘文件 CD 自动识 别需要发布的内容 以及内容的变动情况 Content Reporter 所收集和处理后 的数据也需要在集中存储中加以规划 上海电信宽带网络流媒体应用平台方案 20 在 8 个节点 各配置一台 C6100 C6100 配置与主站点相同的域名 作加 速器部署 同时这些 L4 交换机与主站点的 DNS 服务器形成广域负载均衡网络 智能路由用户的请求 Cache 与主站为接入用户提供服务 L4 交换机通过千兆 以太网 TRUNK 或者千兆网与 Cache 相连 NetCache 可提供 10 100 1000 端口 与 4 层交换机相连 每台 C6100 提供 622Mb 的流媒体 VOD 能力和 155Mb 的 HTTP 能力 L4 交换机配置 Transparent Cache Global Cache Load Balance 及 Cache Fail Over 的功能 NetCache 具有强大的分层部署能力 利用 NetCache 的分层 可以方便 地扩充服务范围和能力 今后在小区或学校 部署 C1105 可以支持 160Mbps 流 存储 72GB 的流 由于其 Appliance 的结构特点 其低端产品也具 有前大的流加速能力 L4 Switch 除了实现上述功能外 还可以作为防火墙使用 设置 ACL 对用户进行 2 3 4 7 层 URL 级 的访问控制 还可以在 L4 Switch 上设 置 ACL 只将访问需要被 Cache 网站的数据转发到 NetCache 如果 L4 集线器 支持基于 URL 的交换 可以直接将无关内容旁路 Content Reporter 和 Content Director 运行在中心的 SUN 工作站上 将内容 发布到各个 Cache 上 报告内容使用情况 各个需要进行发布的 ICP 将内容 Publish 到 Staging Server Staging Server 是任何 Content Director 可以访问到的本地或网络硬盘 CD 将内容发布到有关 的 Cache 上 CD 根据内容的变化 将变化部分更新到 Cache NetCache 具有 RAID 和热后备磁盘保护 确保内容的完整 任何一个硬盘故障都无需重新传 送数据 Content Director 保存内容的 Shadow 和各个作业的 Checkpoint 以便迅 速同步 Cache 上的内容组 用户访问被定向到 邻近 的 Cache Cache 代替服务器相应用户请求 如 Cache 中无用户访问的内容 Cache 替用户到父一级 Cache 或服务器取得内 容后相应用户 Content Reporter 从 Cache 中取得 LOG 基于域对全网进行内容和网络报 上海电信宽带网络流媒体应用平台方案 21 告 结果可以直接输出到计费工具 4 4 系统配置组成系统配置组成 在数据中心的部署 在数据中心的部署 配置 8 台 Cache C6100 核核心心节节点点流流媒媒体体平平台台拓拓扑扑图图 在在 POP 点的部署 点的部署 每个 POP 点配置 Cache C6100 一台 上海电信宽带网络流媒体应用平台方案 22 POP节节点点流流媒媒体体平平台台拓拓扑扑图图 4 5 内容报告机制和内容报告机制和 Log 文件的处理及控制文件的处理及控制 Content Reporter 提供对全网的内容和运行状况的详细报告 收集数据 同 时生成计费所需的数据 NetCache 可以对流经的数据进行记录 生成 log 文件 包括 Messages log Cache access log Referrer log NNTP access log NNTP trace log Streaming access log Streaming detailed log 例如 Cache access log 中详细的记录了用户访问的数据 可以通过 第三 上海电信宽带网络流媒体应用平台方案 23 方提供的分析软件对其进行分析 生成相应的访问统计数据或图表 Current time in seconds and milliseconds Elapsed time in milliseconds the transaction took to complete Client IP address or host name Transaction type see Transaction types Reply code Object size in bytes Method GET PUT POST and so on URL User name uses if the user name is unknown Hierarchy code Server IP address if any from which the URL was fetched Content type from the MIME header Note Log 文件的大小可以定义 但每个 Log 文件最大不超过 2GB 当 Log 文件 达到设定尺寸时 会自动 PUSH 到指定的 FTP 服务器或在 NetCache 内部保存 NetCache 可以保存 10 个 log 文件 旧文件将会被新文件覆盖 Log 文件还可以 stream 到 Content Report 以支持实时统计 利用 Content Reporter 软件 可以实时生成各种报表和直接用于计费的数 据 提供丰富的内容报告和统计 具有强大的分析功能 提供全网基于域的分 析统计 上海电信宽带网络流媒体应用平台方案 24 Full Suite of Tools for Billing and Analysis Content Reporter Consolidate site analysis Automated collection Bandwidth and server usage reports Plug into existing billing infrastructure Billing Partners Solect Portal software AmDocs LHS 4 6 NetCache 刷新机制刷新机制 Content Director 使得 CDN 可以定义内容的有效期 控制内容在网络上的 生存期 NetCache 根据对象的属性进行操作 例如 No Cache Cache live time 等 并可以对某些内容 Jpeg Gif 等 进行强制 Cache 对于没有生存时间指示的目标 NetCache 不进行 CACHE 工作 或为其设 定动态自适应的生存时间 TTL 生存周期 对于有 TTL 生存周期的 objects NetCache 根据其 TTL 生存周期决定 objects 是否 expire 对于没有 TTL 生存周期的 objects NetCache 根据算法决定 objects 是否 expire 对于 expire 的 objects NetCache 并不对其进行立即删除或更新 当用户访 问 expire 的 objects 时 NetCache 向 objects 的 originating Web server 查询 objects 是否被修改 如被修改 NetCache 将 objects 更新 如没有修改 上海电信宽带网络流媒体应用平台方案 25 NetCache 只修改 objects 的 cache timestamp 无需重取 Content Director 具有 Cache 内容的同步功能 自动将内容刷新 NetCache 的刷新可以最大地节省网络带宽 增加用户的服务质量 4 7 内容和网络管理内容和网络管理 Content Director 和 Content Reporter 提供对内容的控制 管理和报告功能 并且和所有主要的内容管理软件进行合作 CDN 基于工作流的功能部件有 WHO Users 用户 首先在系统内定义用户 通过建立 更新 user profiles 系统有 2 类用户 Administrators Users 对 Content Director 的访问通过 user 向 console 的登录控制 Administrators 可以访问修改所有已定义的 configuration Users 可以访问修改他们建立的 configuration jobs user 有自己 的网络视图 如果我们为 yahoo broadcast 发布内容 我们可以设立 user yahoo yahoo 可以自己进行发布工作 我们可以根据 yahoo 的使用量和服务级 别进行收费 What Where When Jobs 第二步定义发布什么内容 什么时候发布 通过定义 job 进行 job 是一个内容发布事件的完整描述 一个 job 可以部署一个文件到一台 Cache 或几千个文件到几百台 Cache job name 首先被定义 如果已有其他的 jobs 被定义 可以 import 它的定 义 job 里最重要的是它的 policy 它定义了何时何地等内容分发的高层参数 要分发的内容在 Content Tab 里定义 定义内容分发任务的内容源和目的 地 例如 source 可以是一个 local staging directory destination 可以是一 个 cache 或 cache 组 又称为 Content Group 上海电信宽带网络流媒体应用平台方案 26 filter Filter 可以帮助用户决定从内容发布作业里过滤掉某些类型数据 例如 用户可以决定不发布特定的数据文件 如 avi 文件 最后在 schedule 里定义 where 和 when 发布内容 schedule 定义发布内容 的频率 通过 scheduler 可以定时自动发布 选择在在网络流量最少时预载内 容以节省带宽 How Policies policy 是用户确定的一些原则 可以被一个或多个 job 使用 policy 定 义 job 如何被执行 一些重要的项目有 Contacts Email job 执行状态的联络人列表 执行状态 例如 job 顺利完成 Retries 确定 job 失败前的 job 重试次数 Security 定义 job 的安全级别 encryption verification Cache 描述 Cache 对待该内容的方式 失效期 Max Age Min Age 并且指定内容锁定在 Cache 里的时间长短 Where Network Network Area 提供了图形化的 content distribution network 拓扑 定义 cache 的逻辑组 content group 另外还有 Network Segments 定义 caches 和 group leaders 所在的网络 Destination servers caches 定义 caches 和响应的 group leader Hosted sites 定义源和目的的路径 NetApp 提供基于 WEB 的对全网设备进行管理的工具和 GUI 管理工具 NetApp 还提供两种基于 SNMP 的网络管理方式 一种是独立的 Cache Manager 一种是基于 HP OpenView 的 Appliance Watch 由于网络规模较大 上海电信宽带网络流媒体应用平台方案 27 分布较广 一次建议采用基于 HP OpenView 的 Appliance Watch 对 NetCache 进 行集中管理 Appliance Watch for HP OpenView 可以实现如下功能 自动发现 NetApp 系统 给出适当的图示 检测系统的健康程度 通过 Cache Manager 基于 web 的管理工具管理 NetApp Caches 通过 NetCache 监控 配置和维护 基于 web 的管理工具配置 NetCache NetCache MIB 站针对流媒体的一些信息 同时连接到服务器的 TCP IP 数量 上海电信宽带网络流媒体应用平台方案 28 同时连接到客户端的 TCP IP 数量 针对流请求的带宽情况 针对流请求的包响应情况 针对流请求的最后点击情况 针对流请求的最后失败情况 发送到客户端的流字节总计情况 从客户端接收的流字节总计情况 发送到服务器的流字节总计情况 从服务器接收的流字节总计情况 发送到客户端的流代理字节总计情况 从客户端接收的流代理字节总计情况 发送到服务器的流代理字节总计情况 从服务器接收的流代理字节总计情况 4 8 流媒体发布平台的价值流媒体发布平台的价值 流媒体发布平台的潜在用户包括 内容所有者 需要内容推广 按注册或者 pay per view 收费 希望提高 QoS 和受众 内容门户 需要为内容供应商提供 SLA 同时提高用户访问质量 企业 通过快速获得内容提高生产效率和满意程度 IDC 等 提供 HOST 用户 SLA 提高用户内容的发布 扩展营收 上海电信宽带网络流媒体应用平台方案 29 其他 CDN 需要通过结盟最大化内容的发布 增加用户的覆盖 内容消费者 提供多媒体服务 提供快速 可靠的内容