上海电信宽带CDN总体建议方案

上海电信宽带 CDN总体建议 方案 上海电信宽带 网络流媒体应用平台方案 1 目 录 1 概况 . 1 1.1 CDN 概念 . 1 1.2 NETAPP公司介绍 . 2 1.3 方案特点简介 . 4 2 系统需求 . 8 2.1 最终目标 . 8 2.2 CDN 要素要求 . 8 2.3 工程目的 . 9 3 设计原理 . 10 3.1 CACHE技术和流的处理 . 10 3.2 CACHE LOAD BALANCE技术 .11 3.3 CACHE FAIL OVER. 12 3.4 分层的 NET CACHE结构 . 13 3.5 CDN 结构 . 14 3.6 强大的内容过滤和用户访问控制 . 16 4 解 决方案 . 17 4.1 NETCACHE产品选型 . 17 4.2 CDN 产品配置 . 18 4.3 全网方案设计 . 19 4.4 系统配置组成 . 21 4.5 内容报告机制和 LOG文件的处理及控制 . 22 4.6 NETCACHE刷新机制 . 24 4.7 内容和网络管理 . 25 4.8 流媒体发布平台的价值 . 28 5 方案特点 . 32 5.1 智能化多级分布式结构 . 32 5.2 超大容量 . 32 5.3 高吞吐量 . 32 5.4 高命中率 . 32 5.5 高效性 . 33 5.6 多内容 . 33 5.7 增值服务 . 33 5.8 高安全性 . 33 5.9 简单管理 . 33 5.10 丰富的管理特性 . 33 5.11 CDN 平台集成方案 . 34 6 客户名单 .错误 !未定义书签。 上海电信宽带 网络流媒体应用平台方案 1 1 概况 1.1 CDN概念 大量的网络内容， 在现有的网络环境下如何才能到达内容消费者， 形成广大的接受面？ 增加服务的总容量，提高网络应用的容灾和可靠性，减少带宽、服务器的开销，更重要的是可以对内容的部署和利 用提供了手段，为以后各种增值业务建立开放的平台， 是多媒体内容发布面临的挑战。 NetApp 的 CDN 方案就是针对这种情况，其中 CACHE 应用已经不再简单地为了解决带宽问题， CDN 是一个有机结合的软硬件系统， 解决内容存储，移动，消费过程中的一系列问题， 同时为用户提供一种开放的增值业务平台 .。包括内容的存储管理平台，内容发布的控制软件，增值服务的开放体系结构，各种系统的管理和报告工具，全系列的 Cache 平台。 Cache 技术是基于这样一个事实：用户访问 Internet 的数据中， 有很大一部分是重复的， 包括访问同样的网站、下载相同的软件。通过使用 Cache技术， 可以在本地保存、缓存用户访问过的 Web 页面和对象，这样对相同对象的访问就无需再占用主干的出口带宽。同时，由于用户对远端服务器的请求可以由本地的 Cache立即响应，因此可以极大的提高用户访问的响应速度。 但是， 这种用户拉的方式， 缺乏对内容的有效控制， 基于每台 Cache的预取策略， 无法对全网内容进行管理， 资源投入盲目， Cache 无法单独有效地解决在内容发布中的许多问题， NetApp提供了一整套完整的内容存储、管理、移动、统计、部署的 CDN 业务的极为重要的功能，例如丰富的媒体类型、内容的控制和完备的网络管理和内容报告。使用户更有效地利用网络带宽，开展增值业务。 上海电信宽带 网络流媒体应用平台方案 2 Network Appliance公司在 Internet领域占有主导地位，致力于 Internet内容发布的结构设计，与其他一些伙伴共同创立 ICAP，提供将内容从核心发布到边缘的解决方案。该方案已经在众多电信和 ISP 公司 CDN 平台实施，例如 BT、Cable&Wireless、 France Telecom 、 Deuch Telecom等。 我们推荐使用 Network Appliance公司的旗舰产品 NetCache来构筑多媒体通信网网络 内容发布系统。原因有： Network Appliance 公司在行业的领导地位，以及完备的结构方案和经验； 丰富的功能和经过验证的性能； CDN 的成功案例 具有极佳性价比的产品。 1.2 NetApp公司介绍 Network Appliance是 提供网络数据高端存储和高速缓存设备的专业公司， 其业绩高速发展， 是美国 E百强里增长第 4快的企业。公司是网络数据存储解决 上海电信宽带 网络流媒体应用平台方案 3 方案的市场领导者，其网络文件服务器 （ FILER）及网络缓存解决方案（ NetCache）提供高 效、简捷、可靠的数据 存取 。 自 1992年成立至今，全球已安装了超过 20000台，连续 8年以每年营业额和利润翻番的速度高速增长。 其销售和 利润增长率均位居全美高科技企业前列 ； 为 NASDAQ 上市公司， 其股票列为 NASDAQ 100和华尔街标准普尔 500成分指标股 (NTAP)； 1999， 2000 连续两年被财富杂志评为全美最快成长公司第四位 ； 被商业周刊杂志评为 99年全美最佳业绩公司第 19位 ， 1999， 2000年连续两年名列高速增长公司前 100位 (20th/00) /2000/00_13/bw50.htm /2000/00_22/b3683022.htm 其数据高端存储设备 FILER占据 NAS存储市场的 61%， 全球最大的 10家ICP有 9家用其存储管理内容， 处于绝对优势地位； 其高速缓存设备 NETCACHE占 2000年 CACHE市场的 41%， 全球最大的10家国家级电信，有九家用其加速用户访问，处于 市场 领先位置 ； Network Appliance Inc公司 美国 Santa Clara， 加州 92年 NASDAQ 上市 年增长幅度 100% 已代替 ASCEND位置成为 SP500指标股 公司产品 网络数据存储设备 Filer 网络缓冲存储器 Net Cache 内容发布解决方案 特点 设备专门化以达到高性能、高效、易用、可扩展、安全、 利于业务增值 上海电信宽带 网络流媒体应用平台方案 4 市场地位 NAS、 WEB CACHE、 CDN 市场领导者 用户 AOL、 Yahoo、 Hong Kong Telecom、 BT、UUNET、 Telstra Internet等 1.3 方案特点简介 方案成熟： NetApp 的方案有许多的成功应用案例，如 BT、 Deutch Telecom、 Cable and Wireless、 HK Telecom等，他们都成功实施了在宽带接入上的 Real、 MMS 流， 并且与各家的 L4 交换机配合。 方案完整： CDN 的各个模块都已成功应用 于众多大型用用户 ，所有产品都已经经过 考验。为目前的应用和今后的发展提供广阔的前景 。 优秀的性价比： NetCache的 Appliance架构使其具有的 流处理能力远远领先， C6100比与其性能最接近的其余厂商的产品性能高 5倍，每兆流所需要的投资最经济 。 部署方便、扩展能力强：易于安装、设置，统一网管，可以迅速实施 ，极大减低了网络的维护工作。 更安全：真正完全的 Appliance架构，固化的 TCP/IP堆栈， 不受与操作系统相关的安全漏洞的影响 1.4 建议可以开展的业务 通过流媒体发布平台，可以开展多种业务，我们建议以下一些业务，供上海电信结合自身情况 开展： 内容的虚拟托管 面向对象：内容供应商、 CDN 伙伴、企业 、 IDC 上海电信宽带 网络流媒体应用平台方案 5 业务模型：对方需要在上海 发布内容，开发上海地区用户，将内容发布到 CDN平台，按不同的服务级别进行收费。 服务级别：内容种类和数量 内容消费数量（ 存储容量、 发布流量、突发带宽、注册用户数、总消费流量等） 按 CDN 提供的权限（可以自定义发布策略、使用指定的分级策略） 增值服务（内容报告分析、用户类型等报告） 为用户提供的价值：用户无需在本地和上海部署额外设备，无需固定的网络连接，可立刻开展上海的服务，无市场和投资风险（无人 使用，则无需过高支出），更高的伸缩性、可用性和服务质量。 开展服务的难易： NetApp提供完整方案，可以立刻开展业务 内容代理和辛迪加 面向对象：需要内容的各种机构，如城域网、小区、企业和需要特定内容的机构 业务模型：转卖内容，扩大 CDN 的外延，利用汇聚的内容开展业务 。对于某些特定的具有用户的内容，取得上海地区的专 营 权，进行收费。 流媒体服务注册 面向对象： CDN 覆盖范围的用户 业务模型：用户注册开通 CDN 的流媒体服务。注册费（根据服务级别），内容费（按时间、站点类型、使用量、增值服务） ，此业务不同于用户对 特定内容或站点的注册。 服务级别： WEB， 128K 以下流免费 按速率、内容分级收费 按个性化程度收费 上海电信宽带 网络流媒体应用平台方案 6 为用户提供价值：不通过 CDN 节点，用户无法得到服务质量保证，无法获得特定的内容 开展服务的难易：可立刻开展（ NetCache提供基于协议、访问内容的认证，如，128k 以下无需认证，用户通过 CDN 访问特定内容或使用特定协议必须先经过NetCache 认证， NetCache 的认证方式支持批发给企业等集团用户，ContentReporter 可以提供各种所需报表，生成计费文件 利用 Potal计费，提供个性化 所需的数据 ） 广告插入 面向对象：广告公司、中介、内容供应商 业务模式：利用 CDN 产生额外的广告位置（新增窗口、水印、栏位、片段），替换原来广告位置（需取得内容供应商同意，或由广告公司 统一 安排 ，避免版权纠纷 ）， 插入广告。 业务举例： CDN 与 DoubleClick签约，将广告位置交给其经营，按点击数量分成，DoubleClick通过其广告服务器，根据访问者的特点（ Profile）插入 定向广告。同时 CDN 采用 ZACK 公司的软件，为当地 ISP插入台标，同时根据用户访问内容和用户类型插入相应内容（用户访问 ，打开窗口提供 NetApp的股票价格，各大证券公司的分析报告等）。 业务开展难易： DoubleClick、 Adforce 等支持 ICAP，技术实施较易，基本业务可较快实施，但个性化服务需要业务设计和软件 支持。 内容过滤 面向对象：需要特别内容级别的用户。如学校、企业等 业务模式：为用户提供内容的深度过滤，防止有害的内容，黄色、反动、有安全问题的 ActiveX，病毒等从 CDN 传入用户。收取附加费，可选。 业务开展难易 ：可迅速开展， WebWasher(西门子子公司 ，在法国电信与 NetCache一起部署 )提供有害内容的过滤， NetCache 提供 Smartfilter 的过滤工具 （各种有上海电信宽带 网络流媒体应用平台方案 7 害站点目录），支持用户设定需阻挡的站点。 Trend、 NAI提供支持 ICAP的反病毒工具。 内容适应 面向对象：各类特殊终端上网接入商。 特殊语言支持（为无英文基础用户提供语言翻译） 业务模式：为无线接入商（手机、 PDA）提供广泛的内容，按内容访问量收取费用。 业务开展难易：可以方便开展， NetApp在美国利用 ICAP为 Palm.Net， Motorala提供无线上网。 其他 ICAP 为上海电信提供了强大的分布应用开发平台和控制点，上海电信可以根据需要设计各种应用。 NetApp可以提供支持。 上海电信宽带 网络流媒体应用平台方案 8 2 系统需求 2.1 最终目标 上海宽带信息源能力建设工程的主要内容是：建立 1（核心节点） +7（区域节点）的宽带信息源服务架构；建立基于中、低速的流媒体平台，充分利用现有的高速流媒体平台；在流平台上开发基于多媒体的网上教育、网上游戏、网上证券、多媒体消息中心、视频商业应用和互动媒体点播等功能。 建设 1+8的宽带信息源节点目的是满足向 18万宽带用户提供信息源服务的要求 。 随着宽带用户数的增长，将按照 2+9+N 的方案进行扩容，确保支持 50万宽带用户的需要。 2.2 CDN要素 要求 Scalability and Availability 系统的扩充性和可用性，内容容量的扩充，性能的扩充，覆盖地域的扩充，应用程序种类扩充，增值业务扩充，各个部件的可用性，系统的单点故障，故障的恢复速度 Quality of service 高质量的边缘发布，减少流量突发 Content type support 发布内容的种类， http， stream， any file， dynamic obj Manageability Appliance结构，安全性，设备一致度，安装，变动，升级，监控工具，内容感知，业务使能 Easy of use 界面，工作流，系统集成度 Cost 上海电信宽带 网络流媒体应用平台方案 9 每兆流的价格 Reporting 全网内容的统计报告，基于 domain的分析，分布的结构 ，对计费的支持 Viability 技术的创新能力，方案的生命力，业界的影响力 2.3 工程目的 建设的目标是配合 L4 交换机和路由器等宽带网络设备采用分布式的流平台服务结构，建立基于内容的 CDN 分发及管理系统，提供基于内容的智能CACHE服务，提供流媒体的 CACHE及代理服务能力。 流媒体应用平台系统结构参考示意图 EthernetI P 网络内容分发管理控制器C A C H E 内容服务器内容服务器内容服务器CLIENTC D N 管理CLIENTC A C H E 服务器控制链路内容服务器内容分发内容服务器中心区/ 内容源统计分析工作站C D N 控制中心CACHE点 上海电信宽带 网络流媒体应用平台方案 10 3 设计原理 3.1 Cache 技术和流的处理 Cache的部署可以作加速部署，或者透明 Cache方式。 作为一个采用 Web Cache技术加速用户访问速度的系统，用户应当感觉不到 NetCache设备的存在，应当不用对 PC 的软件及设置作任何修改。 Acc elerat ion Dep lo y ments N et Cach e wil l h a n d l e m o re co n n ec t i o n s a n d m u ch h i g h er t h ro u g h p u t t h an a s i n g l e g en eral p u rp o s e web s erv er. Mu l t i p l e loa d - b a l an ce d web s erv ers ca n b e r e p l ace d b y f e w er N et Cach e m ach i n es .N e t C a ch eAcce l e ra t o rw w w . x. co m w w w - o ri g i n . x. co mO ri g i nSe rve r 加速模式的部署如上图所示，站点 x的域名 设在加速器上，用户的访问被定向到了 Cache上， Cache把相关服务器上的内容返还给用户 。 这种方式又称为反向 Proxy。一台 NetCache可以对多个站点进行加速 ，分布的 Cache通过第四层集线器网络的配合，形成分布的站点加速 。 Transparent Cache可以 是基于第四层交换技术来实现的，与传统的第二、三层交换技术相比，第四层交换技术不但可以实现基于 MAC 地址和 IP 地址的交换，还可以实现基于第四层 TCP/UDP Port的交换，也就是说，第四层交换机不但可以根据 MAC 地址和 IP 地址区分数据来源，还可以根据 TCP/UDP Port区分数据类型（ HTTP、 NNTP， STREAM， FTP etc）。 上海电信宽带 网络流媒体应用平台方案 11 例如，通常 HTTP 请求的 TCP/UDP 端口号为 80，第四层交换机可据此区分 HTTP 和非 HTTP 数据（同样可以根据需要区分 NNTP、 Real、 MMS 的各种数据），对于 HTTP 数据，第四层交换机将其转发到 NetCache；对于非 HTTP 数据，第四层交换机可以象一个普通的路由器工作（或让非 HTTP数据透明穿过交换机）。 采用 Transparent Cache技术， NetCache被隐 藏在第四层交换机之后，用户感觉不到 NetCache 的存在，也不用在浏览器上作任何设置，使网络有了更好的安全性和易管理性；同时由于第四层交换机的存在，可以很容易的实现 Fail Over、Cache Cluster等功能。 流媒体的播放是通过约定的第 4层端口号， 例如， Real8利用 RTSP，端口号是 554. 可以利用第 4层交换机透明转发用户的请求到 Cache， NetCache将流播放给用户， 并对记费，认证等控制信息透明 . NetCache一般利用 TCP连接从服务器获得流数据， 或者接受下推来的流文件，并 按照合适的方式进行存储， 以便存取， 在网络中提供高质量的回放效果 . 支持 MMS， REAL，QUICKTIME.。 3.2 Cache Load Balance 技术 在单台 NetCache 不足以负担业务时，可以使用多台 NetCache。多台NetCache间可以使用 ICP协议协同工作（ ICP效率较低不建议采用），或使用第R o u t e rL 4 S w i t c hI n t e r n e tN e t C a c h eHTTPw e b d a t an o n - c a c h e d w e b d a t anon web trafficHTTP上海电信宽带 网络流媒体应用平台方案 12 四层交换技术实现多台 Cache间的负载均衡。 第四层交换机可以将用户的请求按一定的规则（循环、比例、最小连接、Hash算法、源 /目的地址等）分配给 NetCache Server Farm中的 NetCache。通过使用第四层交换机提供的 Cache Load Balance 技术，可以使多个 NetCache协同工作，增加处理能力。多个 NetCache对外只有一个虚拟的 IP 地址，当某调整内部 NetCache的 IP 地址时不会对网络服务造成任何影响。 采用 Cache Load Balance 技术，可以使网络具有良好的可扩展性，在网络规模迅速扩大的今天，是服务供应商一个良好的选择。 同时，第 4 层交换机具有广域负载均衡功能，在异地的 CACHE 可以由此形成广域的群集，进行负载均衡。 3.3 Cache Fail Over 利用第四层交换机的特性，可以实现 NetCache的 Fail Over。 当只有一台 NetCache时 当 NetCache停止服务时，第四层交换机将 HTTP 的请求直接发送给路由器。 当多台 NetCache做 Server Load Balance 时 当部分 NetCache停止服务时，第四层交换机将本应由其承担的负载分配到其他 NetCache上，当所有 NetCache停止服务时，第四层交换机将 HTTP 的请求S DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PHTTPN e t C a c h eS e r v e r L o a d B a l a n c e r( S L B )S DF O U N D R YN E T W O R K SF a s t I r o 上海电信宽带 网络流媒体应用平台方案 13 直接发送给路由器。 注意：通过在第四层交换机中设置 NetCache 的最大连接数，可以防止NetCache 过载，超出的请求将被直接送往路由器。 3.4 分层的 NetCache 结构 随着用户数量的增加，网络规模的扩大，可以在网络的不同层次部署NetCache。既可以部署在 POP 出口的路由器处，也可以部署在诸如 RAS、Broadband RAS 等处。对于主干的出口处，根据带宽流量的要求，可以部署 Cache Cluster。 各个 NetCache间既可以独立工作，也可以根据网络实际结构确定不同的层次、级别，协同工作，可采用工作形式如下： NetCache间相互独立工作，在 NetCache上不用设定父子或主从关系； 在子 NetCache 上设定其 Parent NetCache 的 IP 地址，有多个 Parent NetCache时可以设定多个 IP 地址，子 NetCache会自动的实现对 Parent NetCache访问的负载均衡。（如果在多个 Parent NetCache前使用了第四层交换机，可以在子 NetCache 上设定一个 IP 地址对应多个 Parent NetCache的虚拟 IP 地址，由第四层交换机实现 Parent NetCache的负载均衡） RouterI N T E R N E TRouterN e t w o r kS DF O U N D R YN E T W O R K SF a s t I r o nS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PRouterN e t w o r kS DF O U N D R YN E T W O R K SF a s t I r o nS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PRouterN e t w o r kS DF O U N D R YN E T W O R K SF a s t I r o nS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PS DF O U N D R YN E T W O R K SF a s t I r o nS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U PS DN e t A p p F 6 3 0N e t w o r k A p p l i a n c eP O W E RR E C E I V E S T A R T U PB A C K U P上海电信宽带 网络流媒体应用平台方案 14 3.5 CDN结构 CDN 应用面临的挑战包括， QoS、多样的媒体类型支持、流量爆炸成长、增值服 务、内容的管理和控制。 NetApp 提供端到端的解决方案，帮助用户面对这些挑战。 1. 高度可扩的多协议存储 2. 集成的智能内容管理 3. 高质量的多媒体边缘发布系统 4. 与优秀的业务伙伴一起提供增值服务 5. 集中的服务和系统管理 1. 从 CDN 的数据中心或者其他内容伙伴将内容传送至发布层 Staging Server，内容的所有者利用 NetApp的 Content Director软件，以各种方上海电信宽带 网络流媒体应用平台方案 15 式（ FTP 等），将需要发布的内容推到 CDN 的主要数据中心，除了内容本身， Content Director还支持传送“ Meta-Data”，例如，内容的生存时间，具有锁定内容的能力，以及送出数据的时间和时段。 2. 从发布层将数据传送至边缘 Cache上，利用 Content Director自动发现位于 CDN 自有网络以及合作伙伴网络上的进行发布的 Cache，也可以手工设置。建立 Cache的逻辑分组，提供不同的服务级别，并使各个内容客户具有虚拟的自己的 CDN。 CDN 利用 Cache Director为位于发布层的内容设定发布作业和策略，如时程、数量等。 Content Director将内容（流文件、 WEB 文件等）线速送至 Cache，并在传送结束时进行验证。 Content Director 通过 email 向管理员报告传送状态。 CDN 利用中心的数据为内容客户提供灾难恢复服务，增加营收。 3. 建立一个能识别内容的网络，将数据流导向正确的 Cache.。在 Cache外围部署 GSLB网络，实现智能路由和透明访问。利用 Content Director与这些交换机交换数据，使其知道 Cache中的内容，将无和约的（或无关的）内容请求旁路到原始服务器。见下图。 4. 对传输的内容进行分析和服务。利用 NetApp的 Content Report软件，对从各个 Cache中传来的 LOG进行分析和服务。 LOG可以进行取样或进行完整的分析。 Content Reporter 可以配合第三方的服务软件定制LOG。 5. 对部署的 Cache进行统一管理，除了利用 NetApp的多 Cache管理工具，可以将 Appliance Watch（基于 SNMP MIB）集成进 CDN 的现有的网络管理平台，例如 Openview 或 Tivoli，对全网设备进行统一的监控和管理。 6. 除了内容发布，还可从其他内容服务创造更多的营收。利用 ICAP提供本地广告插入、内容翻译等。 上海电信宽带 网络流媒体应用平台方案 16 3.6 强大的内容过滤 和用户访问控制 NetCache具有内在的过滤引擎，与一般 Cache运行过滤软件工具相比，具有卓越的性能， 用户可以自己定义需要过滤的站点。 NetCache5.0 支持 LDAP、 Radius 和 NTLM 的认证方式， NetCache 也可以根据自身的用户数据库进行访问控制，支持强大的 ACL 功能，支持针对流的ACL， 例如，可以控制用户只能访问某一速率以下的流服务， 可以设定用户只能在某些时段进行访问。 上海电信宽带 网络流媒体应用平台方案 17 4 解决方案 4.1 NetCache 产品选型 解决方案由 8 个服务点部署的 Cache C6100，以及核心站点的 Content Reporter， Content Director组成。方案中也会涉及 L4 交换机的支持，我们支持主流的 L4 交换机。 容量估算： 假设 18万用户 10%的峰值并发量，每个用户平均访问流量 512kbps（ ADSL为 1Mb以下， LAN 等宽带用户带宽可能会较高）、 总服务容量 =并发用户数 X平均带宽 =18000X512k=9Gb。 选型和配置： 每台 C6100支持 1Gbps的实时流， 600Mbps 的 VOD，（参考 ZD的公开测试结果）。方案建议 C6100 的数量为 8 台。配合 server，为全网提供相应的 服务能力。 每 台 C6100的配置为： 一个 Intel 733M Copper Mine CPU，可以扩充到 2个。 3 GB ECC Memory、 128M NVRAM 4个 36GB FC_AL 10000RPM 磁盘，进行 RAID，提供 3X36GB=108GB的容量。 2块 1000BASE-SX网络卡，支持 TRUNK 和 JUMBO FRAME，最多可以支持 5个千兆口或 21个 10/100兆以太网口。 NetCache 5.1版软件 RTSP LICENSE ，对 RTSP支持的许可 MMS LICENSE，对微软支持的许可 用 于 ContentDirector和 ContentReporter 的许可 ，配置了这些许可 NetC上海电信宽带 网络流媒体应用平台方案 18 可 以成 为 CDN 的有机组成部分 。 S tr ea m i ng Ca pa c i t y of Cac he V en d er i n HK T B ak eo ff20 00 / 11 /2 3660120570100200300400500600700M bp sN e t C a c h e 6 1 0 0 C a c h e f l o w 6 2 8 5I n k t o m i S u n 3 5 0 0N C $ 1 2 1 / M b p sC F $ 5 8 9 / M b p sT C S $ 9 8 7 / M b p s 4.2 CDN产品配置 作为 CDN 中心控制的核心软件为 ContentDirector，控制内容、发布方式、发布地点等。 CD有三个组成部分，核心控制软件、 Cache组 领导（ Group Leader）和控制界面。组领导是 CD和 NetCache之间的传令官，控制界面通过 CD的 JAVA虚拟机工作，可以安装在网络的任何地方。建 议 CD安装在一台 Sun Ultra 5工作站 ， Solaris 2.7， 256M RAM， 18GB Disk。 GroupLeader和控制界面建议也安装在该机。 与 CD关系密切的是 StagingServer， Staging Server实际上是一个存储池， 内容供应者将其内容出版到这里，该存储可以是任何 CD可以访问到的逻辑盘、网络文件系统等。 CD需要的另一块存储为 WorkSpace，保存 CD内容发布过程数上海电信宽带 网络流媒体应用平台方案 19 据，如 Shadow文件， CheckPoint等， WoekSpace应大于发布作业的内容的容量。 ContentReporter是内容报告工具，提供内容消费情况和网络使用情况，提供机费数据。 CDN 计费所基于的大量 LOG 信息都会传给 CR，建议配置与 CD同样的机型。 ApplianceWatch是所有 NetApp设备的基于 OpenView的管理工具，可运行于现有的 OpenView平台上。 4.3 全网方案设计 Data CenterSecondaryData CenterSnap Mirrorwww.ICP1.comwww.ICP2.comEnterpriseContent ReporterAppliance WatchContent DirectorWeb ServerDatabaseMedia ServerStagingServerStorageContentPushContentPushContentPushContentPushContentPullEdge DeliveryLog RetrieveFrom Every CacheStorage流媒体平台全网工作拓扑图 Content Director 的 workspace可以是本地或者网络磁盘文件， CD自动识别需要发布的内容，以及内容的变动情况， Content Reporter所收集和处理后的数据也需要在集中存储中加以规划。 在 8 个节点， 各 配置一台 C6100， C6100 配置与主站点相同的域名，作加上海电信宽带 网络流媒体应用平台方案 20 速器部署 ；同时这些 L4 交换机与主站点的 DNS服务器形成广域负载均衡网络，智能路由用户的请求， Cache与主站为接入用户提供服务， L4 交换机通过 千 兆以太网 TRUNK 或者千兆网与 Cache相连； NetCache可提供 10/100/1000端口，与4层交换机相连，每台 C6100提供 622Mb的流媒体 VOD能力和 155Mb的 HTTP能力。 L4 交换机配置 Transparent Cache、 Global Cache Load Balance 及 Cache Fail Over的功能。 NetCache具有强大的分层部署能力， 利用 NetCache的分层， 可以方便地扩充服务范围和能力， 今后 在小区或学校， 部署 C1105，可以支持 160Mbps流，存储 72GB的流 .由于其 Appliance的结构特点，其低端产品也具有前大的流加速能力。 L4 Switch 除了实现上述功能外， 还可以作为防火墙使用， 设置 ACL， 对用户进行 2、 3、 4、 7层 （ URL级）的访问控制；还可以在 L4 Switch 上设置 ACL，只将访问需要被 Cache 网站的数据转发到 NetCache。 如果 L4 集线器支持基于URL的交换，可以直接将无关内容旁路。 Content Reporter 和 Content Director运行 在 中心的 SUN 工作站上， 将内容发布 到各个 Cache上 ， 报告 内容使用情况 。 各个需要进行发布的 ICP将内容 Publish到 Staging Server， Staging Server是任何 Content Director 可以访问到的本地或网络硬盘， CD 将内容发布到有关的 Cache上， CD根据内容的变化， 将变化部分更新到 Cache； NetCache具有 RAID和热后备磁盘保护，确保内容的完整，任何一个硬盘故障都无需重新传送数据。Content Director 保存内容的 Shadow 和各个作业的 Checkpoint，以便迅速同步Cache上的内容组。 用户访问被定向到“邻近”的 Cache， Cache代替服务器相应用户请求，如Cache 中无用户访问的内容， Cache 替用户到父一级 Cache 或服务器取得内容后相应用户。 Content Reporter 从 Cache 中取得 LOG，基于域对全网进行内容和网络报告，结 果可以直接输出到计费工具。 上海电信宽带 网络流媒体应用平台方案 21 4.4 系统配置组成 在数据中心的部署： 配置 8台 Cache C6100。 核心节点流媒体平台拓扑图 在 POP点的部署： 每个 POP点配置 Cache C6100一台。 上海电信宽带 网络流媒体应用平台方案 22 P O P 节点流媒体平台拓扑图 4.5 内容报告机制和 Log 文件的处理及控制 Content Reporter提供对全网的内容和运行状况的详细报告， 收集数据， 同时生成计费所需的数据， NetCache可以对流经的数据进行记录，生成 log文件，包括： Messages log Cache access log Referrer log NNTP access log NNTP trace log Streaming access log Streaming detailed log 例如， Cache access log中详细的记录了用户访问的数据，可以通过 第三方上海电信宽带 网络流媒体应用平台方案 23 提供的分析软件对其进行分析，生成相应的访问统计数据或图表。 Current time (in seconds and milliseconds) Elapsed time (in milliseconds) the transaction took to complete Client (IP address or host name) Transaction type (see Transaction types) Reply code Object size (in bytes) Method (GET， PUT， POST， and so on) URL User name (uses - if the user name is unknown) Hierarchy code Server IP address， if any， from which the URL was fetched Content type (from the MIME header) Note Log文件的大小可以定义，但每个 Log文件最大不超过 2GB，当 Log文件达到设定尺寸时，会自动 PUSH到指定的 FTP服务器或在 NetCache内部保存，NetCache 可以保存 10 个 log文件，旧文件将会被新文件覆盖。 Log文件还可以stream到 Content Report以支持实时统计。 利用 Content Reporter软件，可以实时生成各种报表和直接用于计费的数据，提供丰富的内容报告和统计，具有强大的分析功能。提供全网基于域的分析统计。上海电信宽带 网络流媒体应用平台方案 24 4.6 NetCache 刷新机制 Content Director使得 CDN 可以定义内容的有效期， 控制内容在网络上的生存期 . NetCache根据对象的属性进行操作，例如， No Cache， Cache live time等， 并可以对某些内容（ Jpeg， Gif等）进行强制 Cache。 对于没有生存 时间指示的目标， NetCache不进行 CACHE工作，或为其设定动态自适应的生存时间 TTL生存周期。对于有 TTL生存周期的 objects， NetCache根据其 TTL生存周期决定 objects是否 expire；对于没有 TTL生存周期的 objects，NetCache根据算法决定 objects是否 expire。 对于 expire的 objects， NetCache并不对其进行立即删除或更新，当用户访问expire的 objects时， NetCache向 objects的 originating Web server查 询 objects是否被修改，如被修改， NetCache将 objects更新，如没有修改， NetCache只修改上海电信宽带 网络流媒体应用平台方案 25 objects的 cache timestamp， 无需重取。 Content Director具有 Cache内容的同步功能，自动将内容刷新。 NetCache的刷新可以最大地节省网络带宽，增加用户的服务质量。 4.7 内容和网络管理 Content Director和 Content Reporter提供对内容的控制， 管理和报告功能，并且和所有主要的内容管理软件进行合作。 CDN 基于工作流的功能部件有 : WHO (Users)用户 首先在系统内定义用户。通过建立 /更新 user profiles。 系统有 2类用户 : Administrators & Users.。对 Content Director的访问通过user 向 console 的登录控制。 Administrators 可以访问修改所有已定义的 configuration. Users 可以访问修改他们建立的 configuration (jobs).user 有自己的网络视图。如果我们为 yahoo broadcast发布内容，我们可以设立 user yahoo，yahoo可以自己进行发布工作，我们可以根据 yahoo的使用量和服务级别进行收费。 What， Where， & When (Jobs) 第二步定义发布什么内容， 什么时候发布 .。通过定义 job进行。 job 是一个内容发布事件的完整描述。一个 job 可以部署一个文件到一台Cache， 或几千个文件到几百台 Cache。 job name 首先被定义。如果已有其他的 jobs 被定义，可以 import 它的定义 。 job 里最重要的是它的 policy，它定义了何时何地等内容分发的高层参数。 要 分发的内容在 Content Tab 里定义， 定义内容分发任务的内容源和目的地 . 例如 ， source 可以是一个 local staging directory， destination可以是一个 cache 或 cache组 (又称为 Content Group)。 filter 上海电信宽带 网络流媒体应用平台方案 26 Filter可以帮助用户决定从内容发布作业里过滤掉某些类型数据。例如， 用户可以决定不发布特定的数据文件，如 avi文件 . 最后在 schedule 里定义 where 和 when 发布内容。 schedule 定义发布内容的频率 。通过 scheduler 可以定时自动发布 ， 选择在在网络流量最少时预载内容以节省带宽。 How (Policies) policy 是用户确定的一些原则， 可以被一个或多个 job 使用 . policy 定义 job如何被执行 . 一些重要的项目有 : Contacts: Email job执行状态的联络人列表 . 执行状态 : 例如 job顺利完成。 Retries: 确定 job失败前的 job 重试次数。 Security: 定义 job的安全级别 ， encryption， verification。 Cache: 描述 Cache对待该内容的方式。失效期 ， Max Age， Min Age。并且指定内容锁定在 Cache里的时间长短。 Where (Network) Network Area 提供了图形化的 content distribution network 拓扑。定义 cache的逻辑组（ content group）。 另外还有： Network Segments:：定义 caches 和 group leaders 所在的网络。 Destination servers (caches)：定义 caches 和响应的 group leader。 Hosted sites：定义源和目的的路径。 NetApp提供基于 WEB的对全网设备进行管理的工具和 GUI 管理工具。 NetApp 还提供两种基于 SNMP 的网络管理方式，一种是独立的 Cache Manager，一种是基于 HP OpenView的 Appliance Watch。由于网络规模较大，分布较广，一次建议采用基于 HP OpenView的 Appliance Watch对 NetCache进行集中管理。 上海电信宽带 网络流媒体应用平台方案 27 Appliance Watch for HP OpenView可 以实现如下功能： 自动发现 NetApp系统 给出适当的图示 检测系统的健康程度 通过 Cache Manager基于 web的管理工具管理 NetApp Caches 通过 NetCache (监控、配置和维护 ) 基于 web的管理工具配置 NetCache NetCache MIB站针对流 媒体的一些信息： 同时连接到服务器的 TCP/IP 数量 同时连接到客户端的 TCP/IP 数量 针对流请求的带宽情况 上海电信宽带 网络流媒体应用平台方案 28 针对流请求的包响应情况 针对流请求的最后点击情况 针对流请求的最后失败情况 发送到客户端的流字节总计情况 从客户端接收的流字节总计情况 发送到服务器的流字节总计情况 从服务器接收的流字节总计情况 发送到客户端的流代理字节总计情况 从客户端接收的流代理字节总计情况 发送到服务器的流代理字节总计情况 从服务器接收的流代理字节总计情况 4.8 流媒体发布平台的价值 流媒体发布平台的潜在用户包括： 内容所有者 需要内容推广，按注册或者 pay-per-view收费。 希望提高 QoS和受众。 内容门户 需要为内容供应商提供 SLA，同时提高用户访问质量。 企业 通过快速获得内容提高生产效率和满意程度 IDC 等 提供 HOST用户 SLA，提高用户内容的发布，扩展营收 其他 CDN 需要通过结盟最大化内容的发布，增加用户的覆盖 上海电信宽带 网络流媒体应用平台方案 29 内容消费者 提供多媒体服务，提供快速、可靠的内容供应，分层的服务级别。 采用发布平台的方式，即通过 CDN 网络在靠近用户的地点，通过高性价比的 NetCache,将内容供应给用户的方式， 为 ISP 增加了边缘发 布的质量，为内容供应者提供了发布，为企业提供特定的内容，为最终用户提供高质量的上网经验。总之， 为 CDN 用户带来 以下 价值 ： 提高用户的流媒体和其他内容的使用质量 通过边缘发布保证内容的可用性，从而保障服务级别（ Service Level Agreement） 企业用户通过流媒体提高培训、沟通的效率，降低成本 web 内容个性化，提供增值服务 提高 ECommerce 能力 提供过载保护和伸缩性 为规划和推广业务提供报告和管理 营收项目与收费模式参考： 上海电信宽带 网络流媒体应用平台方案 30 T yp eP ay m e n t M e t r i c( p e r m on t h )T i e r e d C on t e n t D i s t r i bu t i on / M a n a g e m e n t - b a s i c H T T P c a c h i n g pe a k $/ M bp s d e l i v e r e d- A dv a n c e d di s t r i bu t i on / m a n a g e m e n t $/ M B d i s t r i bu t e d + p e a k $/ M bp s d e l i v e r e d$/ M B ( C u s t om e r : a c c e s s p r ov i de r )$ pe r v i e w e r ( C u s t om e r : a c c e s s p r ov i de r )P u r e S t r e a m i n g- L i v e ( t i e r e d pr i c i n g f or #s i m u l t a n e ou s s t r e a m s a n d e n c od i n gr a t e s )$ pe r s t r e a m- O n - de m a n d $ / M B- S t or a g e $ / M BS y n di c a t i on a n d D i s t r i bu t i on( pa y m or e f or r e g i on a l e x c l u s i v i t y ) T yp eP aym e n t M e t r i c ( p e r m on t h )E n t e r pr i s e S e r v i c e s : I n t e r n a l T r a i n i n g & C om m u n i c a t i on s $/ M bps + di s t r i bu t i on s e r v i c e sE x t e r n a l C om m u n i c a t i on s B a s i c m on t h l y f e e or $ / W e bh os t i n g a n d S i t e r e pl i c a t i on- s i t e di s t r i bu t i on / r e pl i c a t i on s e r v i c e $/ M B s t or e d R e por t i n g & A n a l y s i s ( T i e r e d)- B a s i c u s a g e da t a ( e .g ., t ot a l pa g e s / s t r e a m s / M bps ) F r e e- T r a f f i c pa t t e r n s ( e .g ., ba n dw i dt h / t i m e s / dom a i n ) $/ R e por t or S u bs c r i pt i on f e e- C u s t om i z e d pr of i l i n g $/ R e por t or S u bs c r i pt i on f e e 上海电信宽带 网络流媒体应用平台方案 31 T yp e P aym e n t M e t r i c ( p e r m on t h )C on t e n t A d ap t at i on S e r vi c e sA d i n s e r t i on - pe r s on l i z a t i on- ba n n e r a ds$ p e r 1, 000 i m pr e s s i on s + $ pe r c l i c k t h r ou g h- s t r e a m i n g a ds $ p e r s t r e a m W i r e l e s s A da pt a t i on $ M B + a da pt a t i on s e r v i c e sS e c u r i t y a n d S c