（模式识别与智能系统专业论文）分级pvod系统中数据预部署的研究和实现.pdf

中田科学技术大学硕士学位论文 摘要 v o d 因其交互性、实时性和满足用户个性化需求的特点。一直具有良好的 发展势头，当前随着网民人数和宽带用户的增加，v o d 市场营业规模越来越大， 并以更高的年增长率增长 但无论国内还是国外。目前的v o d 服务郝不能满足市场的需求，传统v o d 系统在服务器端存在的带宽、资源等方面的缺陷，制约着v o d 系统的发展中 国下一代互联网视频多媒体点播系统采取的i - i p v o d ( i - i i 豇 a r c h i c a lv o db a s e do l l p 2 p ) 系统结构，由多个驻地网p v o d 子系统、一个城域网p c d n ( c d nb a s e do n p 2 p ) 系统及一套运营支撑平台组成，利用p 2 p 技术的节点分散提供服务的特点， 减轻了内容服务器的服务压力，提高了系统吞吐量，此外，采用p 2 p 技术的内 容分发平台，有效实现了系统内媒体内容的分发。 i - i p v o d 数据预部署子系统用于实现h p v o d 系统中的数据预部署功能，包 括驻地网和城域网两部分王作，驻地网数据预部署将热门影片预部署到驻地嚼 内多个终端设备上，有效缓解了驻地网热门影片点播压力，并实现了影片重要 数据在驻地网内的合理分布，降低了点播终端的初始播放延迟；城域网数据预 部署将热门影片预部署到所有驻地网内容服务器，使驻地网的热门影片获取更 加容易和快捷，此外。将驻地网内容服务器没有存储的影片内容，预分发到其 就近的多个媒体分发缓存服务器，缩短了驻地网内容服务器从城域网周转数据 的时延。 仿真结果和示范系统的业务试验都证实，在h p v o d 中实现数据预部署，能 大幅度提高用户的视频点播服务质量，增强系统可扩展性，对建立大规模v o d 系统以及推动我国视频点播业务的发展，具有积极的促进作用。 中国科学技术大学硕士学位论文 a b s t r a c t v o d a l w a y sd e v e l o p sr a p i d l yb c c a u s eo fi t sc h a r a c t e r i s t i c ss u c ha si n t e r a c t i v i t y , r e a ll i m ea n du 晰i n d i v i d u a l i t ys a t i s f a c t i o n e s p e c i a l l yn o w a d a y s , a st h ei n c r e m e n t o fn e t i z e na n db r o a d b a n du s e r s ，v o db u s i n e s s e sb e c o m el a r g e ra n dl a r g e rw i 血h i g h g r o w t h r a t e b i i lr e c e n tv o ds e r v i c ec a n tm e e tt h em a r k e tr e q u i r e m e n t , s e r v e r - s i d e l i m i t a t i o n ss u c ha sb a n d , r e s o u r c ea n ds oo ni nt r a d i t i o n a lv o ds y s t e m sr e s t r i c tt h e d e v e l o p m e n to f 、，o d t h eh p 、，o d ( h i e r a r c h i c a l 、，o db a s e do np 2 p ) a r c h i t e c t u r e a d o p t e di nc h i n an e x tg a 砣删h t e r n e t ( c n g i ) v o ds y s t e mm a k e su po ft h r e e c o m p o n e n t s ：s e v e r a ll o c a lp v o ds u b - s y s t e m s , ap c d n ( c d nb a s e do np 2 p ) s y s t e m a n das e to f b u s i n e s ss u p p o r tp l a t f o r m t h cu o f n o d e sc a p a c i t ye a s e st h es e r v i c e p r e s s u r eo nt h ec o n i e n ts e r v e ra n dr a i s e st h es y s t e mt h r o u g h p u t , f l r t h e r m o r e , t h e p c d np l a t f o r md i s t r i b u t e st h em e d i ac o n t e n ti n t h es y s t e me f f e c t i v e l y h p v o dd a t ap r e - a l l o c a t i o ns u b - s y s t e m ( h p v o d - d p s ) u s e df o rt h es y s t e md a t a p r e - a l l o c a t i o ni m p l e m e n t a t i o n , i n c l u d e sd a t ap r e - a l l o c a t i o nt a s k sb o t hi nl o c a lp v o d s u b - s y s t e ma n du p p e l p c d np l a t f o r m t h el o c a lp a r t , w i t c hp r e - a l l o c a t e st h ed a mo f a l lh o tf i l m st os o m ea v a i l a b l el o c a lt e r m i n a l s ，l i g h t e nt h eh o tf i l m sd e m a n d i n g p r e s s u r ee f f e c t i v e l y a d d i t i o n a l l y , t h el o c a lp a r ta l s om a k e st h ef i l m s i m p o r t a n td a m s t o r ei nt h el o c a lp v o ds u b - s y s t e mr e a s o n a b l y , w h i c hb r i n g sl o wi n i t i a lb u 伍e r m g t i m ef o rt h et e r m i n a l i n t h ep c d n p l a t f o r m ，i no r d e r t om a k et h el o c a lp v o ds y s t e m g e th o tf i l m sm o 幅e m i l ya n dr a p i d l y , h p v o d - d p sp l e - a l l o c a t ea l lt h eh o tf i l m st o a l lt h ec o n t e n ts e r v e r so f t h el o c a lp v o ds y s t e m s ，f u r t h e * m o r e ，i no r d e rt om a k et h e c o n t e n t $ e r v e ro ft h el o c a lp v o ds y s t e me x c h a n g ed a t af r o mt h ep c d ns u b - s y s t e m w i t hs m a l ld e l a y , h p v o d - d p sa l s od i s t r i b u t e st h ef i l m sn o to nac o n t e n ts e r v e rt o a 呲em e d i ad i s t r i b u t ec a c h i n gs e r v e r sa r o u n d b o t hs i m u l a t i o nr e s u l t sa n db u s i n e s se x p e r i m e n t s0 1 1t h ea c t u a ls y s t e mp m v e t h a t , t h ei m p l e m e n t a t i o no fd a t ap r e a l l o c a t i o ni nh p v o ds y s t e mc a ni n c r e m eu s e f 8 d t m l a n d i n gq o se f f i c i e n t l ya n dm a k et h es y s t e mm o r es c a l a b l e ，w h i c hw i l lp r o m o t e t h ed e v e l o p m e n to f t h ev mi nc h i n a i i i 中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究 工作所取得的成果。除已特别加以标注和致谢的地方外，论文中 不包含任何他人已经发表或撰写过的研究成果。与我一同工作的 同志对本研究所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权， 即：学校有权按有关规定向国家有关部门或机构送交论文的复印 件和电子版，允许论文被查阅或借阅，可以将学位论文编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：瀣幺笙 年 门1 1 广 妈 借们套7 中国科学技术大学硕士学位论文 第1 章绪论 1 1 宽带网的发展及v 0 0 的前景 人类己进入新的世纪，以信息技术为代表的科技发展己将人类社会推进到 全球化知识经济时代。信息资源己成为知识经济时代人类可持续发展最宝贵的 资源，是国家的战略资源，在国民经济信息化中位于核心的地位，对促进我国 信息化的快速发展，引导我国信息化的发展方向，拉动国民经济，提高全民族 的文化素质和创新能力，促进社会进步和繁荣等方面有着十分重要的意义。 计算机网络作为数字信息资源的重要载体，得到了越来越广泛的应用。互 联网信息资源也成为信息资源的重要组成部分。除了用于获取各种资讯，互联 网的应用领域在2 1 世纪可能远远超越我们的想象。各种类型的电脑，手持设备 ( p d a ，手机) 甚至电视机，咖啡壶都将以不同的方式融入到庞大的信息社会中 今天我们在生活工作和娱乐中可接触的绝大多数设备都将和i n t e m e t 网络连 接，同时网络中信息资源总量和用户数量也得到飞速发展。 图1 历次调查网民总数 根据中国互联网络信息中心2 0 0 7 年1 月公布的第十九次中国互联网络发 展状况统计报告【l 】到2 0 0 6 年1 2 月为止，中国的网民总人数为1 3 7 0 0 万人( 如 图l 所示) ，与去年同期相比，中国网民总人数一年增加了2 6 0 0 万人，增长率 中田科学技术大学硕士学位论文 为2 3 4 。分析网民人数增长率的变化趋势可以看出( 如图2 所示) ，网民总数的 增长率出现回升。在所有网民中，专线上网网民人数为2 7 1 0 万人，与去年同期 相比减少了2 0 0 万人，同比下降6 9 ；拨号上网网民人数为3 9 0 0 万人，与去 年同期相比减少1 2 0 0 万人，同比下降2 3 5 ；宽带网民人数为9 0 7 0 万人，与 去年同期相比增加了2 6 4 0 万人，增长率为4 1 1 ；手机上网网民人数为1 7 万人。从中国互联网络信息中心最新的调查结果可以看出，中国的网民总数里 良好发展趋势，在网民总数继续保持增长的情况下，使用专线及拨号上网网民 数量呈现持续下降趋势，而宽带网民数依旧保持高速增长。 图2 历次调查网民总数增长率 虽然中国网民总数的快速增长已被世界所瞩目，但1 3 7 0 0 万网民在中国1 3 1 亿总入口中还仅占1 0 5 ( 去年同期为8 5 ) ，非网民依然占据非常大的比例， 预期近半年内肯定上网或可能上网的非网民比例为1 4 9 i ”。这说明尽管中国的 网民总数大，增长快，但互联网络的普及程度目前还很低，未来的发展空间仍 然很大 v ( d ( v i d e o - o n - d e m a n d ，视频点播) ，从根本上改变了用户被动接收的观看模 式，使用户能够在需要的时候看到想看的节目，真正满足用户的个性化需求， 使其从一开始就具有迅猛的发展势头 i p t v 为交互式网络电视，是一种利用宽带妒网络，集互联网、多媒体、通 讯等多种技术于一体，以电视机或p c 机作为接收终端，向用户提供包括数字 电视在内的多种交互式服务的崭新技术。m t v 利用a d s l 或以太网或者有线电 中田科学技术大学硕士学位论文 视网络等接入宽带网，通过互联网协议( 口协议) 来传送电视信号，是互联网和 传统电视相融合的结果。i p t v 因其交互性和实时性，在2 0 0 4 年就已显山露水， 2 0 0 5 年5 月，广电总局发给了上海文广中国第一块i p t v 牌照，电广传媒、赛 迪传媒、东方明珠、歌华有线、上海贝岭、广电网络等八大上市的广电运营企 业也都在蓄势待发：在电信方面，广东电信正在推广网络电视业务，目前用户 增长迅速，中国网通在黑龙江、辽宁也开通了i p t v 的商用测试系统；在彩电 行业，彩电巨头们也一直努力把握未来的电视产业方向，以摆脱利润低薄的现 状，在竞争中获得优势，对于i p t v ，2 0 0 5 年初。长虹与中国电信签订战略合 作备忘录，明确了双方在视讯、i p t v 和互联星空等领域的合作意向。展开从终 端到渠道的全方位合作，终端层面的合作主要涉及可视电话终端解决方案及 i p t v 终端解决方案等；此外，盛大网络寄希望于借助i p t v 在更大范围内推广 它的网游相关产品，并且与长虹就i p t v 开展了合作，u t 斯达康等也对玎町v 雄心勃勃，它于2 0 0 1 年底开始对m t v 市场进行跟踪与技术研发，是商用i p t v 系统和终端的全面供应商，产品在全球都有使用。 图3 中国互联网视频点播直播市场营收规模及增长率 网民人数的增加及宽带网络的发展，为口r v 的发展奠定了坚实的基础，为 i p t v 业务的迅猛增长提供了催化剂。v o d 视频点播作为i p r r v 的重要业务，已 从试验阶段发展到当前的大范围应用阶段，由中国互联网协会、d c c i 互联网 数据中心联合发布的c n e t g l l i d e2 0 0 7 中国互联网调查报告【2 】数据显示，2 0 0 6 年中国互联网视频点播，直播市场营收规模已达到6 亿元，并将以更大的年增长 中国科学技术大学硬士学位论文 率增长，预计到2 0 0 8 年，市场营收规模达1 1 亿元( 如图3 所示) 当前。随着政府支持的c n g i ( c h i n a n e x tg e n e r a t i o ni n t e r n e t , 中国下一代互 联网) 项目的全面启动，在政府的引导下，重心被转移到如何合理有效地建设网 络，并实现“零成本过渡”。c n g i 项目将成为整个i p v 6 产业部署进程的孵化 器和助推器。c n g i 技术的发展和网络规模的进一步扩展，势必会推动c n g i 应用的快速发展。能够充分发挥出c n g i 的网络潜力，并且能够迎合广大用户 高质量音视频享受需要的多媒体视频点播服务，势必将推动c n g i 的广泛应用。 1 2r o d 存在的问题 但从目前我国现有的v o d 系统来看，还难以满足当前的应用需求。不管在 国内还是在国外，视频点播系统的发展存在以下问题，这些阿题是妨碍视频多媒 体点播业务的维广和普及的一些主要原因。 版权保护困难：通过非法复制和截流等方式获得的非法拷贝使碍内容制作和 发行商无法获得预期的收益，影响了v b d 内容质量的提高和丰富，而v o d 节目的低质量，直接影响v o d 用户群的形成。这种恶性循环，极大地影响到 视频点播业务的健康发展： 现有口网络缺乏有效的多媒体数据传输q o s 保障机制，从而导致基于口网络 的v o d 点播业务无法满足用户对高质量音视频节目享受的需求，这种状况使 得口网络的视频点播业务仍无法和d v d 出租、付费电视等业务展开有效竞 争； 可扩展性差；由于传统的业务用户数量受到媒体服务系统的储存能力、处理 能力、并发能力等多方面的制约，难以提供大规模并发媒体业务： 媒体格式标准繁多：目前在多媒体数据信源的编码格式较多，并处于一个变 化较快的发展期，很多新的标准和技术正在不断产生，这些不确定因素使得 媒体内容发行商、终端设备制造商和媒体内容运营商裹足不前，影响视频点 播产业的顺利发展； v o d 业务和商业模式简单：由于网络发展和技术等原因，目前v o d 业务的主 要收费模式是包月制和按点击次数付费两种，这类简单的商业模式无法兼顾 网络运营商、内容提供商和用户的利益。而v o d 业务也主要有基于局域网的 v o d 服务和由电信提供的v o d 业务两种。前者因用户规模很小，使其无法为 中国科学技术大学硕士学位论文 用户提供合法的、高质量且内容丰富的v o d 节目，而后者，除了系统构造成 本过高。难以推广普及之外，其致命缺点还在于其系统架构不支持多个、钿d 业务运营商开展v o d 业务，由一家企业垄断v o d 业务价值链上的几乎所有环 节，不支持多个利益体分享其v o d 价值链带来的利润，缺乏合理有效竞争， 不利于v o d 产业化和健康发展； 种类繁多的终端异构性服务需求：目前网络的应用态势面临不同层次的接入 带宽，而且不同用户具有不同的服务质量和不同性能的服务终端，采用固定 编码模式、统一终端的u d 业务无法满足网络带宽变化、用户多样化及个性 化的业务需求 1 3p 0 0 n 和o d 1 3 t 基于p 2 p 的网络信息共享技术 随着网络技术的发展，p 2 p 网络( p e e r - t o - p e e rn e t w o r k ，对等网络) 渐渐得到 了计算机工业界和学术界的关注。不同于以往的服务器客户端网络模式，在p 2 p 网中，所有的节点拥有相同的功能，节点问进行直接连接，网络中的资源查询 以及获取也是通过多个节点共同努力实现的。 纵观计算机网络的发展，早在2 0 世纪6 0 年代后期互联网形成的初期，p 2 p 网络是网络连接的主要方式，比之现在，当时的网络更加开放，组织更加松散， 计算机可以任意互相连接。早期的互联网“杀手”程序，如p t p 和t e l n e t ， 本身是服务器，客户端结构的，但由于一个节点往往既是服务器也是客户端，整 个网络仍然是一种对等的结构。 从1 9 9 4 年开始，互联网开始高速膨胀，浏览器以及一些类似的应用程序的 出现和使用大大加速了这一进程，这些应用程序有一个共同点，即都是服务器 客户端结构的：客户与已知的服务器建立连接，下载一些需要的数据，然后断 开连接。这一著名而又通用的模式统治了之后直至现在的网络应用程序。 、t、。 2 0 0 1 年唱片公司对n a p s t e r l 3 的诉讼案让人们对p 2 p 网络产生了重新认识。 n a p s t e r 提供了一种服务，允许用户可以相互问自由交换音乐文件。颇具争议的 是，n a p s t e r 本身并不参与文件的交换，只是提供了一种平台，允许用户发布自 己拥有的文件并允许用户搜索自己感兴趣的音乐，一旦定位到文件所在。交换 中圈科学技术大学硕士擘位论文 就在用户之间直接进行。 c d n 的全称是c o n t g n td e l i v e r yn e t w o r k ，即内容分发网络，p c d n ( c d n b a s e do l lp 2 p ) ，为采用p 2 p 技术的c d n 系统。 c d n c 4 1 的目的是通过在现有的i n t c m c t 中增加一层新的网络架构。将服务器 上的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容， 提高用户访问内容的响应速度。c d n 有别于镜像，因为它比镜像更智能，或者 可以做这样一个比喻：c d n - - 更智能的镜像+ 缓存+ 流量导流 5 1 。因而，c d n 可 以明显提高i n t e r n c t 网络中信息流动的效率。从技术上全面解决由于网络带宽 小、用户访问量大、网点分布不均等问题，提高用户访问服务器内容的响应速 度。商业内容分发网络，如a k a m a i n 和m i r r o ri m a g e 7 1 。已经证实了c d n 的有 效性并吸引了许多研究人员参与对c d n 的研发 但c d n 作为电信运营商承载宽带增值业务的理想平台，却因为业务种类少， 用户并发数量少等实际原因，业务发展并不理想。有序的平台却得不到充分应 用。p c d n ( c d nb a s e d0 1 1p 2 p ) 就是顺应电信运营商，利用有效的c d n 平台而 产生的，p c d n 就是结合了p 2 p 技术的新一代c d n 系统嗍。p c d n 建立在传统 的c d n 系统基础上。在骨干网层次保留了原有的c d n 系统的架构和功能，在边 缘节点引入了p 2 p 技术来进行文件及流媒体的共享，实现了p 2 p 技术与c d n 传输的结合。在c d n 骨干网仍旧继承了c d n 的内容缓存机制、全局负载均衡 机制、骨干网内容分发流程、认证计费相关机制等基本技术特征 为了避免骨干网上的流量对冲，p c d n 通过集中的分布式架构，将p 2 p 的 流量严格限制在同一边缘节点的区域内。p c d n 传输的内容与原c d n 的内容有 所不同，根据p 2 p 协议对内容( 包括文件和流) 做切片处理后，p 2 p 用户将根据 这些规则来完成p 2 p 共享，p 2 p 在边缘层的引入大大降低了边缘服务器的压力， 提高了文件传输和流媒体传输的效率，同时又充分利用了用户的闲置上行带宽。 另外，p c d n 的用户采用客户端的方式，可以拓展更好的应用和服务，比如分 众广告和差异性服务等。p c d n 的网络架构采用三层结构，分为核心层、骨干 层和边缘的p 2 p 自治域。在核心节点部署应用及服务中心和管理中心，实现对 p c d n 网络的业务管理、运营支撑和业务生成：骨干节点部署节点设备，核心 6 中国科学技术大学硕士学位论文 节点域骨干节点构成内容分发体系，实现内容的有序分发和传送。而p 2 p 自治 域实现p 2 p 的内容服务，通过骨干节点的设备进行管理、控制和服务保障。， i ： c d n 系统具有以下特点： 可限制p 2 p 技术在特定区域使用； 极强的扩展性； 广泛的广告受众和细分用户； 系统整体的流量区域控制； 超级种子保证服务质量： 运营商可进行有效的内容监管； 用户有效信息的维护和管理； 应用的地域控制和管理。 当煎，各大电信运营商处于业务转型期，将从传统的单一业务转向综合服 务提供商。在这样的大背景下，采用p c d n 技术可以快速地、低成本地进行网 络建设和业务扩展，电信运营商可以在这个平台上发展流媒体直播、点播和t 载业务，特别是大力开展基于p 2 p 的免费视频业务，可以快速扩大用户数量， 集聚人气，扩大流量。p c d n 将可以成为一个可盈利的媒体商业发布和传输网 络，也是电信运营商向新的管理和运营模式转变的一个好机会。 1 3 3p v o d 技术 p v o d ( v o db a s e dp 2 p ) ，为采用p 2 p 技术的v o d 系统。传统v o d 系统如图4 中a 所示，v o d 内容存放在内容服务器上，所有用户在需要点播时，向内容服 务器发出数据请求，内容服务器将y o n 数据传送到用户。这样，即使在宽带环 境中，传统v o d 系统的瓶颈问题还是普遍存在，这主要集中在服务器端。由于 视频流需要占用的网络带宽是音频流的数倍乃至上百倍，是文字流的成千上万 倍，因此视频服务器端的网络带宽很难满足大用户量的需要。除了带宽问题， 服务器本身的i o 吞吐能力也是一个严重的问题。虽然现在可以用集群技术的 良好可扩展性来提高服务器的i o 能力，但其中每一个服务结点所能承载的视 频用户数有限，而且成倍增加结点数量也会成倍增加成本。 如果v o d 系统的q o s 问题不能解决，就会大大影响它的普及。解决这个问 题的关键就是消除v o d 系统的在服务器端存在的性能瓶颈。在尝试了p 2 p 在即 中国科学技术大学硕士学位论文 时通信、音乐共享与下载等方面的产品开发与经营后，结合p 2 p 的v o d 必将成 为商业应用的核心，利用p 2 p 技术，将集中的v o d 服务分散化，形成负载均衡、 播放质量有保障的分布式v o d 系统【9 1 0 1 。任何加入到系统的用户，在自由享用 系统中的影片资源的同时，缓存已观看的影片内容，向其他用户提供服务( 如图 4 中b 所示) 。也就是说，各用户既是资源的消费者，也是服务者。p v o d ( v o d b a s e d o np 2 p ) 大大增加系统的总服务带宽，减轻了内容服务器的服务压力，提高了用 户的点播q o s ，使系统可以服务更多的用户。 图4 传统v o d 系统和p v o d 系统 1 3 4 结合p c d n 的p v o d 相比传统v o d 系统，p v o d 有效避免了服务器端的性能瓶颈，带来的很好 的系统可扩展性。但对于实际可运营的p v o d 系统，不能无限制的扩展用户， 存在以下几个限制因素：a ) 系统终端需完成点播处理和媒体内容的解码播放等 工作，考虑到终端的处理能力有限和实现上应简单化，系统不能采取分布式的 资源定位方式，即每个节点维护一部分邻居节点的媒体内容存储信息，在进行 资源查询时，首先查询邻居节点的存储信息，如果需要的话，邻居节点需扩散 查询请求直到得到合适的数据源。因此p v o d 系统需采取集中式资源定位方案， 由中心管理服务器维护系统内所有终端设备的缓存媒体内容信息，处理用户的 资源定位请求，返回合理的数据源列表，考虑到v o d 服务的及时性，这要求中 心管理服务器具有很高配置( c p u 、内存、高通道速率的主板等) ，必然只能服务 一定数量的用户；b ) 终端虽然缓存已点播过的影片，但系统初始影片内容都来 自内容服务器，若用户数量庞大，则对于新引入系统的影片，第一批点播该影 中嗣科学技术大学硕士学位论文 片的用户必然很多，而内容服务器的上传带宽限制使其只能同时服务一定数量 的用户；c ) 实际中，运营商在建立p v o d 系统时。是针对某个或者多个小区， 以方便运作和管理，因此从业务角度考虑，也不可能无限制的增加系统用户。 因此，p v o d 系统仍然存在最大系统用户数限制，虽然运营商可以通过建立 多个p v o d 系统来扩大用户规模，但多个分散的p v o d 系统需要多个配套的基 础设施，导致需要更多的软硬件资源以及更多的管理和维护人员，浪费成本， 且分散的多个p v o d 系统不易于统一管理，包括影片资源的统一管理、用户的 统一管理以及系统实施的统一管理，阻碍￥o d 的发展。 结合p c d n 的p v o d 系统，使多个p v o d 予系统共用一个p 2 p 内容分发平 台，具有以下优点： 节省系统实施花费：系统多个p v o d - 7 ：系统，共用一套p 2 p 内容分发平台和 一套运营支撑系统，无需重复部署； 使系统实施更简单； 方便影片的统一管理：系统在有新影片时，通过统一的p c d n 平台分发到多 + p v o d 子系统，使新影片在系统范围内可供点播。系统在移除影片时，通 过p c d n 发送命令，移除各个p v o d 子系统中存在的影片内容和相关信息， 然后移除影片在p c d n 平台中各个服务器节点的内容和相关信息； 方便用户的统一管理：每个p v o d 予系统存在管理服务器，管理区域内的所 有用户的缓存信息，而在系统整体层次上，统一的运营支撑平台实现对用户 的统一管理； 方便系统运营：统一的p c d n 平台和运营支撑系统，方便的影片和用户管理， 使运营商可以更简单、更集中的进行系统业务运营； 增强系统可扩展性；在统一的p c d n 平台和运营支撑环境下，通过增加p v o d 子系统，可以大批的增加系统用户。 因此。结合p c d n 的p v o d 的系统，具有比单个p v o d 系统更好的可扩展 性，此外，相比多个p v o d 系统，结合p c d n 的p v o d 的系统具有实施简单、 花费小、管理和运营方便等多个优点。在解决当前v o d 在实施和运营上存在的 问题，以及推动v o d 向规模化发展的过程中，结合p c d n 的p v o d 的系统必将 起到十分关键的促进作用。 9 中盈科学技术大学硕士学位论文 1 4 作者的工作 作者致力于解决c n g i 视频多媒体点播系统中的数据预部署闯题。针对 p v o d 系统在规模扩展、用户和资源管理、商家利益等方面存在的问题，c n g i 视频多媒体点播系统采用了一种结合p v o d 、p c d n 和运营支撑平台的可运营分 级p v o d 系统( h p v o d ，h i e r a r c h i c a ll 2 pv o d ) 架构，系统包括多个驻地网p v o d 子系统，一个城域网p c d n 和一套功能齐全的运营支持平台。我们首先对c n g i 视频多媒体点播系统进行了详细介绍，包括系统结构和功能、系统实现涉及到 的多个关键技术以及系统的可行性和优越性。 考虑到影片片头数据和元数据对播放的重要性，我们将其作为影片的重要 数据，影片的其他数据为普通数据。在进行系统数据预部署设计和实现时，区 别对待这两种类型的影片数据。 系统数据预部署实现了影片重要数据在驻地网p v o d 子系统内所有终端设 备上的合理分发，并使每个驻地网内容服务器拥有系统所有影片的重要数据 使终端可以从其所属的驻地网区域内，很快的获取点播影片的重要数据，迅速 开始播放，提高播放质量。 对于普通数据，考虑到系统热门影片内容分布在内容服务器和少数终端设 备上，带来系统热门影片点播时少数节点上的巨大服务压力，导致点播q o s 的 严重下降，提出了整个i - i p v o d 系统的普通数据预部署解决方案：在驻地网p v o d 中，实现了用户主动和驻地网中心控制器主动的两种热门影片预部署方案，将 热门影片数据预部署到驻地网内多个终端节点上，有效增加了热门影片驻地网 数据源，使终端对热门影片数据的获取更加容易和快速，并大幅度减轻了驻地 网内容服务器的服务压力，避免其存在的性能瓶颈；在城域网p c d n 中，实现 了针对驻地网内容服务器的热门影片内容预分发，将驻地网所需数据，通过内 容分发平台，预先分发到该驻地网的内容服务器，极大缩减了该驻地网终端的 数据请求时延，并且，驻地网良好的网络环境，有效保证了用户点播服务带宽， 此外，对于驻地网内容服务器没有存储的影片普通数据，将其预分发到驻地网 内容服务器就近的多个城域网媒体数据分发缓存节点( m d c ) 上，缩短了驻地网 内容服务器从城域网周转这些数据的时延，并有效减轻了城域网中心内容服务 器的服务压力。 i o 中国科学技术大学硕士学位论文 此外，对h p v o d - d p s ( h p v o dd a t ap r e - a l l o c a t i o ns u b - s y s t e m ，h p v o d 数据 预部署子系统) 的研究，结合了驻地弼和城域网的数据预部署，介绍了两者之闯 的区别和联系，将系统数据预预部署作为一个独立的子系统，对其进行建模、 仿真分析、协议设计和实现，最终应用到i - i p v o d 系统中。使系统数据预部署工 作在设计上更加明确，在实现更加简单。 1 5 论文组织结构 第1 章介绍了当前宽带网络及v o d 的反展，分析了当前v o d 存在的各种问 题和解决方法，并在对p 2 p 技术，p c d n 和p v o d 技术介绍的基础上，分析了 结合p c d n 的p v o d 系统的优越性。最后，对作者的工作进行了总体说明 第2 章首先详细介绍了p 2 p 网络结构及关键技术，然后介绍了c n g il 诤v o d 系统的基本结构，并对驻地网、城域网和运营支撑平台三个部分进行了详细的 功能说明，此外，对h p v o d 系统实施涉及到的多个关键技术，也做了一一介绍。 并分析了h p v o d 系统的可行性和优越性。 第3 章在对用户点播进行分析的基础上，提出了i - i p v o d - d p s 架构，详细介 绍其功能，并进行协议设计和实现。 第4 章解决驻地网数据预部署问题，首先对驻地网数据预部署相关工作和 目标进行了说明，然后详细介绍了两种数据预部署方案及实现，最后，对驻地 网数据预部署进行了仿真和仿真结果的分析。 第5 章解决城域网数据预部署问题。首先对c d n 平台中的复本放置算法和 多个服务器之间的数据调度进行了相关研究的回顾，并详细说明了城域网数据 预部署工作的目标，在此基础上，介绍了城域网数据预部署两个部分的工作： 针对驻地网内容服务器的数据预部署和针对多个媒体数据分发缓存服务器的内 容分发。最后对方案的实现细节进行了介绍，并进行相应的性能评估 第6 章介绍了系统在c n g i 中的应用情况，包括应用环境和应用的现状。 最后，论文在第7 章进行了总结，并对将来进一步的工作进行了说明。 中国科学技术大学硕士学位论文 第2 章p 2 p 技术及h p v o d 系统 2 1p 2 p 技术介绍 耳兹。数据信息共享方式所基于韵鼹络平台分为两类：c l i e n t s e r v e r ( 客户端 ，服务器) 结构和p 2 p ( p c c r - t o p e e r ) 结构。 耐” 图5c l i e n t s e r v e r 结构和p 2 p 结构 1 ) c l i e n t s e r v e r 结构 c l i e n t s e r v e r 结构( c s 结构) 是目前数据信息共享方式种最常用的一种网络 结构，其实现结构如图5 中a 所示。在c s 结构中，服务器作为信息的提供者， 而客户端作为信息的请求翥或用户。客户端主动向服务器发出请求，服务器接 收请求并对此做出应答，将客户所需的信息发送到客户端。 c s 结构的优点： 服务器提供不同类型的信息资源，以满足不同用户的需求； 客户端根据自身的需要主动请求服务； 客户端提出请求后即可在短时间内获得结果； 客户端结构简单。 c s 结构存在的缺点： 中国科学技术大学硕士学位论文 资源共享冲突问题：尽管信息本身具有无冲突的共享特性，但在c s 方 式中，由于服务器无法在客户端请求到来之前判断信息的内容和类型， 因此也无法知道用户所需求的信息是否耜同，因此要分配独立的信息资 源来处理每一个用户的请求和相关信息。而当大多数用户需求相同的信 息时，这种处理方式显然是低效，同时对服务器资源造成了巨大的浪费， 也违背信息资源无冲突共享的原则； 服务器“瓶颈”问题：服务器为每一个用户提供独立的资源和服务，当 用户数量增加到一定程度时，服务器资源就会枯竭，从而无法满足相应 用户的需求，形成服务“瓶颈”。 2 ) p 2 p ( p e e r - t o - p e e r 网络1 结构 如图5 中b 所示，p 2 p 结构与c s 结构相比，其优势在于降低了对服务器的 依赖和它的分散控制( 相对于c s 结构的服务器集中控制) 。一些p 2 p 系统甚至不 需要服务器，用户可以不经过服务器和其他用户进行连接。用户在p 2 p 结构下 比传统的c s 结构有更多的命令，在传统的结构下必须使用传统的规则。p 2 p 系统和c 8 系统不同，它没有致命的寒败点，一些模型把服务器放到合适的位 置，服务器的作用被限制到最小。为了共享信息资源，用户可以不需要服务器 的帮助，它们之间可以直接完成通信。 在p 2 p 网络中，有包括结构型p 2 p ( 有服务器支持的p 2 p ) 和非结构型 纯p 2 p ) 两种方式。其中结构型p 2 p 带有不同类型服务器的支持，可以提供对分布在p 2 p 网络中各个p e e r 上的资源提供搜索功能，非常适用于分布式的信息资源存储和 获取典型的应用是e d o n k e y 和b i t t o r r e n t 文件共享方式【“，1 2 1 。在非结构化( 纯 p 2 p ) 方式中。由于没有服务器的帮助，p e e r 通常采用自发的方式来管理网络资 源，网络上的服务器p e * r o l l 级p e 圯r ) 将负起更多的责任。 p e e r - t o p e e r ( p 2 p ) 网络是一种与传统的c s 结构或者多层服务器网络完全不 同的网络体系结构。p 2 p 网络是由p e e r 组成的，。任何一台能上网的机器都可以 是一个p e e r ，甚至计算机上的每一个程序都可以成为p e e r p 2 p 网络中的p e e r 是彼此直接通信的。这种通信无需依赖集中式服务器或资源就可以完成。在p 2 p 两络中，通过p e e r 之间的交互操作就可以完成工作，共享信息。通过创建具有 非常高的可用性和容错能力的计算机网路，p 2 p 体系结构使真正的分布式计算 成为可能。 p 2 p 并不是一个新的概念，早在1 9 6 9 年，i n t e r a c t 的前身a r p a n e t ( a d v a n c c d 中国科学技术大学硕士学位论文 r e s e a r c hp l a na g e n c y ，高级研究计划署) 刚出现的时候，网络的应用模式就是 p 2 p ，a r p a n e t 的最初目的是在美国范围内共享计算资源。其所面临的挑战是 如何集成当时不同的网络，使之成为一个通用网络，并且各个主机成为网络上 平等的成员。从1 9 9 5 年开始。p c ( p e r s o n a lc o m p u t e r ，个人电脑) 的广泛使用并 接入i n t e m e t ，成千上万的入连接到i n t e m e t 上，它们使用i n t e m e t 就是发送电子 邮件、浏览网页并在网上购物，这些现象已经长远影响到了网络架构的反展， 也影响了p 2 p 应用程序的方展一使用方式变成了c s 模式，同时i n t e m e t 网络平 等协作的本质也受到威胁。 从2 0 0 0 年开始，一个名为n 印s t e 一的p 2 p 程序在网上广泛流行。n a p s t e r 应用模式与通过f t p 下载文件不同，f t p 是把所有的文件都集中在服务器上， 所有的用户都到该服务器上下载文件，其缺点是当用户连线众多时会造成服务 器工作繁忙、带宽拥挤、下载数据变慢，而所共享的文件仅仅限于服务器上的 文件。相反n a p s t e r 上所有的m p 3 文件都是用户提供的，种类繁多，所有的文 件都保存在用户机器上，而n a p s t e r 提供了一个服务器来保存所有的用户m p 3 文件的目录以及计算机地址信息。用户通过服务器查询所需要的文件所在的计 算机地址列表，并选择目标机器完成下载。 p 2 p 网络的一个非常重要的特点就是各个p e e r 之问可以直接通信，至少是 可以访问到的。由于防火墙、n a t 和动态p 的原因，在显示的网络中许多计算 机是不能访问的，而在p 2 p 网络中，必须解决这个问题。p 2 p 网络不是推翻现 有的网络结构，而是在现有的网络上构建一个符合p 2 p 特点的网络 p 2 p 网络应该具有以下特性0 3 ： 互操作性：p 2 p 系统应该能够使用内部连接很容易的找到彼此，彼此问 进行交流，加入基于团体的活动，提供无缝跨越不同p 2 p 系统和不同团 体的服务； 匿名和隐私：允许对等端在其数据和资源上具有自治控制权； 巨大的扩展性：通过低成本交互来聚合资源，导致整体大于部分之和； 广泛性：p 2 p 系统应该设计成为可以运行在任何有数字处理功能的设备 上，包括传感器、消费电子社区、个人数字助理、网络路由器、桌面计 算机、中心服务器和存储系统等等。 在p 2 p 系统中，每一个p e e r 都是平等的参与者，承担服务使用者和服务提 1 4 中国科学技术大学硕士学位论文 供者两个角色。资源的所有权和控制权被分散到网络的每一个节点，服务使用 者和服务提供者之间进行直接通信，可充分利用网络带宽，缓解网络拥塞，使 锝资源的有效利用率大大提高( 包括各种计算资源和存储资源) 。同时由于没有 中央节点的集中控制，系统的伸缩性较强，也能避免单点故障，提高系统的容 错性能。但由于p 2 p 网络的分散性、自治性、动态性等特点，造成了某些情况 下p e e r 的访问结果是不可预见的。例如，一个请求可能得不到任何响应，p 2 p 系统的匿名性等特点可能会带来系统的安全漏洞。 2 1 2 p 2 p 通信 p 2 p 通信需解决的最基本问题即如何连接其他的终端，以获得信息、资源和 服务。该问题可以细分为以下一些问题【1 4 】： p 2 p 网络的拓扑结构和p e e r 节点的功能角色划分； 资源和服务的标识；