（信息与通信工程专业论文）大规模数字内容网络分发关键技术研究.pdf

多苣文题名星里曼皇垒! 壁hq 坠k 皇) ! 金堡塾堡q ! q g i 曼墨q 至坠垒! g 皇二墨堡垒! 皇 塑i g i 主垒! g q 坠主曼旦主坠i 墨主! i 坠坠主i q 坠堕皇主! q ! k 博士后姓 流动站( 一级学科) 名称 筐皇皇通信王程 专业( 二级学科) 名称 研究工作起始时间 星q q z 堡垒旦 研究工作期满时间2 q q 皇生垒旦 8舢9 啪506m7， iii1-啪y 声明 本声明包括“原创性声明”和“关于研究工作报告使用授权的说明”两部分， 具体内容及格式如下： 北京邮电大学博士后研究工作报告原创性声明 本人郑重声明：所呈交的研究工作报告，是本人在合作导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他 个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 删雠榔：楫日期：巧年少月。g 日 关于研究报告使用授权的说明 研究报告作者完全了解北京邮电大学有关保留和使用研究报告的规定，即：博 士后在站期间研究报告的知识产权单位属北京邮电大学。学校有权保留并向国家有 关部门或机构送交研究报告的复印件和电子版，允许研究报告被查阅和借阅；学校 可以公布研究报告的全部或部分内容，可以允许采用影印、缩印或其它复制手段保 存、汇编研究报告。( 保密的研究报告在解密后遵守此规定) 保密论文注释：本研究报告属于保密在年( 1 5 年) 解密后适用本授权书， 在电子版提交时作者本人删去自认为保密部分。 非保密论文注释：本研究报告不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期： 日期： 大规模数字内容网络分发关键技术研究北京邮电大学博 二后研究报告 摘要 随着互联网用户、设备数量的快速增长，以及互联网上各种内容资 源的迅速膨胀，大规模数字内容网络分发关键技术的研究及其应用成为 学术界和工业界的重点关注的问题。c d n ( c o n t e n td e l i v e r yn e t w o r k ) 技 术和p 2 p ( p e e r - t o p e e r ) 技术都能够显著提高内容分发的效率，而且二者 具有显著互补优势。数字音像内容集成分发平台是大规模数字内容分发 技术的典型应用之一，平台除了采用c d n 与p 2 p 内容分发技术，还需 要集成与分发技术相适合的数字内容管理技术、网络版权保护技术等。 本研究工作重点地深入研究了c d n 与p 2 p 相融合的内容分发技术， 通过集成内容分发技术、内容管理技术、网络版权保护机制构建了数字 音像内容集成分发平台，并且对平台进行了较全面的测试和小范围的应 用示范。本研究工作主要成果如下， 1 提出了一种融合c d n 与p 2 p 特征的大规模数字内容网络分发体 系。给出了内容路由、c d n 级、p 2 p 级内容分发的方法，并基于f l u i d m o d e l 对这种混合网络进行性能建模和分析评价。 2 依托国家“十一五 科技支撑计划课题( 2 0 0 6 b a h 0 2 a 11 ) ，设 计并且实现了数字音像内容集成分发平台。该平台集成了数字内容大规 模网络分发过程中涉及的集成管理、快速分发、版权保护和智能终端等 多项关键技术。 3 给出了针对该平台功能、性能等多方面的测试方法与测试结果。 通过小规模应用，检验了平台的可用性与其中多项技术的有效性。 关键词p 2 p ，内容分发，网络数字版权 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 a b s t r a c t w i t ht h er a p i dg r o w t ho ft h en u m b e ro fi n t e r a c tu s e r sa n dr e s o u r c e s ， l a r g e s c a l ed i g i t a lc o n t e n t sd i s t r i b u t i o nt e c h n o l o g i e sb e c o m eah o tt o p i ci n b o t ha c a d e m i aa n di n d u s t r y n o w a d a y s ，c d n ( c o n t e n td e l i v e r yn e t w o r k ) a n dp 2 p ( p e e r - t o - p e e r ) a r et w od o m i n a n tt e c h n o l o g i e sf o rl a r g e - s c a l ec o n - t e n td i s t r i b u t i o n ，a n dt h e yc o m p l e m e n te a c ho t h e r d i g i t a la u d i o v i d e oc o n - t e n tc o l l e c t i o na n dd i v e r yp l a t f o r mi so n ec l a s s i ca p p l i c a t i o no fc o n t e n t sd i s - t r i b u t i o nt e c h n o l o g i e s f u r t h e r , t h i sk i n do fp l a t f o r m sa r ec o m p o s e do fs e v e r a lk e yt e c h n o l o g i e s ，i n c l u d i n gc o n t e n t sd i s t r i b u t i o nt e c h n o l o g i e s ，m e d i a r e s o u r c em a n a g e m e n tt e c h n o l o g i e s ，n e t w o r kc o p y r i g h tp r o t e c t i o nt e c h n o l o g i e sa n ds oo n c o n t r i b u t i o no ft h ew o r ki sa sf o l l o w s ， 1 an o v e la r c h i t e c t u r ef o rl a r g e s c a l ed i g i t a lc o n t e n tn e t w o r kd i s t r i b u t i o ni sp r o p o s e d ，i nw h i c hc d na n dp 2 pa r ei n t e g r a t e dt o g e t h e r m e - t h o df o rc o n t e n tr o u t i n gi sg i v e na n dp e r f o r m a n c ei se v a l u a t e db ya m o d e lb a s e do nf l u i dm o d e l 2 s u p p o r t e db yc h i n e s en a t i o n a lk e yt e c h n o l o g i e sr & dp r o g r a m u n d e rg r a n tn o 2 0 0 6 b a h 0 2 ai1 ，ad i g i t a la u d i o v i d e oc o n t e n tc o l l e c t i o na n dd i v e r yp l a t f o r mi sd e s i g n e da n di m p l e m e n t e d s e v e r a l k e yt e c h n o l o g i e sa r ei n t e g r a t e di nt h i sp l a t f o r m ，s u c ha sc o n t e n t sd i s t r i b u t i o nt e c h n o l o g i e s ，m e d i ar e s o u r c em a n a g e m e n tt e c h n o l o g i e s ， n e t w o r kc o p y r i g h tp r o t e c t i o nt e c h n o l o g i e sa n di n t e l e n g e n tt e r m i n a l t e c h n o l o g i e s 3 t e s t so nf u n c t i o n s ，p e r f o r m a n c ea n do t h e rp a r a m e t e r sa r ec o n d u c t e d i nl a be n v i r e m e n t e f f e c t i v e n e s sa n du s a b i l i t yo ft h i sp l a t f o r ma r e t e s t e db ys m a l ls c a l ed e p l o y m e n ta n dd e m o n s t r i o n k e y w o r d sp 2 p , c o n t e n t sd i s t r i b u t i o n ，n e t w o r kd i g i t a lc o p y r i g h t s l l - 人规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 目录 j 商要i a b s t r a c t 一i i 目录i i i 图表目录v 第一章引言1 1 。1 本课题的研究意义1 1 2 现有研究的不足3 1 3 本文的主要贡献和创新点9 1 4 研究报告的组织l o 第二章c d n 、p 2 p 和d r m 技术概述l l 2 1c d n 技术1 1 2 2b i t t o r r e n t 协议1 3 2 3d r m 技术。l7 2 4 本章小结2 0 第三章融合c d n 与p 2 p 的数字内容网络分发2 1 3 1 研究背景2l 3 2 内容分发网络模型2 2 3 3 内容分发关键技术。2 4 3 3 1 内容路由机制2 4 3 3 2c d n 级内容分发2 5 3 3 3p 2 p 级内容分发2 6 3 4 基于fiuidm o d ei 的性能分析2 7 3 4 1 性能分析模型2 7 3 4 2 性能分析结论3 3 3 5 本章小结4 0 第四章数字内容集成分发平台4 l 4 1 平台架构4 l 4 2 业务流程4 5 4 3 平台关键技术4 7 4 3 1 海量内容集成管理4 7 4 3 2 快速内容网络分发4 7 4 3 3 内容网络版权保护4 9 4 3 4 智能终端构件化定制5 0 4 4 本章小结5 2 第五章数字内容集成分发平台测试5 3 5 1 功能测试5 3 5 1 1 测试内容与流程5 3 5 1 2 测试类型和方法5 7 5 1 3 测试结果5 8 5 2 性能测试5 9 火规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 5 2 1 测试内容5 9 5 2 2 测试方法6 l 5 2 3 测试结果6 3 5 3 其他测试6 7 5 3 1 测试内容与流程6 7 5 3 2 测试方法6 7 5 3 3 测试结果6 9 5 4 平台推广使用7 0 5 5 本章小结7 l 第六章结束语7 3 6 1 研究工作总结7 3 6 2 创新点总结7 3 6 3 下一步研究方向7 4 参考文献7 7 1 1 9 t谢8 ：i 作者简历8 5 北京邮电大学博士后研究报告 图2p 2 p 网络架构5 图3w i n d o w sm e d i ad r m 流程框架8 图4b i t t o r r e n t 协议系统架构l3 图5d r m 系统参考体系架构1 8 图6 融合c d n 与p 2 p 特征的混合内容分发网络架构一2 3 图7 混合内容分发网络中的请求重定处理向流程2 5 图8 混合内容分发网络中的c d n 级分发流程2 6 图9 混合内容分发网络中的p 2 p 级分发流程一2 7 图l o 仿真实验的网络拓扑结构3 4 图1 1 节点数量变化趋势下载带宽是瓶颈3 5 图1 2 节点数量变化趋势不受限于下载带宽3 5 图1 3 种子节点离开率对节点数量变化的影响3 6 图1 4 用户节点上传带宽对节点数量变化的影响3 6 图1 5 边缘服务器能力对节点数量变化的影响3 6 图1 6 平均下载时间( 当下载带宽是瓶颈时) 3 7 图1 7 平均下载时间( 不受限于下载带宽) 3 8 图1 8 系统服务能力3 8 图1 9c d n 、h p 2 p 和混合内容分发网络中边缘服务器负载3 9 图2 0c d i n 、p 2 p 、h p 2 p 和混合内容分发网络传输开销4 0 图2 1 数字音像内容集成分发平台体系架构4 2 图2 2 数字音像内容集成分发平台系统组成4 3 图2 3 网络分发系统架构图4 3 图2 4 集成管理系统架构图4 4 图2 5 版权保护系统架构图4 5 图2 6 数字内容网络发行业务流程。4 6 图2 7 快速内容网络分发技术4 8 图2 8 内容版权保护技术5 0 图2 9 智能终端构件化定制技术5 l 图3 0 平台功能测试流程5 6 图3 l 平台性能测试网络拓扑6 1 图3 2 索引服务器平均响应时间测试结果比较6 4 大规模数字内容网络分发关键技术研究 北京邮电大学博士后研究报告 图3 3 索引服务器t p s 测试结果比较6 5 图3 4w e b 服务器性能测试结果比较6 6 表l 流模型符号定义说明表2 8 表2 平台功能测试内容5 3 表3 平台性能和可靠性测试需求j 5 9 表4 索引服务器的性能测试结果。6 3 表5w 曲服务器的性能测试结果6 5 表6 平台安全性、可移植性和可恢复性测试内容6 7 大规模数7 内容网络分发关键技术研究北京邮电大学博士后研究报告 1 1 本课题的研究意义 第一章引言 c d n 和p 2 p 是目前广泛采用的内容分发网络技术。c d n 网络是建立在 i n t e m e t 基础上的内容分发平台，在商业上己得到应用，其主要目标是将 互联网内容提供商( i n t e m e tc o n t e n tp r o v i d e r ，i c p ) 和电子商务应用站点 的信息迅速有效地发布到离用户最近的服务节点上，使用户访问站点时 可以就近得到快速响应，同时减轻原站点的负荷。传统的c d n 技术虽然 可以在一定程度上加速流媒体，实现下载、直播和点播。但是其核心仍 然是基于集中服务器的结构，跟地域化管制紧密相连，很难降低其扩展 的成本。另外，传统c d n 技术在高峰时期对突发流量的适应性，容错性 等方面仍然存在一定缺陷。随着用户规模的迅速增加，对c d n 应用发展 提出了较大挑战。 p 2 p 不同于传统的c s 结构，它通过p e e r 2 间的直接交换文件，有效 的利用了客户端闲置的资源，这样不仅降低了对服务器的压力，而且提 高了网络的健壮性。对于大规模数字内容分发，一种全新的思路是在c d n 网络中，引入p 2 p 技术。在边缘层建立p 2 p 网络，以避免对网络核心层流 量的大量消耗，通过对内容( 包括文件和流) 做切片处理，p 2 p 用户可以 实现根据这些分片来完成共享，这样充分利用了用户的闲置上行带宽。 因此，大大降低了边缘服务器的压力，不仅提高了文件传输和流媒体传 输的效率，而且运营商可以通过更少的边缘服务器，提供更多的业务量 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 为更多的用户服务，以较低成本代价应对迅猛增长的客户规模带来的挑 战。通过这种模式，可以在不增加成本的同时有效提升c d n 服务能力， 更有效避免了p 2 p 应用的诸多弊端。 目前，c d n ( c o n t e n td i s t r i b u t i o nn e t w o r k ) 和p 2 p ( p e e r - t o p e e r ) 被用于 不同的领域，c d n 主要用于可靠的w e b 和流媒体内容分发，而p 2 p 贝j j 主要 用于内容交换，两种技术各有优缺点。c d n 具有可靠服务质量保证、高 可用性、可管理性和节省网络资源的优势，p 2 p 技术在低成本、高可扩展 性、系统级可靠性和支持突发访问能力方面表现卓越。同时他们都存在 一些问题，c d n 投资成本高、可扩展性差、大文件分发效率低等，p 2 p 服务质量难以保证、网络资源占用量大、存在安全性、版权问题。因此 c d n 融合p 2 p 存在强大的驱动力，取长补短，使之优势互补。随着以内容 为核心的互联网应用的发展，如何实现快速的、有服务质量保证的内容 分发成为核心问题。 在数字内容通过网络进行大规模分发的过程中，需要相应的针对数 字内容网络版权的保护机制进行内容分发过程中的版权保护和管理，防 止内容在网络发行过程中的非法盗用、传播和扩散。数字版权管理系统 是架构在整个数字媒体产品价值链上的，贯通数字产品流通的全过程， 为价值链条中的全体成员提供安全、便捷的管理保护手段。数字媒体内 容可能被复制、修改，其传播是不易控制的。尤其是随着网络的发展， 基于网络的数字媒体内容传播更加不可管理。目前，数字媒体资源盗版 横行，虽然政府每年投入大量的人力、物力和财力打击盗版，但仍然没 有得到有效的控制。 大规模数字内容网络分发关键技术研究 北京邮电大学博士后研究报告 本课题充分利用c d n 与p 2 p 技术的特点和优势，深入研究并实现了一 种融合c d n 与p 2 p 特征的大规模数字内容网络分发体系，在骨干网部署 c d n 系统，在接入网构建p 2 p 区域化网络，终端用户可同时通过c d n 和 p 2 p 网络获取数据。本文提出的融合c d n 与p 2 p 特征的大规模数字内容网 络分发架构及其关键技术不但可以提高下载速率、降低服务器负载、减 小骨干网传输流量，而且有效的克服了c d n 网络部署成本高的缺点，同 时避免p 2 p 网络在节点数量稀缺时的低性能。数字内容集成分发平台系统 功能完备、性能稳定、具有较好的可扩展性和可维护性。本课题的研究 结果可广泛应用于需要分发大量数字内容的场合，如：数字音视频媒体 网络分发、软件分发、大规模数据共享等。 1 2 现有研究的不足 早期的数字媒体资源内容分发网络体系结构是基于客户端服务器模 式的：由数字媒体资源中心架设w e b 、f t p 服务器或者服务器组，而所 有的用户连接到这些服务器下载资源。这种服务模式简单，易部署，便 于管理，但是随着用户的增多，对媒体资源的需求也在成指数上升趋势， 客户端服务器模式逐渐显现出其固有的劣势：单点瓶颈、资源下载速率 慢、用户请求响应时间过长等。最简单的解决办法是增加服务器，这极 大的增加了运营成本，但用户响应时间没有显著改善。 为了缓解中央服务器群的压力，提高用户响应速率，内容提供商逐 渐把服务器推向边缘网络，这就形成了内容分发网络c d n ( c o n t e n td i s - t r i b u t i o nn e t w o r k ) t 1 1 ，如图1 所示。 大规模数字内容网络分发关键技术研究 北京邮电大学博上后研究报告 f 园q j ，彳高舟务器 g 算喜碧 内容分发网络是在现有网络基础设施之上新建一个重叠网，构筑一 个地理位置分布的内容分发网络，对信息流进行优化，从而提高网络的 使用效率。它能将信息资源推向网络边缘，使得网络用户可以从“最近 最好 的服务器上快速访问到所需的内容 6 , 7 1 ，从而大大提高终端用户的 访问速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分 布不均等原因，解决用户请求响应速度慢的根本原因。目前内容分发网 络技术得到了广泛的应用 3 , 4 1 ，尤其是在i p t v 应用系统中。但内容分发网 络在本质上仍然是一种客户服务器( c s ) 的计算模式，尽管内容分发网 络将服务能力和服务内容在网络上进行了分布。内容分发网络在性能上 具有客户服务器模式的基本特征：具有可靠的服务能力，较高的服务质 量保证，但是系统的扩展必须以服务能力的不断提高为基础。这个特点 导致内容分发网络提供大规模的服务成本非常高，随着服务能力的扩展， 需要不断的投资。另外，由于用户访问的突发性、不均匀性等特点，使 得提高内容分发网络系统的效率比较困难。 大规模数字内容网络分发关键技术研究 图2p 2 p 网络架构 p 2 p ( p e e r - t o p e e r ) 1 2 , 8 1 技术是近几年兴起的网络技术。如图2 所示p 2 p 系统充分利用了网络中闲置资源，系统能力随着用户的增加而扩大，为 用户提供了高速的资源下载速率。在p 2 p 系统中，网络资源分布在系统中 各个对等节点上，这些节点功能对等，用户在获取资源或数据的同时， 提供数据资源。n a p s t e r i 9 1 是最早基于p 2 p 技术的文件共享系统。n a p s t e r 中，中央索引服务器保存所有节点资源的索引信息，负责用户的查询， 而数据内容在节点之间直接传输。由于版权问题，n a p s t e r 于2 0 0 1 年被判 侵权。g n u t e l l a l 8 1 是完全分布式的p 2 p 文件共享系统，消除了中央索引服务 器，通过泛洪机制查询数据资源。这种结构避免了中心化拓扑带来的中 央服务器性能瓶颈，也避免了由于提供资源索引而带来的版权问题。但 是，另一方面讲，泛洪的资源定位算法消耗了大量的网络带宽，所以系 统扩展性并不好。k a z a a l 8 , 9 1 吸取了n 印s t e r 和g n u t e l i a 的特点，提出了两层 结构：能力高的节点组成超级节点网络，普通节点与超级节点连接。 k a z a a 克服了前两种系统的不足，得到了飞速的发展，但随着e d o n k e y 和 大规模数字内容网络分发关键技术研究 北京邮电大学博士后研究报告 b i t t o r r e n t 的兴起，其用户数量骤减。k a z a a 也遭到了侵权控诉，并支付了 超过1 亿美元的赔偿金。e d o n k e y 霞j 络可以看成是多个n a p s t e r 网络组成的 覆盖网络，每个n a p s t e r 网络的中央服务器是本地私有的。这种网络结构 稳定，但是同样有版权侵犯问题。2 0 0 6 年9 月，e d o n k e y l 网络被迫关闭。 b i t t o r r e n t 1 0 , 1 1 是目前使用最广泛的p 2 p 文件共享系统，其成功之处在于采 用了强大的用户激励机制。目前，该网络成为传播盗版数字媒体的主要 途径之一。以p p l i v e 、q q l i v e 为代表基于p 2 p 技术的流媒体应用最近两年 有了较大的发展。p 2 p 流媒体利用应用层多播实现i p 多播的功能。但是， 这种应用缺乏中央管理、协调服务器，并不能保证q o s 。所以，目前基于 p 2 p 技术的流媒体服务只在特定环境和用户群体内有较大的吸引力，其应 用前景尚不明朗。 目前基于p 2 p 技术的网络应用系统缺乏管理，助长了盗版数字媒体资 源的传播。而从技术上讲，大部分的系统没有使用明显的用户激励机制， 而且没有考虑节点的位置关系，浪费了大量的骨干网链路带宽。所以， 单纯的p 2 p 技术并不适合数字媒体内容的分发 1 2 , 1 3 , 1 4 1 。 由于d r m 起源于版权保护，因此国内最流行的是将“d i g i m lr i g h t s m a n a g e m e n t ”译为“数字版权管理 【1 8 1 9 1 。目前国内外对d r m 的研究主 要集中在三个领域【2 6 1 ：法律界主要研究如何通过法律手段来保护数字产 品的使用权限；计算机领域则主要研究d r m 的技术问题；图书情报领域 主要研究d r m 在实际中的应用问题，其中大部分集中在数字图书馆的应 用上。第一代d r m 系统主要利用网络安全和加密认证等方法来解决非法 复制问题，目标是将数字内容的发布锁定和限制在合法用户的范围内。 6 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 国内方j e a p a b i 系列解决方案的d r m 核心技术大致处于这一阶段。第二代 d r m 系统则包括了定义、描述、认证、交易保护、监控和跟踪记录数字 内容发布流程中的各种权利和使用形式，其中也包括对流程各参与方之 间关系的管理。国外大多数d r m 解决方案己进入这一阶段。国外许多组 织目前正在探讨d r m 系统的标准化问题。数字多媒体领域的m p e g 组织， 电子图书领域的电子书交换工作组e b x 和开放电子书论坛o e b f 是数字 版权管理方面的先锋。 微软和r e a l 公司在流媒体d r m l 2 4 1 领域处于领导地位。其d r m 产品 各有千秋。通过对其方案分析，可以发现两者有一些共性的地方：1 ) 都 支持多种商业模式，如：租赁、订阅服务、内容联合、内容交易和推广、 付费观看和视频点播。2 ) 都支持多种使用权限，如：允许用户在指定时 间内播放、限制每个媒体文件播放的次数。3 ) 都具有可扩展性，可以根 据用户需要进行改造。除了上述这些共性的地方外，微软w i n d o w sm e d i a d r m 有完善的加密保护技术和密钥分发机制，如图3 所示，可以进行实时 的内容加密，同时还支持音频途径的加密，防止播放器将音频输出到声 卡导致的泄密，而这些是r e a l 公司的h e l i xd r m 暂时不能完全做到。另 外，w i n d o w sm e d i a 有较齐全的文档和较强的技术支持。另一方面，h e l i x 通用服务器能够对超过5 5 种的格式和数据类型提供全面支持，包括 w i n d o w sm e d i a 的流媒体格式。h e l i x 通用服务器可以在1 1 种操作系统上运 行，而w i n d o w sm e d i ad r m 只能在w i n d o w s 操作系统上运行，h e l i x 另一 突出的表现在于传输成本匕l w i n d o w sm e d i ad r m 缩减了4 0 多。 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 图3w i n d o w sm e d i ad r m 流程框架 除了这些共性的地方外，微软w i n d o w sm e d i ad r m 有完善的加密保 护技术和密钥分发机制，如图3 所示，可以进行实时的内容加密，同时还 支持音频途径的加密，防止播放器将音频输出到声卡导致的泄密，而这 些是r e a l 公司的h e l i xd r m 暂时不能完全做到。另外，w i n d o w sm e d i a 有较齐全的文档和较强的技术支持。另一方面，h e l i x 通用服务器能够对 超过5 5 种的格式和数据类型提供全面支持，包括w i n d o w sm e d i a 的流媒体 格式。h e l i x 通用服务器可以在11 种操作系统上运行，而w i n d o w sm e d i a d r m 只能在w i n d o w s 操作系统上运行，h e l i x 另一突出的表现在于传输成 本l t , w i n d o w sm e d i ad r m 缩减了4 0 多。 综上，在本课题中，数字媒体内容网络分发技术考虑通过结合内容 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 分发网络和p 2 p 技术的特征，利用p 2 p 技术共享网络资源和服务资源，同 时结合内容分发网络控制数字媒体内容分发路径，避免不良内容进入网 络传播，提高内容分发性能。构建支持多内容商、多种格式内容、由第 三方监管的数字版权管理应用体系，加强对流程各参与方之间关系的管 理，为数字媒体内容集成分发平台的部署奠定坚实的基础。 1 3 本课题的主要贡献和创新点 本文的主要贡献及创新之处概述如下： 1 ) 融合c d n 与p 2 p 特征的网络分发体系架构 提出内容路由、c d n 级内容分发、p 2 p 级内容分发等融合c d n 与 p 2 p 特征的网络分发体系架构中的核心方法，并基于f l u i dm o d e l 的混 合网络性能模型，从节点数量变化、下载时间、服务能力和传输开销等 方面进行综合性能评价，证明本文提出方法的有效性和性能方面的优越 性，即提高了终端节点的下载速率、降低了c d n 服务器的负载、减小 了骨干网的传输流量，而且充分克服了c d n 网络部署成本高的缺点， 同时避免p 2 p 网络在节点数量稀缺时的性能低效。 2 ) 大规模数字内容集成分发平台系统的设计和实现 从系统架构、主要业务流程、核心技术等方面说明该平台对大规模 数字内容网络分发服务的实现，尤其对网络发行过程中数字内容网络版 权的保护机制进行了较为详细的论述和分析；通过全面详实的描述和分 析阐释了平台对各项关键技术的集成，以及对海量数字内容通过网络进 行快速、安全分发服务的支撑。 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 3 ) 平台系统的功能、性能测试和推广使用 主要工作包括平台功能测试、性能测试和可靠性、可维护性、可移 植性等其他方面的测试方法与测试结果，同时通过一定规模的试用验证 了平台功能完备，性能稳定可靠，具有良好的可恢复、可移植等特性。 1 4 研究报告的组织 本文第二章概述了c d n 、p 2 p 和d r m 三种背景技术的概念、原理和 技术特点，并指出这些技术当前的发展态势和应用状况。 第三章详细阐述了融合c d n 与p 2 p 特征的数字内容网络分发技术，首 先给出内容分发的网络模型；接着对其中的关键技术进行分析解释，主 要包括内容路由机制、c d n 级内容分发和p 2 p 级内容分发；最后基于流模 型对本文提出的内容分发网络进行性能建模，并完成充分的性能分析。 第四章详细说明了集成第三章中几项关键技术方法的数字内容集成 分发平台的构建，首先给出平台的网络架构和业务流程；接着对平台中 的关键技术进行阐述，包括上文提出的各项快速网络分发技术，以及完 成系统整体集成分发业务所需的海量内容集成管理、内容网络版权保护、 双向身份认证和授权等技术，其中对内容网络版权保护技术进行了较为 详实的论述；最后给出平台构建和集成的方式与效果。 第五章详细描述了第四章中构建的数字内容集成分发平台的测试及 推广试用，包括功能、性能、可靠性、可维护性、可移植性等方面，重 点对性能测试给出了较为详实的测试过程描述和测试结果分析。 最后，第六章对全文进行了总结，并指出了下一步研究方向。 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 第二章0 d n 、p 2 p 和d r m 技术概述 本章将对后文所涉及的主要背景技术进行综述，包括c d n 技术、p 2 p 网络中使用最为广泛的b i t t o r r e n t 协议，以及d t e v i 技术，给出其基本概念、 网络架构、主要算法或技术手段和应用现状分析。 2 1c d n 技术 狭义地讲，内容分发网络( c d n ) 是一种新型的网络构建方式，它 是为能在传统的i p 网发布宽带丰富媒体而特别优化的网络覆盖层；而从 广义的角度，c d n 代表了一种基于质量与秩序的网络服务模式。内容发 布网( c d n ) 是一个进行策略性部署的整体系统，包括分布式存储、负 载均衡、网络请求的重定向和内容管理4 个要件，而内容管理和全局的 网络流量管理是c d n 的核心所在。通过用户就近性和服务器负载的判断， c d n 确保内容以一种极为高效的方式为用户的请求提供服务。总的来说， 内容服务基于缓存服务器，也称作代理缓存( s u r r o g a t es e r v e r s ) ，它位于 网络的边缘，距离用户仅有“一跳 之遥。同时，代理缓存是内容提供 商的源服务器( 通常位于c d n 服务提供商的数据中心，o r i g i ns e r v e r s ) 的 一个透明镜像。这样的架构使得c d n 服务提供商能够代表他们客户，即 内容供应商，向最终用户提供尽可能好的体验，而这些用户是不能容忍 请求响应时间有任何延迟的。 实现c d n 的主要技术手段是高速缓存、镜像服务器。可工作于d n s 解析或h t t p 重定向两种方式，通过c a c h e j 艮务器，或异地的镜像站点完 大规模数字内容网络分发关键技术研究 北京邮电大学博士后研究报告 成内容的传送与同步更新。镜像站点( m i r r o rs i t e ) 服务器是我们经常可 以看到的，它让内容直截了当地进行分布，适用于静态和准动态的数据 同步。但是购买和维护新服务器的费用较高，另外还必须在各个地区设 置镜像服务器，配备专业技术人员进行管理与维护。大型内容分发网络 在随时更新各地服务器的同时，对带宽的需求也会显著增加，因此一般 不会建立太多的镜像服务器。 高速缓存手段的成本较低，适用于静态内容。i n t e m e t 的统计表明， 超过8 0 的用户经常访问的是2 0 的内容，更精确的说，媒体资源的被访 问频率服从z i p 舰律。在这个规律下，缓存服务器可以处理大部分客户的 静态请求，而原始的服务器只需处理约2 0 左右的非缓存请求和动态请 求，大大加快了客户请求的响应时间，并降低了原始服务器的负载。 c d n 的核心是将中心的内容和服务推送到网络边缘，使得用户可以 在最近的地方获取服务，这一方面保 j e - 了 q o s ( 缩短了网络距离) 和服务 可用性( 服务能力分布化) ，另一方面也缓解了骨干网络带宽的压力。由 于c d n 对大规模内容服务，特别是流媒体服务性能有很明显的提升，近 年来，c d n 得到迅速的发展，c d n 正在成为i p 网络上的统一的内容承载 平台，对各种内容应用起到全面的支撑作用。但c d n 在本质上仍然是一 种客户服务器( c s ) 的计算模式，尽管c d n 将服务能力和服务内容在网 络上进行了分布。c d n 在性能上具有客户服务器模式的基本特征：具有 可靠的服务能力，较高的服务质量保证，但是系统的扩展必需以服务能 力的不断提高为基础。这个特点导致c d n 要提供大规模的服务成本非常 高，随着服务能力的扩展，需要不断的投资。另外，由于用户访问的突 1 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 发性、不均匀性等特点，使得提高c d n 系统的效率比较困难。 2 2b i t t o r r e n t 协议 b i t t o r r e n t ( b t ) 是一种点对点( p 2 p ) 文件共享软件，由美国程序 员布莱姆科恩( b r a mc o h e n ) 于2 0 0 2 年使用p y t h o n 语言实现。近年来， 随着人们对大文件( 比如高清电影、大型软件) 共享的需求日益增加， b t 的用户群也逐渐增多，据2 0 0 7 年德国互联网管理与分析公n i p o q u e 最 新数据显示，p 2 p 应用最高占到了互联网流量的9 0 ，其中，b i t t o r r e n t 已经超越e d o n k e y ，占据了p 2 p 流量的5 0 7 0 ，所以研究b t 类型的p 2 p 文件共享系统具有重要的现实意义。 下 图4b i t t o r m n t 协议系统架构 如图4 所示，b t 系统主要由种子文件、种子文件发布站点、目录服务 器、资源的发布者和下载者组成。种子文件发布站点一般是w e b 服务器， 用于发布种子文件，种子文件是一种文本文件，该文件包含了目录服务 器的地址以及文件的描述信息，目录服务器又称为t r a c k e r ，它负责索引 所有终端的下载信息。任何一个内容的下载者都需要首先从种子文件提 供站点下载种子文件，并通过连接t r a c k e r j 艮务器来获取p e e r s y l j 表，从而 大规模数字内容网络分发关键技术研究北京邮电大学博士后研究报告 和其他p e e r 进行p 2 p 方式的文件下载。 b t 客户端在得到种子文件后，解析种子文件，从a n n o u n c e