（通信与信息系统专业论文）流媒体数字版权管理系统的设计与实现.pdf

y 5 s c , 5 ：- 3 2 上海师范大学硕士研究生学位论文流媒体数字皈权管理系统的设计与实现 摘要 随着i n t e r n e t 的发展，多媒体信息在网上的传输越来越重要，流媒体 ( s t r e a m i n g m e d i a ) 技术以其实时性的特点逐渐在许多领域得到了广泛应用。同 时，流媒体也不可避免地面临着版权保护的问题，迫切需要流媒体数字版权管理 系统来保障版权拥有者的合法权益。 本论文课题依托国家8 6 3 项目“流媒体的数字版权管理技术”，设计并实现 了一个灵活、安全的流媒体数字版权管理系统s t r e a m i n g d r m 。系统涉及流媒体 技术和数字版权管理( d i t m ) 技术，在对这些技术深入研究的基础上，设计了 一个适合于流媒体的d r m 框架，并分为流媒体和d r m 两部分实现。作者参与 了s t r e a m i n g d r m 系统框架的设计和流媒体部分的设计与实现，主要有以下研究 成果： 1 针对流媒体的特点，采用m p e g 一4 标准视频格式，并设计了基于帧的视 音频加密方法。使用r c 4 流加密算法以帧为单位对m p e g 一4 视频流进 行加密，保证了流媒体内容的安全性。 2 在分析研究了目前网络传输的各种协议和方法的基础上，设计实现了满 足流媒体实时性要求的网络传输方案。采用t c p 来传输控制信息， r t p r t c p 来传输实时多媒体的方法，并程序实现之，有效的解决了传 输流媒体时的延时问题。 3 采用了功能强大的d i r e c t s h o w 技术开发了客户端流媒体播放器。播放器 支持本地播放和网络播放两种模式，能够实现流媒体的解密、解码和回 放。使用时间戳的方法解决了视音频的同步问题。 关键字：流媒体技术，数字版权管理，r t p ，d i r e c t s h o w ，身份认证 柬照暨：骨j j q 懋 勿尘又公话 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 a b s t r a c t w i t ht h es u c c e s so ft h e i n t e r n e t ，s t r e a m i n g m e d i a a p p l i c a t i o n s a n d c o m p r e s s i o nt e c h n o l o g y m a k e g r e a ti m p r o v e m e n t s t h es e c u r i t y i s s u eo f s t r e a m i n gm e d i ab e c o m e sm o r ea n dm o r ei m p o r t a n t b a s e do ni d e a sf r o mt h e f i e l do f d i g i t a lr i g h t sm a n a g e m e n t ( d r m ) ，t h i sp a p e rd i s c u s s e st h ed e s i g no f a s e c u r es t r e a m i n gm e d i as y s t e ma n di m p l e m e n t sas c a l a b l e ，f l e x i b l ea n dm o r e r o b u s td r m s y s t e mf o rs t r e a m i n g m e d i a t h i sp a p e ri sap a r to ft h en a t i o n a lh i 【g h t e c h8 6 3p r o j e c t t h er e s e a r c h w o r kr e l a t et ot h et e c h n o l o g yo fs t r e a m i n gm e d i aa n dd r m ip a r t i c i p a t ei n t h ed e s i g na n di m p l e m e n to fs t r e a m i n gm e d i as u b s y s t e m t h em a i nc o n t r i b u t i o n so f t h e p a p e r a r ea sf o l l o w s ： 1 b a s e do nt h ec h a r a c t e r i s t i co f s t r e a m i n g m e d i a ，t h e e n c r y p t i o n a l g o r i t h mf o rm p e g 一4f r a m e si sa n a l y z e d 2 b a s e do nt h en e t w o r kp r o t o c o l sa n dt e c h n o l o g ya n a l y s i s ，d e s i g na n d i m p l e m e n tt h er e a l - t i m ed e l i v e r yo fs t r e a m i n gm e d i ab yr t p r t c p p r o t o c o la n dd e l i v e r yo f c o n t r o li n f o r m a t i o nb yt c po ni n t e r n e t i n t h i sw a y ，t h ep r o b l e mo f d e l a yi sr e s o l v e ds u c c e s s f u l l y 3 d e v e l o p t h ec l i e n t p l a y e ru s i n gd i r e c t s h o w t h i sp l a y e rc a nd e c r y p t ， d e c o d ea n d p l a y b a c ks t r e a m i n gm e d i a ( m p e g 一4v i d e o ) k e y w o r d s ：s t r e a m i n gm e d i a ，d i g i t a lr i g h tm a n a g e m e n t ，r t p ，d i r e c t s h o w ， i d e n t i t yc e r t i f i c a t i o n 2 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 1 绪论 1 1 流媒体技术的概念及特点 1 1 1 流媒体技术的概念 流媒体是一种可以使音频、视频和其它多媒体能在i n t e m e t 及i n t r a n e t 上以 实时的、无需下载等待的方式进行播放的技术。流媒体文件格式是支持采用流式 传输及播放的媒体格式，比如w a v 、a s f ( a d v a n c e ds t r e a m i n gf o m a a t ) 、a v i 、 m p g 、r m 、m p 3 等。流式传输方式是将动画、视音频等多媒体文件经过特殊的 压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。 流媒体实现的关键技术就是流式传输，一般来说，流包含两种含义。广义上 的流是音频和视频形成稳定和连续的传输流和回放流的一系列技术、方法和6 i _ 1 议 的总称，我们习惯上称之为流媒体系统：而狭义上的流是相对于传统的下载一回 放( d o w n l o a d p l a y b a c k ) 方式而言的一种媒体格式，能从i n t e m e t 上获取音频和 视频等连续的多媒体流，用户可以边接收边播放，使时延大大减少。流式传输定 义也很广泛，现在主要指通过阿络传送媒体一 口视频，春频) 驹族本的总称一其 特定含义为通过i n t e m e t 将影视节目传送到p c 机。 1 1 2 流媒体技术的特点 流媒体是近年研究的热点之一。同传统媒体相比，流媒体占用的网络带宽小、 启动速度快，并有较强的适应能力。同传统的下载方式相比，流式传输方式具有 以下优点： 1 延时大幅度地缩短 在采用流式传输方式的系统中，用户不必像非流式播放那样等到整个文件全 部下载完毕后才能看到当中的内容，而是只需经过几秒或几十秒的启动延时即可 在用户的计算机上利用相应的播放器或其它的硬件、软件对压缩的动画、视音频 等流式多媒体文件解压后进行播放和观看，多媒体文件的剩余部分将从流媒体服 务器继续下载。 2 系统缓存容量的需求大大降低 由于i n t e m e t 是以包传输为基础进行断续的异步传输，数据被分解为许多包 进行传输，动态变化的网络使各个包可能选择不同的路由，故到达用户计算机的 时间延迟也就不同。所以，在客户端需要缓存系统来弥补延迟和抖动的影响和保 证数据包传输顺序的正确，使媒体数据能连续输出，不会因网络暂时拥堵而使播 放出现停顿。虽然流式传输仍需要缓存，但由于不需要把所有的动画、视音频内 容都下载到缓存中，因此对缓存的要求降低。 3 多媒体传输的实时性和稳定性提高 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 在流媒体技术中，一方面使用先进高效的压缩算法对视频等多媒体文件数据 进行压缩处理，在保证回放质量的同时将数据量大大降低，从而减小网络传输的 压力；另一方面，使用专门的流媒体传输协议，从而针对网络多媒体传输的特点 采用更好的数据传输和控制机制，能大大提高流媒体传输和播放的实时性和稳定 性。 1 1 3 流媒体技术的发展现状及其前景 1 1 3 1 流媒体技术的现状 i n t e m e t i n t r a n e t 上使用较多的流媒体技术主要有r e a l n e t w o r k s 公司的r e a l s y s t e m ，m i c r o s o f t 公司的w i n d o w s m e d i a t e c h n o l o g y 和a p p l e 公司的q u i c k t i m e ， 它们是流媒体传输系统的主流技术，在这里介绍前两种。 1 r e a l s y s t e m r e a ls y s t e m 由媒体内容制作工具r e a lp r o d u c e r 、服务器端r e a l s e r v e r 、客户 端软件( c l i e n ts o f t w a r e ) 三部分组成，其流媒体文件包括r e a l a u d i o ，r e a l v i d e o ， r e a l p r e s e n t a t i o n 和r e a l f l a s h 四类文件，分别用于传送不同的文件。r e a ls y s t e m 采用s u r e s t r e a m 技术，自动地并持续地调整数据流的流量以适应实际应用中的 各种不同网络带宽需求，轻松实现视音频和三维动画的回放。r e a l 流式文件采用 r e a lp r o d u c e r 软件进行制作，首先把源文件或实时输入变为流式文件，再把流式 文件传输到服务器上供用户点播。 由于r e a ls y s t e m 的技术成熟、性能稳定，美国在线( a o l ) ，a b c ，a t & t ， s o n y 等公司和网上主要电台都使用r e a ls y s t e m 向世界各地传送实时影音媒体信 息以及实时的音乐广播。 2 w i n d o w sm e d i a t c c h n o l o g y w i n d o w sm e d i at e c l l l l o l o g y 是m i c r o s o f t 提出的信息流式播放方案，旨在 i n t e r a c t 和i n t r a n e t 上实现包括音频、视频信息在内的多媒体流信息的传输。其核 心是a s f ( a d v a n c e ds t r e a mf o r m a t ) 文件，a s f 是一神包含音频、视频、图像 以及控制命令、脚本等多媒体信息的数据格式，通过分成一个个的网络数据包在 i n t e m e t 上传输，实现流式多媒体内容发布。a s f 支持任意的压缩解压缩编码方 式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。 w i n d o w sm e d i at e c l l l l o l o g y 由m e d i at o o l s ，m e d i as e r v e r 和m e d i ap l a y e r 工 具构成。m e d i at o o l s 是整个方案的重要组成部分，它提供了一系列的工具帮助 用户生成a s f 格式的多媒体流( 包括实时生成的多媒体流) ；m e d i as e r v e r 可以 保证文件的保密性，不被下载，并使每个使用者都能以最佳的影片品质浏览网页， 同时具有多种文件发布形式和监控管理功能；m e d i ap l a y e r 则提供强大的流信息 的播放功能。 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 流媒体技术已j “泛应用于远程教育、网络电台、视频点播、收费播放等，在 企业一级的应用包括电子商务、远程培训、视频会议、客户支持等。 在国内，流媒体技术在国外成熟技术的基础上逐步扩大应用，诸如网上现场 直播、网上教育系统、网上手术数字化直播系统等，他们的体系结构是类似的。 1 1 3 2 流媒体的发展前景 互联网的发展决定了流媒体市场的广阔前景，流媒体技术的应用将为网络信 息交流带来革命性的变化，对人们的工作和生活产生深远的影响。有关数字表明， 到2 0 0 4 年流媒体市场将有明显的扩大，其中为消费者服务创收9 0 亿美元，内容 提供商创收2 8 亿美元，全球将有1 0 0 0 多个流媒体网站，2 亿多小时视频流。 一组来自国际权威机构的调查显示：2 0 0 0 年在网上访问流媒体的人数增加 6 5 ，西方网络发达国家访问流媒体的人数已达到1 1 亿人，约占网民的1 3 ； 在亚洲也迅速增加到2 5 0 0 万人，将近网民的l 9 。与用户增长相呼应，2 0 0 0 年 互联网上视频流媒体技术应用增长幅度达2 5 1 。据英国a n a l y s y s 公司公布的针 对视频流媒体市场的调查结果表明，随着视频流媒体逐渐成为企业的一种比较现 实的选择，2 0 0 6 年西欧市场规模将从2 0 0 1 年的约2 5 0 0 万美元成长为约2 亿美 元，规模将扩大1 0 倍。该公司并且透露，在今后，视频流式媒体市场主要将受 到公司内部通讯、研修和营销活动以及对投资家提供信息等用途的拉动。到2 0 0 6 年，传输量将以年均9 0 ，营业额将以年均5 0 的速度增长。但据其推测，视频 流式媒体真正的快速成长将从2 0 0 5 年开始。2 0 0 7 年全球将有1 5 0 0 万视频点播 用户。 对于流媒体的发展前景，i t 界的精英人物大多持乐观态度，预言流媒体将成 为未来互联网应用的主流，并将推动互联网整体架构的革新。微软董事长比尔盖 茨说：“流媒体是微软真正看好的方向，它必将成为个人电脑和网络设备应用的 主流。”雅虎的创始人杨志远也对流媒体技术给与高度肯定，他认为，“从早期发 展向大规模应用的过渡已基本完成。我们相信通过网络传播多媒体信息的条件已 经成熟，流媒体技术腾飞的时刻即将到来。” 1 2 流媒体的安全性问题分析 流媒体技术使得人们可以方便快捷地享受越来越多的数字多媒体内容。但 是，最终用户的不正当行为，直接蚕食着信息版权所有者和合法经营者的应得利 益。由于信息自身的特点，最终用户无意或有意地对有价信息进行任意的拷贝、 粘贴，尤其是无所顾及的二次传播( 如：磁盘复制、e m a i l 、网络共享等) ，以几 何级数的速度消耗了潜在的用户资源。尤其在互联网时代的今天，非正常渠道、 非合法身份获取信息的便利与低廉，直接影响和左右着信息产品的价格与市场， 抑制和阻碍了信息价值的实现。如何保证流媒体的安全传输是版权所有者关心的 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 焦点。只有解决了版权保护问题，流媒体以及应用的互操作性才可能真正实施。 从而使多媒体行业的提供商无需为版权被侵害的问题担忧。 基于网络的流媒体应用存在着巨大的市场，但是需要有效可行的访问控制和 版权保护措施。现存的版权保护和访问控制系统大都是使用用户名、密码的方式， 这种系统对于流媒体的版权管理来说是不够的，原因如下： ( 1 )安全性：密码一旦被窃取，内容提供者无法控制内容被非法者使用。 ( 2 )灵活性：内容提供者希望提供不同的付费模式( 根据时间或者次数等) ， 或者自行创建新的模式。 ( 3 )方便性：一个好的保护规划不仅仅是阻止未授权用户，还要使已授权用 户用起来比较方便。 ( 4 )和其他硬件及软件结合困难：内容提供商需要一个可以和电子商务及用 户跟踪程序很好通信的授权管理系统。消费者希望能够发送得到许可的 媒体到多种平台上，例如便携式媒体播放器上。 数字权益管理( d r m ，d i g i t a lr i g h t sm a n a g e m e n t ) 技术被称为“下一次版 权运动”。流媒体d r m 系统既要保证流媒体的实时性，适应复杂多变的网络状 况以及服务器的传输控制策略；又要保证流媒体的安全性，涉及数字版权的描述、 用户身份的认证和管理、流媒体内容的安全分发等等方面。 1 3 流媒体数字版权管理技术及其发展现状 数字版权保护技术是指在制作、发布和消费数字作品的过程中，保护数字作 品提供者、分销商、零售商和消费者的合法利益 2 l o 数字版权保护研究包括以 下内容： ( 1 ) 数字内容的安全性，使数字内容必须通过授权才可被使用。 ( 2 ) 数字版权的合法使用，即数字版权使用权利的划分、描述、控制。 ( 3 ) 数字内容的完整性，即内容不可篡改。 ( 4 ) 数字作品传播、交易过程中的安全性，以及交易的协议。 ( 5 ) 数字作品可计数性，确保交易的各方认可共同的统计数据。 数字版权保护技术可以分为两类： ( 1 ) 基于密码学的数字版权保护技术； ( 2 ) 基于信息隐藏的数字版权保护技术。 微软公司的w i n d o w s m e d i a d r m 是目前市场上一个领先的解决方案。它提 供了完整的d r m 解决方案，包括实现d r m 的体系结构和实现二次开发的s d k 。 微软的d r m 方案中采用r c 4 、d e s 、3 d e s 等对称加密算法加密数字内容，采 用r s a 、e c c 等非对称算法进行身份验证和加密密钥。 r e a l n e t w o r k s 公司的h e l i xd r m 是一个综合、灵活的平台，确保标准格式和 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 i n t e m e t 格式，如r e a l a u d i o ，r e a l v i d e o ，m p 3 ，m p e g 4 ，a a c ，s o n y 的a t r a c 3 和 h 2 6 3 等格式媒体的安全传输。使用h e l i xd r m ，不仅能将这些格式媒体传至p c ， 还能传至包括移动设备和家用电器在内的多种非p c 设备。h e l i xd r m 包括一系列 的产品与设备，它使版权拥有者能创建一系列健全的商业模式来传输多媒体给世 界各地最广大范围的观众，并为消费者找到和欣赏数字媒体提供了很多新的方 式。 目前，国内对数字版权保护的研究非常少，一些公司的流媒体数字版权管理 系统大都是基于w i n d o w sm e d i ad r m 或r e a ls y s t e m 的m c s ( m e d i ac o m m e r c e s u i t e ) 开发实现的。如何根据中国的具体国情和相关法规，开发出具有自主知识 产权的流媒体d r m 系统，是我们亟待解决的问题。 1 4 论文主要研究的内容和意义 1 4 1 主要研究内容 本课题主要做以下几方面的工作： l 。流媒体数字版权保护框架的研究 通过本课题的研究，设计一个适合于流媒体的数字版权保护框架，这一框架 应具备下面的特点： 根据中国的具体国情和已有的相关法规，充分体现出消费者、零售商和流 媒体内容提供商三者的权益和需求。 适度的安全性。流媒体数字版权保护的重点在于限制消费者非法复制和播 放数字媒体作品。采用的加密算法只需保证在目前的计算能力的限度内， 解密数字媒体作品所付出的代价大于此后发布该媒体作品的明文拷贝所 获得的收益。 模型要提供足够的灵活性和扩展性。模型对不同的商业应用具有较好的适 用性。 2 流媒体压缩方法及网络传输的研究和实现 通过对现有的流媒体视音频文件格式的研究，选择适合流媒体网络传输和播 放要求的视音频压缩格式；通过对网络协议的研究，选择适合流媒体传输的网络 协议以适应流媒体的实时性要求；通过对密码学的研究，选择适合流媒体的加密 算法，同时满足安全性和实时性的要求。在以上研究的基础上，实现m p e g 一4 标 准格式的流媒体文件的加密、网络传输、以及客户端的解码回放。 3 多种身份认证技术的研究 信息系统的安全性与能否正确认证用户的身份有着极为密切的关系，通过对 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 口令核对、硬件唯一标识、智能卡和指纹等多种身份认证技术的研究，将这些方 法应用到流媒体d r m 系统中进行用户身份的认证，并且提出可扩展的方案，应 用程序不必关注具体认证技术的复杂性，使得系统能够方便地采纳新的认证技 术。 1 4 2 论文的意义 本论文的目的是提供一个分层的、可扩展的流媒体d r m 框架，设计、实现 一个灵活、安全的流媒体d r m 系统。从密码学的角度为数字视频提供版权保护， 将密码学的理论应用到视频加密中，解决网络视频的安全性问题，让合法的用户 最大地享受所赋予的权利，同时阻止非法用户的拷贝和传播等侵权行为。 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 2 流媒体技术分析 2 1 流媒体的关键技术 2 1 1 压缩编码技术 压缩编码的主要任务是通过压缩减少多媒体数据流的传输码率以适应网络 传输带宽，并通过流式编码处理，改善网络传输后的回放性能。例如通过多码率 编码处理，可以根据网络带宽变化，动态地调整流的速率。各种流媒体平台所采 用的压缩编码技术各不相同，主要包括m p e g 1 、m p e g 一2 、m p e g 4 、w i n d o w s m e d i a v i d e o 、r e a l m e d i a 等。其中m p e g l 2 4 是公开标准，w i n d o w s m e d i a v i d e o 和r e a lm e d i a 都是企业的专有技术。 m p e g 一1 和m p e g 2 的压缩率大概在2 0 3 0 倍之间，这样的压缩率用于网 络传输还是太低。于是m p e g 小组制定了m p e g 4 标准。m p e g 4 采用了对象 的概念，引进了许多新的压缩技术来应用于各种不同的对象。对于声音部份，可 以分成自然音、语音和合成音，针对不同发声原理采用不同的算法。在影像方面， 则可细分为自然物体、2 d 影像、3 d 影像、人脸、背景等不同特性对象。m p e g 一4 的压缩率可以超过1 0 0 倍，而仍然保有极佳的音质和画质。另外，m p e g 一4 还把 提高多媒体系统的交互性和灵活性作为一项重要的目标，因此它更适合于交互式 a v 服务以及远程监控。 w i n d o w s m e d i a v i d e o 是m i c r o s o f t 公司的专有技术，它派生于m p e g 4 ，采 用基于m p e g - 4 的离散余弦变换( d c t ) 算法。充分考虑了网络应用的特点， 可以在多种带宽下得到可能的最高质量，并能在可用的网络带宽下自动调整流。 r e a l 公司的视频编码技术也是专有的，采用小波变换算法。r e a lm e d i a 除了 在其传统的低码率领域力争维持其领先地位外，还针对宽带网络快速发展的新形 势，有效地发展了高码率宽带网络视听应用。r e a l 公司最新推出的 r e a l p r o d u c e r 9 ，0 在功能和编码效率上也有较大的改进。 2 1 2m p e g 4 数字视频压缩技术 m p e g - 4 是1 9 9 8 年1 2 月正式发布的，旨在为视音频数据的通信、存取与管 理提供一个灵活的框架及一套开发的编码工具，它用在6 4 k b p s 以下的低速率视 音频编码，十分高效，在目前窄带的多媒体通信领域获得广泛青睐。m p e g - 4 以 其出色的媒体性能，图像质量接近d v d ，声音品质接近c d ，同时具有更高的压 缩比而迅速火爆起来。 m p e g 一4 以基于对象的方式表示视频数据，支持高效压缩、基于内容交互以 及基于内容分级扩展( 空域分级、时域分级) 等功能。比起m p e g 2 及h 2 6 x 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 系列，其最重要的三个技术特征是：l - 基于内容的压缩：2 更高的压缩比：3 时空可伸缩性。为实现基于内容的编码，m p e g 一4 中引入了视频对象( v o ，v i d e o o b j e c t ) 的概念，针对不同的对象特性采取不同的压缩编码技巧，以得到最好的 压缩效果。v o 的构成依赖于具体应用和系统实际所处环境：在要求超低比特率 的情况一fv o 可以是一个矩形帧( 即传统m p e g 一1 、2 ，h 2 6 3 中的矩形帧) ，从 而与原来的标准兼容；对于基于内容的表示要求较高的应用来说，v o 可能是场 景中的某一物体或某一层面，也可以是计算机产生的二维、三维图形，等等。在 m p e g 4 中，v o 主要被定义为画面中分割出来的不同物体，每个v o 有三类信 息来描述：运动信息、形状信息、纹理信息。视频对象的提出，使多媒体通信具 有高度的交互能力和很高的编码效率”“。 m p e g 4 将视频码流的语法层次分为视频会话v s ( v i d e os e s s i o n ) ，视频对 象v o ，视频对象层v o l ( v i d e oo b j e c tl a y e r ) 年l l 视频对象平面v o p ( v i d e oo b j e c t p l a n e ) 。它们都以类的形式定义，每一类由该类的起始码和结束码界定。m p e g 一4 语法结构如图2 1 所示。若干个v s 构成一个完整的视频序列，v o 是给定场景 中的一些具体对象，是用户能够存取和操作的实体，若干个v o 构成一个v s ： v o l 是表明v o 的空间和时间分辨率的一个类型，与空间和时间分级性密切相 关。每个v o 可有多层v o l ；v o p 是v o 在某一时刻的表象，即某一帧v o ， m p e g 4 对每个v o p 独立进行编解码，类似于以前的压缩标准( m p e g l 2 ，h 2 6 3 等) 的三种帧格式：i 一帧，p 一帧，b 一帧，v o p 也有三种相应的帧格式：i - v o p ， p - v o p ，b v o p 。i - v o p 在编码时只用到他自己的信息，与其他相邻的v o p 没 有关系；p v o p 在编码时要用到先前的v o p 作为参考进行运动估计和补偿； b - v o p 在编码时要用到先前和后续的v o p 作为参考进行运动估计和补偿”1 。 v s 2 - v s n 图2 1l d p e g 4 数据结构类分级图“ 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 2 1 3 流媒体的传输方式 2 1 3 1 流媒体传输的特点 视频传输与传统的文件传输有着明显的区别，传统的文件传输对于传输延 迟、抖动没有过多的要求，但是要求有严格的差错控制和重传机制，视频传输在 传输的实时性、同步性上要求很高，并且要求传输延迟小。视频传输能够忍受分 组丢失造成的差错和反常，也可以忍受由于没有重传或者纠错机制而导致的分组 丢失或延迟，但却无法忍受由于基于重传的差错控制机制引起的显示不连续或显 示混乱。视频传输有以下几个特点： 1 具有连续性、实时性、突发性的特点，需要准确的时间控制。 2 占用较大的网络带宽。 3 要求具有广播和多播的功能。 4 允许一定的传输误码，但尽量避免传输中的延迟和抖动现象。 5 要求可以根据网络状况自适应地改变视频传输质量。 随着i p v 6 协议、r s v p 、r t p r t c p 等一系列协议的推出，使得i n t e r n e t 上的 多媒体通信成为可能。i p v 6 就i p v 4 所带来的i p 资源有限、无法控制带宽、没有 提供同步功能等缺陷进行了改进，i n t e m e t 工程任务组( i e t f ) 开发的资源预留 协议( r s v p ) 和实时协议( r t p ) 使i n t e m e t 从理论上具备了处理实时业务的能 力，解决媒体同步问题和满足多媒体通信业务的要求。 2 1 3 2 流媒体的传输技术 流媒体的传输技术主要有：单播( u n i c a s t ) 、组播( m u l t i c a s t ) 和广播( b r o a d c a s t ) 。 单播的特点是流媒体的源和目的地是一一对应的，即流媒体从一个源( 服务器端 的应用) 发送出去后只能到达一个目的地( 客户端应用) 。组播是一种基于”组”的 广播，其源和目的地是一对多的关系，但这种一对多的关系只能在同一个组内建 立，也就是说，流媒体从一个源( 服务器端的应用) 发送出去后，任何一个已经加 入了与源同一组的目的地( 客户端应用) 均可以接收到，但该组以外的其他目的地 ( 客户端应用) 均接收不到。广播的源和目的地也是一对多的关系，但这种一对多 的关系并不局限于组，也就是说，流媒体从一个源( 服务器端的应用) 发送出去后， 同一网段上的所有目的地( 客户端应用) 均可阻接收到，广播可以看作组播的一个 特例。 多播技术本身不适用于v o d 应用，原因在于每个v o d 用户对点播的需求 是不一样的，因此无法形成一个统一的多播流，也就无法进行多播。所以系统采 用单播技术，更适合视频点播的应用。 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 2 1 3 3 流式传输工作过程 流式传输的实现需要合适的传输协议。t c p 需要较多的开销，故不太适合传 输实时数据。在流式传输的实现方案中，一般采用h t i p t c p 来传输控制信息， 而用r t p u d p 来传输实时多媒体数据。 流式传输的实现需要缓存。因为一个实时音视频源或存储的音视频文件在传 输中被分解为许多数据包，而网络又是动态变化的，各个包选择的路由可能不相 同，故到达客户端的时延也就不同，甚至先发的数据包有可能后到。为此，需要 使用缓存系统来消除时延和抖动的影响，以保证数据包顺序正确，从而使媒体数 据能够连续输出。通常高速缓存所需容量并不大，因为通过丢弃已经播放的内容 可以重新利用空出的空间来缓存后续尚未播放的内容。 r t p ，【n ) p 实时数据 图2 2 流式传输的基本原理 流式传输的过程一般如下。1 ： ( 1 ) 用户选择某一流媒体服务后，w e b 浏览器与w 曲服务器之间使用 h t t p , r i c p 交换控制信息，以便把需要传输的实时数据从原始信息中检 索出来： ( 2 ) w e b 浏览器启动音视频客户程序，使用h t t p 从w e b 服务器检索相关 参数对音视频客户程序初始化，这些参数可能包括目录信息、音视频数 据的编码类型或与音视频检索相关的服务器地址： ( 3 ) 音视频客户程序及音视频服务器运行实时流协议( r t s p ) ，以交换音视频 传输所需的控制信息，实时流协议提供执行播放、快进、快倒、暂停及 录制等命令的方法； ( 4 )音视频服务器使用r t p u d p 协议将音视频数据传输给音视频客户程序， 一旦音视频数据抵达客户端，音视频客户程序即可播放输出。 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 2 1 4 实时传输的网络协议 2 1 4 1t c p 不适合实时传输视音频数据 i n t e r n e t 上一般采用的传输协议是t c p 协议，它变化的带宽和不可预测的延 迟使得网络很难取得较高的利用率，而且它采用出错重传的可靠传输技术，带来 了较大的时间延迟。t c p 不适合实时视音频传输的原因主要有以下几个方面： 1 t c p 的重传机制 在t c p i p 协议中，当发送方发现数据丢失时，它将要求重传丢失的数据包。 然而这将需要一个甚至更多的周期( 根据t c p f l l p 的快速重传机制，这将需要三 个额外的帧延迟) ，这种重传对于实时性要求较高的视音频数据通信来说几乎是 灾难性的，因为接收方不得不等待重传数据的到来，从而造成了延迟和断点( 音 频的不连续或视频的凝固等等) 。 2 t c p 的拥塞控制机制 t c p 的拥塞控制机制在探测到有数据包丢失时，它就会减小它的拥塞窗口。 而另一方面，音频、视频在特定的编码方式下，产生的编码数量( 即码率) 是不 可能突然改变的。正确的拥塞控制应该是变换音频、视频信息的编码方式，调节 视频信息的帧频或图像幅面的大小等等。 3 t c p 报文头的大小 t c p 不适合于实时视音频传输的另一个缺陷是，它的报文头比u d p ( u s e r d a t a g r a r np r o t o c 0 1 ) 的报文头大。t c p 的报文头为4 0 个字节，而u d p 的报文头 仅为1 2 个字节。并且，这些可靠的传输层协议不能提供时间戳( t i m e s t a m d ) 和 编解码信息( e n c o d i n gi n f o r m a t i o n ) ，而这些信息恰恰是接收方( 即客户端) 的 应用程序所需要的。 4 启动速度慢 即便是在网络运行状态良好、没有丢包的情况下，由于t c p 的启动需要建 立连接，因而在初始化的过程中，需要较长的时间，而在一个实时视音频传输应 用中，尽量少的延迟正是我们所期望的。 由此可见，t c p 协议是不适合用来传输实时视音频数据的，为了实现视音频 数据的实时传输，我们需要寻求其它的途径。 2 1 。4 2 实时传输协议r t p 与r t c p r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是用于i n t e m e t i n t r a n e t 针对多媒体数据 流的一种传输协议【6 】。r t p 在u d p 的上层，相当于o s i 的会话层，提供同步和 排序服务。从上层接收多媒体信息码流，组装成r t p 数据包，然后发送给下层 的u d p 。 r t p 被定义为在对一或一对多的传输情况下工作，其e t 的是提供时间信息 和实现流同步。r t p 协议本身包括两部分：r t p 数据传输协议和r t c p 传输控制 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 协议。当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个给 r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流 量控制或拥塞控制，它依靠r t c p 提供这些服务。r t p 和r t c p 配合使用，它们 能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时 数据1 5 j 。 r t p 具有以下特点： 1 协议的灵活性 r t p 协议不具备传输层协议的完整功能，其本身也不提供任何机制来保证实 时地传输数据，不支持资源预留，也不保证服务质量。r t p 协议将部分运输层协 议功能( 比如流量控制) 上移到应用层完成，简化了运输层处理，提高了该层效 率。 2 数据流和控制流分离 r t p 协议的数据报文和控制报文使用相邻的不同端口，这样大大提高了协议 的灵活性和处理的简单性。 3 协议的可扩展性和适用性 r t p 协议通常为一个具体的应用来提供服务，通过一个具体的应用进程实 现，而不是作为o s i 体系结构中单独的一层来实现。r t p 只提供协议框架，开 发者可以根据应用的具体要求对协议进行充分的扩展。 4 同步机制 r t p 采用时间戳( t i m e s t a m p ) 来控制单一媒体数据流的同步，但它本身并 不能控制不同媒体数据流问的同步。若要实现不同数据流之间的同步，必须由应 用程序参与完成。 r t c p ( r e a l - t i m e t r a n s p o r tc o n t r o lp r o t o c 0 1 ) 是r t p 的一个辅助的控制协议， 来监视和控制实时数据的传输。r t c p 为r t p 会话反馈传输q o s ，通过分别在发 送方和接收方使用发送应答( s r ) 和接收方应答( r r ) 来提供q o s 反馈。r t c p 占用全部会话带宽的5 ，其中r t c p 控制分组的2 5 作为发送端应答，7 5 作 为接收端应答。并规定5 秒钟内发送方或接收方至少发送一个控制分组。 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 图2 3 流媒体传输协议框架 2 1 4 3 实时流协议r t s p 实时流协议r t s p ，是一个应用层客户一服务器多媒体节目协议，用来与诸 如r t p 、r s v p 等更低层的协议一起，提供基于i n t e m e t 的整套流化服务。它可 以控制流式多媒体数据在i p 网络上的发送，它提供用于音频和视频流的“v c r ” 远程控制功能，例如：停止、快进、快退和定位。它可以选择发送通道，例如 u d p 、组播u d p 和t c p ；使用t c p 或r t p 完成数据传输；基于r t p 的发送机 制，可以服务于多客户组播和单一观众点播。 2 1 4 4 资源预留协议r s v p 在传统的i n t e m e t 上只提供单一的q o s ，即“b e s t e f f o r t ”( 尽力传送) 服务， 没有提供资源配置、预留等措施，并且所有业务均不加区分地以平均流量使用资 源，因此根本不能满足流数据的传输。只有网络的带宽和时延抖动维持在一定水 平上，流媒体数据才能够平稳地在客户端播放，所以必须在i p 网络中引入一定 的q o s 机制。r s v p 协议就是基于这方面考虑而开发的，它可以让流数据的接收 者主动请求数据流路径上的路由器，为该数据流保留一定资源( 即带宽) ，从而 保证一定的服务质量。r s v p 是路由器为提供更好的服务质量向前迈进的具有深 刻意义的一步。 r s v p 协议本身并不是一个路由选择协议，而是一个网络控制协议，它仅仅 沿着数据流所选定的路由来预留资源。一旦建立预留，r s v p 协议会为请求服务 可靠地维持路由器和主机的状态。通过i p v 4 的地址字段或i p v 6 流标志的指定， 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 路由器根据为该流建立的预留来调度分组转发。 r s v p 的工作原理大致是这样的，发送端首先向接收端发送一个r s v p 信息， r s v p 信息同其他i p 数据包一样通过各个路由器到达目的地。接收端在接收到 发送端发送的信息之后，由接收端根据自身情况逆向发起资源预留请求，资源预 留信息沿着原来信息包相反的方向对沿途的路由器逐个进行资源预留。 2 1 5d ir e c t s h o w 技术 流媒体编程的技术性强、复杂性高。程序员在开发流媒体应用时面临很多挑 战，主要包括： 流媒体数据量大，要求得到快速处理 音频和视频需要同步 数据源的多样性，包括本地文件、计算机网络、电视广播和采集设备等 数据格式的多样性，包括a v i 、a s f 、m p e g 和d v 等 终端设备的不可预测性，程序员无法预知用户设备的信息 d i r e c t s h o w 技术的出现大大降低了程序员编程的强度。d i r e c t s h o w 是微软公 司提供的一套在w i n d o w s 平台上进行流媒体处理的开发包，与d i r e c t x 开发包一 起发布。该技术的设计目标就是简化w i n d o w s 平台上数字媒体应用的开发，把应 用同数据传输、硬件差异等复杂性中解放出来： d i r e c t s h o w 尽可能地使用d i r e c t d r a w 和d i r e c t s o u n d 技术来满足视音频流 的吞吐需求。这两种技术能够高效地把数据输出到显卡和声卡 d i r e c t s h o w 把媒体数据包装成一个个含有时间戳信息的s a m p l e s ，确保媒 体流的同步播放 d i r e c t s h o w 定义了一个模块化的体系结构，处理各种数据源、数据格式和 硬件设备 上海师范大学硕士研究生学位论文流媒体数字版权管理系统的设计与实现 命令 lf 事件 d i r e c t s h o w i 罴1 l f i l t e rg r a p hm a n a g e r l n l 一 图2 4d i r e c t s h o w 的模型 d i r e c t s h o w 系统位于应用层中，它使用过滤器图( f i l t e rg r