（机械电子工程专业论文）基于directshow的流媒体实时传输的研究与实现.pdf

独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：! 塾日期：竺：! ：兰 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名： 导师签名： 大连理工大学硕士学位论文 摘要 随着网络带宽的不断改善，流媒体数据的实时传输技术已成为近年来计算机网络技 术领域的研究热点。而目前的i n t e m e t 提供的是尽力而为( b e s t - e f f o r t ) 的服务，带宽、延 迟等是随着时间变化的，不能够为流媒体实时传输提供服务质量保证。在此背景下，对 微软d i r e c t s h o w 框架和流媒体实时传输技术进行了深入的剖析。并基于d i r e c t s h o w 框架 和r t p r t c p 协议，设计并实现了一个基本的流媒体音频传输系统，系统采用g 7 2 3 的音 频编解码器和r t p r t c p 传输协议实现流媒体的直播服务。 首先对国内外流媒体技术的发展、应用、存在的问题和d i r e c t s h o w 的应用进行综述， 然后在对微软d i r e c t s h o w 框架进行深入分析的基础上，提出了基于d i r e c t s h o w 框架的软 件设计模式，解决了软件的重用性问题。在熟悉流媒体传输的基本原理和流媒体系统的 基本结构的基础上，提出了流媒体传输系统的总体设计方案，并分别对系统的线程结构， 系统的总体框架结构，服务器端，客户端，网络发送过滤器，网络接收过滤器进行了设 计，确定了系统的c s 运行模式并且划分了系统主要的功能模块。随后，详细描述了服 务端和客户端r t p 的打包发送和接收、r t c p 报告包的发送和接收。最后，针对i n t e m e t 流媒体传输中存在的带宽不足、接入多样性等问题，详细探讨了流媒体传输的自适应控 制技术，包括t c p 友好的拥塞控制、差错控制技术、参数计算、接收端反馈和发送端调 整的策略。 基于d i r e c t s h o w 框架实现的音频传输系统已在局域网环境中得到应用。较好地解决 了实时流数据网络传输过程中的抖动、差错、失序等问题，获得了较好的通话效果。 关键词：流媒体；d ir e c t s h o w ；拥塞控制：r f p r t c p ；自适应传输 袁红亮：基于d i r e n s h o w 的流媒体实时传输的研究与实现 s t u d ya n dr e a l i z a t i o no nr e a l t i m et r a n s m i s s i o no fs t r e a m i n gm e d i a b a s e do nd i r e c t s h o w a b s tr a o t w i 也t h er a p i di n c r e a s i n go f n e t w o r kb a n d w i d t h t h er e a l - t i m et r a n s m i s s i o nt e c h n o l o g y o fs t r e a m i n gm e d i ad a t ah a sb e e nb e c o m i n go n eo f t h ek e yr e s e a r c h e so nt h ea r e ao fm o d e m n e t w o r kt e c h n o l o g yi nr e c e n ty e a r s h o w e v e r ，t h ec u r r e n tb e s t e f f o r ti n t e m e td o e sn o to f f e r a n yq u a l i t yo f s e r v i c e ( q o s ) g u a r a n t e e st or e a l t i m es t r e a m i n gm e d i a ，b e c a u s ei t sb a n d w i d t h a n du j c - 1 1 4 - y c h a n g ew i 出t i m e u n d e rt h i sb a c k g r o u n d ，t h i sp a p e rr e s e a r c h e st h ef r a m e w o r ko f d i r e e t s h o wa n dt h er e a l - t i m et r a n s m i s s i o no f s t r e a m i n gm e d i ad e e p l y ，t h e nd e s i g n sa n d r e a l i z e s 血eb a s i ca u d i ot r a n s m i s s i o ns y s t e mb a s e do nd i r e c t s h o wf r a m e w o r ka n dr t p r t c p p r o t o c o l ，t h es y s t e mr e a l i z e sl i v i n gb r o a d c a s ts e r v i c eo f s 圩e a m i n gm e d i au s i n gg 7 2 3c o d e c a n dr t p r t c pp r o t o c 0 1 f i r s t l yt h i sp a p e rs u m m a r i z e st h ed e v e l o p m e n t ，a p p l i a n c e ，e x i s t i n gp r o b l e m so f s t r e a m i n gm e d i at e c h n o l o g ya n dd i r e c t s h o wa p p l i a n c e ，t h e np u t sf o r w a r ds o f t w a r ed e s i g n p a r e mb a s e do nd i r e c t s h o wf r a m e w o r ko nt h eb a s i so fa n a l y z i n gt h ef r a m e w o r kd i r e c t s h o w d e e p l y t h i sp a r e ms o l v e s 也ep r o b l e mo f r e u s ei ns o f t w a r e o nt h eb a s i so f b e i n gf a m i l i a r w i t ht h eb a s i cp r i n c i p l ea n dt h ea r c h i t e c t u r eo f s t r e a m i n gm e d i at r a n s m i s s i o n ，e s t a b l i s h e st h e t o t a ls o l u t i o no f t h es t r e a m i n gm e d i at r a n s m i s s i o ns y s t e m ，i n c l u d i n gt h ed e s i g n m e n to f t h r e a d s t r u c t u r e ，t o t a ls t r u c t u r e ，s e r v e re n d ，c l i e n te n d ，s e n d i n gf i l t e ra n dr e c e i v i n gf i l t e r , c o n f i r m s c sm o d e lo fs y s t e ma n dc o m p a r t m e n t a l i z e sm a i nf u n c t i o nm o d e lo fs y s t e m s u b s e q u e n t l y ， d e s c r i b e sp a r t i c u l a r l ys e n d i n ga n dr e c e i v i n gr t pa n dr t c pp a c k e ti ns e r v e ra n dc l i e n t f i n a l l y , t h i ss y s t e ma n a l y z e st h ea d a p t i v ec o n l a o lo fs t r e a m i n gm e d i at r a n s m i s s i o ni nd e t a i l ， i n c l u d i n gt c p - f r i e n d l yc o n g e s t i o nc o n t r o l ，e r r o rc o n t r o l ，p a r a m e t e rc o m p u t i n ga n dt h e s t r a t e g yo f f e e d b a c k i nr e c e i v i n ge n da n da d j u s t m e n to f s e n d i n ge n d t h ea u d i ot r a n s m i s s i o ns y s t e mb a s e do nd i r e c t s h o wf r a m e w o r kh a sb e e na p p l i e dt ot h e e n v i r o n m e n to fl a n t h es y s t e ms o l v e sf i n e l yt h ep r o b l e m so f j i t t e r ，e r r o r ，l o s so r d e ri nt h e t r a n s m i s s i o np r o c e s so f r e a lt i m es t r e a m i n gd a t a , a n do b t a i n sb e t t e rc o m m u n i c a t i o ne f f e c t k e yw o r d s ：s t r e a m i n gm e d i a ；d i r e e t s h o w ；c o n g e s t i o nc o n t r o l ；r t p r t c p ；a d a p t i v e t r a n s m i s s i o n 大连理工大学硕士学位论文 1 绪论 1 1 流媒体技术概述 作为多媒体和网络领域的交叉学科，流媒体技术的应用和研究得到了迅速发展。多 媒体使计算机能够综合处理声音、文字、图像和视频，它以丰富的声、文、图信息和方 便的交互性，极大地改善了人机界面，改变了人们使用计算机的方式，从而为计算机进 入人类生活和生产的各个领域打开了方便之门，给人们的工作、生活和娱乐带来了深刻 的变化。随着网络宽带化的发展趋势，人们不再满足于信息高速公路中仅有文本、图像 和声音这一类简单的信息，而越来越希望更直观、更丰富的新一代信息的表现形式，流 媒体技术( m e d i as 仃e 锄i 1 1 9 ，又称s t r e a m i n gm e d i a ) 由此便应运而生。 流媒体的定义很广泛，大多数时候指的是把连续的影像和声音信息经过压缩处理后 放到网站服务器，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自 己机器就可以观看的视频、音频传输、压缩技术【l 】。因此流媒体不同于传统的媒体，它 的主要特点就是边下载边观看，以流的形式进行数字媒体的传送，从而使人们可在线欣 赏连续不断的多媒体节目。在互联网迅速发展的时代，研究流媒体实时传输技术必然会 给我们的日常生活和工作带来深远的影响。 1 1 1 流媒体的发展现状 网络多媒体的发展方兴未艾，这得益于两个方面：多媒体技术促进了计算机的人性 化，而网络技术促进了计算机的普及化。面向计算的传统计算机功能简单且操作复杂， 而多媒体技术通过视频、音频和更广义的人机交互等手段拓展了计算机的功能，同时降 低了计算机的操作复杂度。计算机硬件水平按照摩尔定律飞速发展，多媒体数据的存储、 压缩、检索和渲染技术也逐渐成熟，多媒体技术已进入其发展的高潮阶段。i n t e m e t 为 广大用户提供了规模非常大的信息服务，极大地提高了人们获得信息的能力，日益成为 人们交通、交流、娱乐、工作的重要信息工具。目前，i n t e m e t 使世界日益变成一个“地 球村”，在这样的背景下，多媒体和网络的交叉学科流媒体的发展成为一个必然结 果。分析表明，到2 0 0 3 年，i n t e m e t 服务器5 0 的存储内容将是流媒体数据。流媒体的 应用系统、国际标准和基础研究正成为目前产业界和科研机构密切关注的焦点。 典甏懿滚媒薅疲穗系统惫螽v o d ( v i d e o o n - d e m a n d ) 系统、援猿会议( v i d e oc o n f e r e n c e ) 系统、远程教育( d i s t a n c el e a r n i n g ) 系统、数字图书馆( d i g i t f ll i b r a r y ) 等。目前，i n t e m e t 中 最通用的流媒体系统包括m i c r o s o f tw i n d o wm e d i ap l a y e r ，a p p l e q u i c k t i m e ， r e a l n e t w o r k s 等，w i n d o wm e d i ap l a y e r ，r e a l n e t w o r k s 等滤媒体播放器甚警己感为p c 袁红亮：基于d i r e c t s h o w 的流媒体实时传输的研究与实现 标准配置。专业级v o d 系统及视频服务器产品包括c i s c oi p t v ，n c u b em e d i a c u b e ， o r a c l eo v s ，s u nm e d i a c e n t e r ，h pm e d i a s t r e a r n ，s t r e a m i n 9 2 1 等：专业级视频会议系 统包括p i c t u r e t e l ，n e n n e e t i n g 等。流媒体的各种产品受到了i t 产业界的极大关注，从 1 9 9 8 年开始的流媒体展览会目前已成为计算机业界最为重要的展览会之一。这些产品的 迅速普及和应用，极大地促进了流媒体的国际标准和协议的制定和竞争，同时也推动了 流媒体基础研究的逐步展开。 目前，多媒体及网络领域的相应国际标准和协议充分考虑了流媒体的应用。在多媒 体领域，m p e o 系列标准( m p e g - 1 m p e g - 2 m p e g - 4 ) 对网络传输的重视逐渐加强。h 系列协议包括h 2 6 1 ，h 2 6 3 ，h 2 6 l 等音视频编码标准，h 3 2 3 ，h 3 2 4 等系统标准 更直接地面向网络应用。在网络领域，i n t e r a c t 专家任务组i e t f ( i n t e r a c t e x p e r t t a s k f o r c e ) 制定了实时传输协议实时传输控制协议r t p r t c p ( r e a l t i m e t r a n s f e r p r o t o c o l r e a l t i m et r a n s f e rc o n t r o lp r o t o c 0 1 ) 协议族。该协议族是流媒体的应用层协议， 早在1 9 9 6 年就成为国际标准。除了r t p 协议以外。还有很多其他支持多媒体的传输和 控制协议，如r s v p ( 资源预留协议) 、r t s p ( 实时流协议) 等。 流媒体的应用推动了流媒体研究的发展。流媒体的研究包括流媒体编码技术、流媒 体服务器技术、端到端( e n dt oe n d ) 流媒体技术和流媒体系统技术。流媒体编码技术建立 在传统多媒体编码技术的基础上，在最近5 年内得到蓬勃发展。典型的流媒体编解码技 术有：用于6 4 k b p s 视频传输的h 2 6 1 、面向1 5 m b p s 数字视频音频传输和存储的 m p e g 1 、面向高品质数字视频音频传输和存储的m p e g - 2 以及适用于低码率视频编码 的h 2 6 3 。到目前为止，最具代表性的流媒体编解码技术为可扩展性编解码技术f g s ( f i n e g r a n u l a rs c a l a b l e ) 和p f g s ( p m g r e s s i v ef i n eg r a n u l a rs e a l a b l e ) 。流媒体服务器技术是流媒体 早期研究的重点，它对传统文件服务器进行扩展和改造，使之能够有效地支持流媒体应 用。典型的流媒体服务器技术包括数据放置策略、磁盘调度策略算法、内存缓冲区管理 算法等。端到端流媒体技术用以解决媒体流在两个端系统间传输的相关问题，典型的研 究包括媒体流拥塞控制( c o n g e s t i o nc o n t r 0 1 ) 策略、差错控带l j ( e r r o rc o n t r 0 1 ) 策略、速率整形 ( r a t es h a p i n g ) 策略等，端到端技术的研究目标是为了提高流媒体应用的q o s ( q u a l i t yo f s e r v i c e ) 。而流媒体系统技术不仅仅关注流媒体的o o s ，还注重提高流媒体的系统效率。 典型的流媒体系统技术包括流媒体调度技术( s t r e a m i n gs c h e d u l i n g ) 、多媒体代理服务器及 缓存技术( m u l t i m e d i ap r o x ya n dc a c h i n g ) 、流媒体的应用层组播技术( s t r e a m i n ga p p l i c a t i o n l e v e lm u l t i c a s t ) 等。由于流媒体系统技术不仅要综合其他三类技术，还要优化系统的综合 性能，因此该类研究非常具有挑战性，也是流媒体技术研究的重点和趋势。 大连理工大学硕士学位论文 2 流媒榷技术的应用 流媒体技术改变了传统互联网的呆板彤象，丰富了互联网的功能。使之成为一种有 强大吸引力的新媒体。一般认力，这种技术会在网络巍播、多媒体灏闻发布、髓络视频 广告、毫子搿务、甏频点播、远程教弯、远程罴疗、秘络毫台、筏颡会议等领城褥羹 广 泛的应用。对于广电行业而畜，流媒体鼹是拥有巨大潜力的竞争对平。事实上。流媒体 不但可以播放广电媒体的所有节目内容，还可以提供照具有吸引力的多媒体内容点播、 游戏等令蠖豫豹蔓动骚务。滚媒薄镶壤涉及摄多德解决熬辩学技零阉题，其鹜器建数字 电视、无线遵讯和宽带网络多媒体的广闹市场和童犬豹经济利益。流媒体技术的几项应 罔简介如下【2 】： 视频援出( s t r e a m i n g v i d e o ) ：娱乐楚流媒体的重要应用场合。蹋摄像机或其它装置 虢褥视频信鸯最，裁可班邋过站点进行蕊予i n t e m e t 静瑷场壹播；或密保存为滚嫘体格式 的文件，以供按需播放。需娅在一台较高配簧的p c 机兢服务器上安装上普通视频采集卡 和声卡，然厝通过视频采集书输入视频和通过声卡输入声音信号就可以用实时编码工具 聚进疗壹援或蒙裁残流漂侮变锌。在这耱寝震孛霹熬入一定的诗费等羧，簌嚣黪够撬供 脊偿多媒体内容服务。 远程教育( r e m o t el e a r n i n g ) ：远程教学将为更多的人提供接受教育的机会。教学者 攀毙在i n t e r n e t f ：发出逶j 拜，氍众在洪座湃始翦访趣莱个u r l 她蛙，强讲座开始对，薅众 w 珏看至l 演讲嚣的演讲蚕覆并听到谴鸵声音。整个讲穗瞧可班流媒体文稃静形式记录下 来，用于以精按需播放。教学者事先把流媒体文件传给远程教学服务器，当听众需要听 讲座时，同样访问相应的u r l 地址，请求获取服务器中的流媒体内容。媒体数据通过流 蔑黄赣下载劐蠲户懿溺整糕褰速缓毒孛，鑫媒终撵敖瓣实怼西竣。 视频会议( v i d e oc o n f e r e n c e ) ：视频会议和远程教学有很多类似之处，但它对实时性 的要求更高。谯一个视频会议中，各个会议点用音视频采集设备得到多媒体内容信息， 经过数字纯蕨粥菜稳压缩方法进露压续。匾缩数据可驳逶过网络煮接在各个会议患之闯 缀播，或搀弼多点处理器经过含成或转捩盾霉南备与会煮组播。黧不管采臻哪枣争方式， 都需要保证以尽量小的时越在各个点进行回放，这芷照流媒体技术发挥作用的地方。 远程监控( r e m o t es u r v e i l l a n c e ) ；流媒体技术也可以应用予远稔监控。近年辩乏，一些 公司已经嚣浚了一类n ：i w w e b e 鳓e 臻豹产鑫，基搴上它簸是把垂豫袋集、垂续、w e bs e r v e r 和i n t e m e t 接入集成在一个设备中，使得远程监控可以通过i m e m e t 完成，这与传统的远程 艇控系统相比，在可控制悭、监控距离、架设方便性镣方面都有很强的竞争力n 茄步 ，流攥髂技术也是三嘲合一( 惫臻网、因特嬲灏毫视网) 的关键技拳之。懂赛 上凡大有影确的媒体，翔b b c 、c n n 、v o a 、a b c 、n b c 等，都在网上开通了鑫己翦 袁红亮：基于d i r e c t s h o w 的流媒体实时传输的研究与袋现 耀上广撵。黧蠹豹一些广播电台帮毫巍蠹，爨絮c c t v + c o r n 、b i n 。e o m 释c a t v + n e t ，虽 然也已经在自己的网站上开始了试验憔的音视频点播，但其音视频点播系统平静无一例 外采用的都是国外公司的核心技术，系统规模不大，安全性也没肖保证，很难犬规模开 震这方瑟豹敷务夔羞弼终塞萤纯豹飞速发震，俸鸯第蕤媒嚣戆i n t e r n e t 登凌超过冀乡 三耱 媒体成秀主流的信息交换平台，匿诧对流媒体监务警台安全往的认识需要上升别国家安 全的高度。目前我国政府臌在大力推进并积极鼓励流媒体事业的发展，宽带流媒体技术 及其平台是瘸家8 6 3 项目之一。独立自熏殍发安全可熬、具有自主知识产权的流媒体增 值鲎务平台瑟经袋为莺肉隔仁酶姿务乏惫。 1 1 3 流媒体研究面临的挑战 多媒体奄传统数据有麓显著的区裁：l 、多媒体数据量远远大予传统媒体数据。典 黧静鞠瞧l 码率为1 5 m b p s ，1 分锋m p e o - l 筠滚麓数器量嵩遮l1 2 5 m b ，遥远超密 了传统媒体的数据量。2 、多媒体有媒体质量属性。如视频、音频均可用峰值信噪比0 s n p - ) 来衡量媒体威量。3 、用产对多媒体数搬有特殊操作。在v o d 系统中，用户交飘包括暂 掺、恢复、藏蹉、螽虢譬，这些攥童筝懿蹩多媒葵应鬟掰特奏豹。瓣筵，流媒露露传统嚣 络媒体也有麓显著的差剐。 由于目前的i n t e r n e t 是只提供尽力而为的服务( b e s t e f f o r t ) 的分组交换网络，具有丢 瞧、带宽熬聪耀变化豹鄹端到端的延迟擗动( s i t t e r ) 嚣特点，并不为实时传竣提供侄侮 q o s 僳| 正。溺魏，使用i n t e m e t 捧为多媒体传簸静奔矮就会逶弱缀多撬战。多媒体流豹传 输，特别是视频流，占用的带宽比较大，对时延敏感，有一定的裳时性的要求【3 】。数据 从发送端到接收端可能丢失或者乱序。附流媒体传输而言，i n t e r n e t e l 前存在以下几个方 嚣熬滔戆： ( 1 ) 分缀丢失率( p a c k e tl o s sr a t e ) i n t e m e t t 的分组丢失的主要原因怒因为拥塞的出现，路由器对于队列己满厢到达的 分组采用的怒丢弃的处理方式。流媒体愿缩编玛大多辫曩了时闻棚失来去除嚣余，大量 静丢失将严熬降低搔敦葳豢。分组丢失灏应该缣持程一个限度内潋螽 证获褥可敬接受的 质景。虽然实时的流媒体传输对丢失有一定的要求，假目前的i n t e r a c t 并不提供丢失保证。 ( 2 ) 带宽( b a n d w i d t h ) i n t e m e t 上溪熹之耀戆镱鼹是毒缳多滚竞挚共享黢，瘗筵嚣点乏藤戆爱竟踅簸簿趣变 化的。如栗瀛媒体服务不能随带宽的变化做相应的调藏，一方面程带宽不足的情况下， 不能得到一定的服务质量。另一方面，谯带宽充足的情况下，也不能充分利用网络带宽 提供更骞质纛的服务。 大连理工大学硕士学位论文 ( 3 ) 延迟( d e l a y ) i n t e m e t 上的延迟是由媒体流跨越多个子网和r o u t e r 而造成的。一个分组的延迟由传 输延迟、交换延迟、排队延迟等构成。流媒体系统使用较大的缓冲区来克服延迟带来的 问题，然而超过播放时间到达的分组通常也会被认为是丢失而影响接收的播放质量。由 于分组在中间路由的排队时间不同或者通过不同的路径到达终点，也就是说分组从一点 到另外一点所需的时间是变化的，这种现象叫做延迟抖动( j i t t e r ) 。而流媒体系统通常是 希望分组能够以一个固定的速率到达的。 等 笔记本电脑 图1 1 流媒体传输的异构性 f i g 1 1h e t e r o g e n e i t yo f t r a n s m i s s i o no fs t r e a m i n gm e s a ( 4 ) 网络异构性( h e t e r o g e n e i t y ) 由于用户接入i n t e m e t 方式的不同和用户终端的不同而带来的网络异构性是流媒体 应用面临的重要挑战。如图1 1 所示，用户可以通过m o d e m ，a d s l ，i s d n ，d d n 等方 式接入流媒体服务器，这些方式有不同的带宽，同时不同用户终端系统的处理能力也不 同，而且不同用户可能有不同的q o s 要求1 4 】。这些存在而且将越来越多的多样性问题， 需要流传输服务采用自适应传输技术，实现资源的合理分配，为不同用户提供不同的个 性化服务。 目前的流媒体应用程序对这些问题的解决是不灵活的。只能传输较低质量的低速率 的音视频，并且需要很大的缓冲，没有很好的用户交互性，并且与其他的服务类型如 w e b 服务不能做到以公平的方式共享带宽。如果i n t e m e t 上的流媒体都没有很好的传输控 袁红亮：基于d i m c t s h o w 的流媒体实时传输的研究与实现 制机制，而在i n t e r n e t 上又将广泛使用，必将导致网络拥塞，严重的情况下将导致网络崩 溃。因此流媒体传输应该适应网络带宽的变化，减少丢失和避免网络拥塞，并满足不同 用户的不同服务质量要求，使用户获得一定端到端的q o s 。 1 1 4 d ir e c t s h o w 的应用 本文是以d i r e c t s h o w 为平台进行开发研究的( 有关d i r e c t s h o w 的知识将在第二章介 绍) ，因此有必要介绍一下d i r e c t s h o w 的有关应用。由于d i r e c t s h o w 提供了高效的对多媒 体数据进行处理的平台与工具、丰富的c _ h 弓蝗库以及屏蔽了底层硬件的复杂性，给开发 者提供了便利，因此成为许多学者的研究对象和应用平台。 例如m i l t o n c h e n 在“d e s i g n o f a v i r t u a l a u d i t o r i u m ”的论文中描述了其基于 d i r e c t s h o w 设计的称为虚拟课堂的电视会议系统，教师通过一个显示墙可以和几十个同 学通过m p e g 4 视频流进行交流，甚至还可以通过显示幕进行眼神交流。d a v i do b o f i l 等 人在其“m o d e l i n gd i g i t a lm u s i c a le f f e c t sf o rs i g n a lp m c e s s o r s ，b a s e do nr e a le f f e c t m a n i f e s t a t i o na n a l y s i s ”文中称他们开发了一个d i r e c t s h o w 的t r a n s f o r mf i l t e r ，并在 d i r e c t s h o w 环境中建立了基于p c 的嵌入式数字音效模型。b o b 等人则利用d i r e c t s h o w 开 发一组称为a c o u s t i ca n a l y s i sw o r k b e n c h 的信号处理过滤器组件，可以进行可视化频谱分 析。 基本上，由于d i r e c t s h o w 提供了灵活的、可扩展媒体数据处理平台，它的应用也是 多方面的，既可用于流媒体应用，游戏开发，也可用于可视化数据处理开发平台。因此 对d i r e c t s h o w 的研究是有价值的。 1 2 国内外研究现状及意义 针对流媒体研究面临的挑战，目前的商业流媒体系统提供了一些解决方案。一种是 根据不同的连接速率创建多个压缩的流文件( 如：从2 8 k b p s 至l j 5 0 0 k b p s 不等) 。用户根 据连接带宽。选择不同的文件，服务器发送相应的文件。这样。同样的内容在服务器有 多个文件存放，造成存储空间的巨大浪费。还有一种是r e a l n e t w o r k s 公司采用的“智能 流”技术和微软公司w i n d o w sm e d i a 中使用的多速率编码技术。这两种技术都是分别对 同一源信息按照不同的播放速率分别编码，同一个文件产生多个视频码流。速率更大的 视频流被播放时效果更好，但也更占用带宽。它们的可伸缩性表现为：发送端选择播放 速率最匹配当前网络带宽的某视频流发送，当可获得的带宽变化时，发送端随之调整 视频流的选择。此时服务器只维护一个压缩版本，在网络拥塞时只传输编码数据的关键 部分，从而使客户能够获得相对稳定的播放效果。这种方式仍然要求服务器编码预先选 择几个固定的码率，而且不适合直播方式的流媒体服务。国内的c l e a r s e r v e r 采用的技 大连理工大学硕士学位论文 术方案是可根据终端用户缓冲区的状况，实时动态调整发送的媒体码流，使其适应网络 资源的不断变化。媒体播放质量保持所能达到的最佳状态。但是这种方案并没有考虑网 络的状况，根据带宽的变化做调整。只能在带宽充足的情况下获得最佳播放状态。 为了适应带宽的动态变化，可伸缩性是i n t e m e t 上多媒体传输服务对多媒体压缩的要 求。除了上述的产生多个视频码流的方法外，目前音、视频可伸缩编码的一个主要研究 方向就是分层编码，典型的应用有视频的分层编码和采样率、码率可变的嵌入式语音编 码。采用视频分层编码压缩后的数据分为一个基本层和多个增强层。m p e g 4 的精细可 伸缩编码f g s 因为其较好的码流适应能力成为视频分层编码研究和使用的热点。 目前对流媒体系统传输控制的研究有两个方面。一个是以网络为中心的，通过对网 络资源的合理管理配置提供q o s 保证1 5 j 。如i e t f 的集成服务( i n t e r s e r v ) 模型小组使用 r s v p 进行资源预留。i e t f 的区分服务( d i f f s e r v ) 模型小组正在研究利用邛的t o s 字段对 不同的流进行区分处理。或者通过i pq o s 路由来提供网络层的q o s 。另一种是以终端为 中心的，它要求终端系统具有拥塞控制和一定的差错恢复等机制来改善多媒体传输的性 能，获得一定的服务质量1 6 j 。 r s v p 通过网络预留足够的资源来提供q o s 月i 务支持，这是解决流媒体服务q o s 的最 直接的办法。但是通常来说很难预先知道某个流的确切特点，就会很容易为它所要求的 q o s 等级分配过多的资源。导致网络利用率下降。同时r s v p 需要网络中的路由器支持， 由于它的复杂性和扩展性问题，目前使用中的大部分路由器并不支持这些服务。区分服 务只是为不同的服务类型提供不同的传输优先级，路由器就可以利用i p 数据包头部的服 务类型( t o s ) 字段，根据优先级区分处理。这种处理方法t e r s v p 要简单，并不需要特殊 的信令。然而对于如何设置优先级的问题以及路由器如何控制这些优先级目前仍然在讨 论中，此外区分服务也失去了灵活性和公平性。 因此以终端为中心的端到端的解决方案在目前看来更为有效。现在的研究也集中在 这个方向上。它将网络看作一个黑盒子，在发送和接收端采用基于速率的拥塞控制。根 据接收端反馈的网络状况和用户接入的带宽和要求服务质量的不同，发送端改变传输策 略，适应这些不同的情况。可以达到有效利用带宽，为用户提供高质量传输服务的目的。 当前基于端到端的速率控制按照控制算法可以分为两种方式：一是基于探测的a i m d 算 法，其典型的应用是r a p ( r a t ea d a p t i v ep r o t o c 0 1 ) 。另一种是基于模型的速率控制，主 要有s a l l y 等人提出的t f r c ( t c p f r i e n d l y r a t e c o n t r 0 1 ) 的方案。这些算法除了研究速率 控制，防止网络拥塞外，还研究如何达到t c p 友好性。 袁红亮：基于d i m c t s h o w 的流媒体实时传输的研究与实现 1 3 论文的主要工作和组织结构 本文将分析流媒体系统基本原理和结构，研究一个基本的基于d i r c c t s h o w 框架的流 媒体系统的设计与实现。针对i n t e r a c t 上流传输中的问题，研究流媒体的端到端的自适应 传输技术。 对流媒体系统的应用研究，主要是为了在局域网中应用流媒体技术实现语音通信。 通过一个基于d i r e c t s h o w 框架的流媒体传输系统的设计与实现，研究了流媒体服务系统 的基本结构，包括r t p r t c p 包的传送接收、网络发送过滤器的开发、网络接收过滤器 的开发、基于r t p 协议的流媒体自适应传输控制技术等部分。 对端到端的自适应传输控制的研究，主要是为了针对i 1 3 节中介绍的i n t e r n e t 上实时 流数据传输的问题以及流媒体传输的特点，对流媒体传输控制的改进。主要的技术有： ( 1 ) 拥塞控制。系统分析i n t e r a c t 拥塞控制技术。根据流媒体应用的特点，采用端 到端基于r t p 的速率控制来实现传输中的拥塞控制。接收端监测网络变化。利用实时计 算的加权平均丢包间隔反映丢包情况。并根据丢包间隔设置拥塞、满载、轻载三个状态。 发送端根据反馈的状态和参数，并使用t c p 的吞吐量计算公式来计算调整的速率值，达 到一定的t c p 友好性1 7 。 ( 2 ) 差错控制。对重要的数据包如基本层数据的错误控制采用有限制的错误重发。 以下各章节组织如下： 第二章深入剖析d i r e c t s h o w 框架，提出了基于d i r e c t s h o w 的流媒体实时传输软件开 发模式。 第三章介绍了流媒体系统的基本原理，包括流媒体的基本概念、音视频压缩编码、 传输方式和传输协议，利用传统的c s 模式构架一个音频传输系统，规划各功能模块。 第四章介绍了实时传输协议r t p 和实时传输控制协议r t c p ，然后详细介绍了服务 器端和客户端的详细实现过程，包括r t p 包和r t c p 包的发送和接收等。 第五章系统分析总结了自适应传输控制所涉及的拥塞控制、错误控制以及基于r t p 协议自适应传输控制技术的实现。 最后对本论文的主要研究工作进行了总结，并展望了本论文研究需要进一步深入的 地方。 大连理工大学硕士学位论文 2 基于d ir e c l ：s h o w 的流媒体传输系统开发模式的研究 2 1d ir e c t s h o w 简介 2 1 1d ir e c t x 简介 m i c r o s o f td i r e c t x 是微软专门为基于w i n d o w s 平台的游戏以及其它高性能多媒体应 用程序的开发而提供的一套底层应用程序接口( a p i ) 函数，它支持三维图像和各类音效设 备的输入。开发d i r e c t x 的主要目的是为了让运行在w i n d o w s 平台的应用程序具有良好 的表现力和实时的硬件访问能力。 d i r e c t x 隐藏了复杂多变的硬件驱动及其相关的执行细节，因此，具有很好设各无 关性，应用程序可以通过使用d i r c c t x 提供的编程接口直接对h a l ( 硬件抽象层) 进行操 作，既充分发挥了计算机的各种优良性能，又简化了应用程序的编写。 2 1 2 组件对象模型( c o m ) 的应用 重用性一直是面向对象的主要动机之一嗍。但事实上编写一个很容易被重用的类非 常复杂。c o m 正是微软为此而提出的可重用的结构标准，它是按照组件化程序设计的 思想，把复杂的应用程序设计成一些小的、功能单一的组件模块，各软件组件可以用统 一的方式进行交互。c o m 具有语言无关性、进程透明性、可重用性的特点。 c o m 规范规定【9 】，任何组件或接口都必须从i u n k n o w 接口中继承而来。该接口定 义了三个重要的函数，分别是q u e r y i n t e r f a c e 、a d d r e f 和r e l e a s e 。其中，q u r e y i n t e r f a c e 负责组件对象上的接口查询，a d d r e f 和r e l e a s e 分别用于增加引用计数和减少引用计数。 引用计数决定了组件对象的撤销。 调用程序完成参数的内存分配和释放。其中，出口参数由被调用程序分配内存，由 调用程序用标准的c 0 m 内存分配程序释放内存：入口参数由调用程序分配内存，必要时 由被调用程序释放及重分配。 进程内服务器必须输出d l l g e t c l 踮s o b j e c t 和d l l c a n u n l o a d n o w ；进程内服务器还需 支持 c o m 自注册；输$ d l l r e g i s t e r s e r v e r 和d l l u n r e g i s t e r s e r v e r ；进程内和局部服务器 应该在它们的文件版本信息中提供o l e s e l f r e g 字符串；局部服务器应支持r e g s e r v e r ；和 u n r e g s e r v e r 命令行开关a 每个c o m 组件都必须实现一个与之对应的类工厂( c l a s sf a c t o r y ) 。类工厂实现了 i c l a s ；f a c t o r y 接口，调用i c l a s s f a c t o r y ：c r e a t e l n s t a n c e 可生成一个c o m 组件类对象的 样本。 袁红亮：基于d i r e c t s h o w 的流媒体实时传输的研究与实现 此外，每一个c o m 对象也必须有一个全局唯一标识符( g u i d ) ，用于客户程序创建 c o m 对象和初始化，c o m 对象的g u i d 称为类标识符( c l s i d ) 。 d i r e c t s h o w 中大部分应用程序接口( a p i 都由基于c o m 的对象和接口组成。许多 d i r e c t s h o wa p i 都创建为c o m 对象的实例，应用程序正是通过访问这些c o m 对象的 接口来实现用户所需的各种操作。d i r e e t s h o w 构架中最基本的功能模块是过滤器。每一 个过滤器就是一个c o m 对象，对象的每个接口都由i u n k n o w 接口派生而来( 如 i g r a p h b u i l d e r 、i m e d i a c o n t r o l 和i m e d i a e v e n t e x ) ，该接口提供了对象生存期的控制和对 其所支持操作功能的查询。此外，d i r e c t s h o w 还提供了一系列c o m 接口，供应用程序 直接调用，用以控制媒体数据流或是返回过滤器事件。 2 2d ir e c t s h o w 架构的优势 多媒体应用一直面临着挑战，主要的挑战包括多媒体大量的数据传输，快速的数据 处理要求，音视频流的同步，媒体流的格式转换等等【10 】。d i r e c t s h o w 是微软公司提供的 一套在w i n d o w s 平台上进行流媒体处理的开发包，与d i r e c t x 开发包一起发布。 d i r e c t s h o w 为多媒体流的捕捉和回放提供了强有力的支持。 运用d i r e c t s h o w ，我们可以很方便地从支持w d m 驱动模型的采集卡上捕