（计算机系统结构专业论文）基于real平台流媒体监控系统的设计和实现.pdf

华中科技大学硕士学位论文 = = = = = = = = = = = = ；= = = = = = = = = = = = = = = 一一： 摘要 基于i n t e m e v i n t r a n e t 的监控系统作为第三代监控技术是当今网络监控的主流。通 过嘲络实现多媒体远程监控已经成为监控领域一个新的发展方向。基于r e a l 平台的流 媒体监控系统作为第三代监控系统，正是多媒体压缩技术和多媒体通信技术飞速发展 的产物。基于r e a l 平台的流媒体监控系统不仅能在本地预览捕获到的信息，而且能够 将捕获到的图像和声音数据压缩后通过网络实时地存储到指定的服务器上。任何地方 的远程用户经过身份认证后，通过包括测览器在内的客户端软件可以访问w e b 服务器 获取用户选定监控点的媒体信息。 流媒体监控系统需要传输实时的、高质量的多媒体数据，但t c p ( t r a n s p o r t c o n t r o l p r o l o c 0 1 ) i p ( i n t e m e tp r o t o c 0 1 ) 参考模型中u d p ( u s e rd a t a g r a mp r o t o e 0 1 ) n 【有提供实时传 输中的质量保证机制。在研究流媒体实时传输技术的基础上，在媒体流传输过程中增 加相应的控制，采用基于带宽充分利用的t c p 友好用拥塞控制策略，能够提高网络 带宽的使用率，提高多媒体传输的服务质量。 此外，监控系统数据捕获端也要能实时捕获到真实世界的多媒体数据，但由于实 时捕获到的数据量很大，必须要采用高质、高效率的压缩技术，才能保证图像质量和 传输的有效性。在对m e p g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 系列压缩技术研究的基础 上，采用基于m p e g 一4 压缩技术的芯片，设计并实现多通道的视频捕获卡，有效地增 强了流媒体监控系统的功能。 最后对基于r e a l 平台的流媒体监控系统在局域网和广域网上设计了一个实时传 输测试环境，测试表明系统能够在不同网络环境下较好的利用网络带宽，流媒体能够 没有延迟、抖动的播放。 关键词：流媒体，实时传输，视频捕获，服务质量 华中科技大学硕士学位论文 a b s t r a c t n o w a d a y s a s t h et 城r dg e n e r a t i o n a lm u l t i m e d i a m o n i t o r i n gt e c h n o l o g y , t h em u l t i m e d i a m o n i t o r i n gs y s t e mi n t e m e t - b a s e do r i n t r a n e t b a s e di s p o p u l a r t h er e m o t em u l t i m e d i a m o n i t o r i n g w h i c hw a si m p l e m e n t e do nt h en e t w o r ki saf l e wr e s e a r c ho r i e n t a t i o ni n m o n i t o r i n gf i l e d s t r e a mm e d i am o n i t o r i n gs y s t e mb a s e do nr e a lp l a t f o r ma s t h et h i r d g e n e r a t i o n a lm o n i t o r i n gs y s t e m ，i st h eo u t c o m e o ft h em u l t i m e d i ac o m p r e s s i o nt e c h n o l o g y a n dt h em u l t i m e d i ac o m m t m i c a t i o n n o to n l yi tc a l lp r e v i e wi n f o r m a t i o nc a p t u r e di nl o c a l b u ta l s oc a r lt h ei m a g i n e sa n dt h ev o i c e sc a p t u r e db es t o r e do ns p e c i f i e ds e r v e ra tr e a l t i m e a f t e rt h e s ed a t aw a s c o m p r e s s e d a f t e rp a s s i n gi d e n t i f i c a t i o na u t h e n t i c a t i o n ，r e m o t eu s e r sa t a n yp l a c ec a no b t a i nm e d i as i g n a lc a p t u r e db yt h e v i d e oc a m e r af r o mc l i e n ts o f t w a r e i n c l u d i n gb r o w s e rt h r o u g h t h en e t w o r k s t r e a m i n gm e d i as y s t e mr e q u e s t sr e a l - t i m et r a n s f e r r e da n dl l j g hq u a l i t ym u l t i m e d i a d a t a ，b u tn oq u a l i t ym e c h a n i s m i sg u a r a n t e e di nr e a l - t i m et r a n s m i s s i o ni nu d p p r o t o c o li n t c p i pm o d e l o nt h eb a s i so f r e s e a r c ho nr e a l - t i m es t r e a mm e d i at r a n s m i s s i o nt e c h n o l o g y , c o n t r o li nu d p t r a n s m i s s i o n ，i n t r o d u c et c p f r i e n d l yc o n g e s t i o na n d c o n t r o l s t r a t e g yb a s e d o r lb a n d w i d t hc o m p l e t eu t i l i t y , n e t w o r kb a n d w i d t hu s a g ec a nb ei m p r o v e dg r e a t l ya n d g u a r a n t e eq u a l i t y o fs e r v i c ef o rm u l t i m e d i at r a n s m i s s i o n m o r e o v e r , d a t ac a p t u r i n ge n di n v i d e o s y s t e m c a na l s ob er e q u e s t e dt o c a p t u r e m u l t i m e d i ad a t ai nn a t u r ea tr e a l t i m e f o rt h el a r g eq u a n t i t yo fd a t ac a p t u r e da t ，i t s n e c e s s a r yt ou s et h eh i g hq u a l i t ya n dh i g he f f e c t i v ec o m p r e s st e c h n o l o g yt o e n s u r et h e i m a g i n eq u a l i t ya n dt r a n s m i s s i o ne f f e c t i v e n e s s b a s e do nas e r i e s o fm p e gc o m p r e s s t e c h n o l o g y , a d o p t i n gt h ec h i pt h a tw a sd e s i g n e do nt h eb a s i so f m p e g - 4t e c h n o l o g y , a v i d e oc a p t u r ec a r dw i t hm u l t i p l et u n n e l si sd e s i g n e da n di m p l e m e n t e d i ti m p r o v e st h e f u n c t i o n a lc a p a b i l i t yo f t h es t r e a m i n gm e d i a v i d e os y s t e me f f e c t i v e l y f i n a l l y , ar e a l t i m et r a n s m i s s i o ne n v i m n m 肋t sw a sd e s i g n e do nl a n a n dw a nf o r t e s t i n gs t r e a m i n gm e d i am o n i t o r i n gs y s t e mb a s e do nr e a lp l a t f o r m ，t e s ts h o wt h a t t h e s y s t e mc a n h a v eb e t t e ran e t w o r kb a n d w i d t hu s a g eu n d e r v a r i o u sn e t w o r k , s t r e a m i n gm e d i a c a nb e p l a y e d w i t h o u t d e l a ya n dj i t t e r k e yw o r d s ：s t r e a m i n g m e d i a , r e a l - t i m et r a n s m i s s i o n , v i d e oc a p t u r e ， q u a l i t yo fs e r v i c e ( q o s ) h 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：移火才 e tj m ：御牛年f 月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于， 不保密囱。 ( 请在以上方框内打“”) 学位论文作者签名缸托j 日期：俨中年( 月3 日 华中科技大学硕士学位论文 1 1 课题的来源及目的 1 绪论 本课题来源于与新加坡合作的基于r e a l 平台的流媒体监控系统项目的研发过程。 图像监控一直是人们关注的应用技术热点之一，它以直观、方便、信息内容丰富 等特点被广泛应用于许多场合。图像监控系统的技术水平，直接反映了不同阶段电子 与通信技术的现状。目前，监控方式主要分为三类： ( 1 ) 模拟图像监控它被广泛应用于保安、生产管理等场合。图像监控系统一般 采用模拟方式传输，采用视频电缆，传输距离不能太远，主要应用于小范围内的监控， 监控图像一般只能在控制中心查看。 ( 2 ) 基于p c 的多媒体监控数字视频压缩编码技术的日益成熟，微机的普及化， 为基于p c 的多媒体监控创造了条件。在远端监控现场，有若干个摄像机，各种检测、 报警探头与数据设备，通过各自的传输线路，汇接到多媒体监控终端p c 七，通过通 信网络，将这些信息传到一个或多个监控中心。基于p c 的多媒体监控系统功能较强， 怛稳定性不够好；功耗高，费用高，结构复杂，需要有人值守，同时，其软件开放性 也不太理想，传输距离明显受限。 ( 3 ) 基于w e b 的流媒体监控系统主要原理是摄像机传送来的视频信号数字化后 由高效压缩芯片压缩，通过网络实时传送到r e a l 服务器，任意地方的网络上用户可以 直接用浏览器通过w e b 服务器请求，从r e a l 服务器上浏览摄像机图像，授权用户还 可以控制摄像机云台镜头的动作或对系统配置进行操作。 从以上三种监控方式来看，第三种无疑是未来视频监控设备新的发展方向。随着 宽带网的普及，网络视频监控必将成为监控领域新的发展方向，而且也会使得昂贵的 数字监控设备逐步走向大众化。而基于r e a l 平台的流媒体监控系统就属于第三代监控 系统，其不仅涉及到多媒体压缩技术，而且涉及到计算机网络技术，另外也与大规模 集成电路业紧密相关。在流媒体监控系统中，前端如何实时捕获视频、音频数据并进 行高效率高质量的压缩就是非常关键的一部分，而相关的视频捕获卡是一种可以直接 将模拟信号转换成p c 可使用的数字信号的设备，它将捕获到的图像和声音数据压缩 后通过网络传输出去或者存储到存在于本地p c 机器上或者指定的w e b 服务器上。从 而流媒体监控系统的用户经过身份认证后，可以从网络延伸得到的任何地方通包括浏 华中科技大学硕士学位论文 览器的客户端来获取该摄像头的数字信号。 基于r e a l 平台的流媒体监控系统相关的多通道的视频捕获卡相对于传统的视频 捕获卡有如下的一些优点：每块捕获卡支持4 个通道的视频数据采集，采用先进的音、 视频流压缩算法，压缩比高，本捕获卡软件提供了非常完备的功能，不仅可以本地浏 览监控信息，而且每台p c 机可以并行插入4 块捕获卡，从而一台p c 可以监控1 6 个 摄像头，另外提供了网络通信、云台控制等子系统，能根据用户的具体需求做出相应 的调整和控制。作为整个监控系统中的一部分，用户使用客户端软件或者用浏览器， 可以将p c 作为服务器观看“流媒体”( s t r e a m i n gm e d i a ) 方式【l 】的音、视频，这比传统 的下载一播放的访问方式更方便；可以将实时的多媒体流保存到多媒体存储系统中，利 用p c 构成的多媒体集群服务器f 2 ，3 1 和网络存储系统( n e t w o r k e ds t o r a g es y s t e m ) 4 1 中， 可以存储长时问的数据，而且方便检索。另外采用了视频捕获卡的p c 机可以直接联 入i n t e r n e t ，再配合一定的服务软件，就可以实现基于i n t e r n e t 的视频电话系统忙1 或者 视频会议系统【6 1 等。 在流媒体监控系统中，对于流媒体的传输，尤其是具有交互性质的流媒体传输， 需要传送是流流媒体信号。流媒体是指需要在发送端和接收端之间以独立于网络负载 的给定速率传输的流媒体”1 。流媒体具有隐含的时间维，流媒体应用在发送端和接收 端之间引入了强制的时间关联，即发送端传输数据的速率必须与接收端回放的速率匹 配。流媒体一般具有以下特点： ( 1 ) 实时性。实时性意味着流媒体传输中存在一个给定的时延上限，即一条消 息必须在特定的时限内收到。实时性可粗略地分为硬实时和软实时两类。硬实时是指 超过时限将会导致灾难性后果或导致应用程序终止的实时性。软实时则可以容忍某些 延迟或丢失的包，当然这会导致多媒体应用的服务质量下降，甚至完全破坏多媒体数 据所表达的意义。 ( 2 ) 等时性。等时性是指流媒体传输过程中必须保证一定的数码率和很小的时 延抖动，网络连接的等时性实际上反映了数码率和时延抖动两个服务质量特征，它对 流媒体传输的服务质量很重要。 ( 3 ) 数据量大。多媒体数据即使压缩后数据量也相当可观，因此要求网络和存 储系统提供高吞吐量，否则媒体信息的完整性就会受到影响，服务质量也得不到保证。 ( 4 ) 容忍一定的误码率。误码包括数据改变、数据丢失、数据重复和数据失序， 流媒体应用可以容忍一定的误码率，但过高的误码率将严重影响服务质量。 华中科技大学硕士学位论文 因而在流媒体监控系统中要求媒体流必须能够通过i p 网络实时的传输和播放， 这类应用对传输的服务质量，其中包括时延、误码率、抖动( j i t t e r ) 和吞吐率( t h r o u g h p u t l 等提出了新的要求【l 。坨】。而且，不同类型的媒体流对服务质量也有不同的要求。由于 t c p ( t r a n s p o r t c o n t r o lp r o t o c 0 1 ) i p ( i n t e m e t p r o t o c 0 1 ) 网络模型结构并没有提供保证流 媒体端到端服务质量的有效机制，在考虑基于u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 得流媒体 实时传输中需要考虑拥塞控制”。7 1 以及相关的流媒体服务质量保证【1 8 , 1 9 。因此，流媒 体实时应用的服务质量控制也是研究的主要内容之，所以我们需要在流媒体监控系 统中考虑这些相关的。 1 2 国内外同类产品的研究 国内外有很多科研机构和企业都在研究基于流媒体的监控的技术，特别是基于流 媒体的监控系统已经有一些相对较为成熟的产品。英国、美国、以色列、以及些国 家都有许多相关的产品问世，如英国的贝克尔( b a x a l l ) 、日本的三立( s a n t a c h ) 、 美闰的蒂佳( d i s c o o v e r ) 等公司都有相关产品问世。对于这类产品，大多数都是配 备高性能一体化主板为核心部件的工控机作为主控设备。一体化的主板集成了强劲的 图像压缩处理芯片，视频采集芯片，网络通信芯片等等，该工控机主要负责莳台数据 的采集与传输，不方便扩充监控点，而且成本较高。而国内很多公司研发出的相关产 品，例如北京的天目系列、上海交大达通系列、深圳的亚讯系列在总体来说实现技术 和国外一致。 目前i n t e r n e t i n t r a n e t 上使用较多的流媒体技术主要有r e a l n e t w o r k s 公司的r e a l s y s t e m ，m i c r o s o f t 公司的w i n d o w s m e d i a t e c h n o l o g y 和a p p l e 公司的q u i c k t i m e ，它 们是流媒体传输系统的主流技术。 r e a ls y s t e m 出媒体内容制作工具r e a lp r o d u c e r 、服务器端r e a ls e r v e r 、客户端软 件( c l i e n t s o f t w a r e 、三部分组成，其流媒体文件包括r e a l a u d i o ，r e a l v i d e o ， r e a l p r e s e n t a t i o n 和r e a l f l a s h 四类文件，分别用于传送不同的文件。r e a ls y s t e m 采用 s u r e s t r e a m 技术，自动地并持续地调整数据流的流量以适应实际应用中的各种不同网 络带宽需求，轻松实现视音频和三维动画的回放。r e a l 流式文件采用r e a lp r o d u c e r 软件进行制作，首先把源文件或实时输入变为流式文件，再把流式文件传输到服务器 上供用户点播。由于r e a ls y s t e m 的技术成熟、性能稳定，美国在线( a o l ) ，a b c ， a t & t ，s o n y 等公司和网上主要电台都使用r e a ls y s t e m 向世界各地传送实时影音媒 体信息以及实时的音乐广播。 华中科技大学硕士学位论文 w i n d o w sm e s a t e c h n o l o g y 是m i c r o s o f t 提出的信息流式播放方案，旨在i n t e m e t 和i n t r a n e t 上实现包括音频、视频信息在内的多媒体流信息的传输。其核心是 a s f ( a d v a n c e d s t r e a m f o r m a t ) 文件，a s f 是一种包含音频、视频、图像以及控制命令、 脚本等多媒体信息的数据格式，通过分成一个个的网络数据包在i n t e m e t 上传输，实 现流式多媒体内容发布，因此，我们把在网络上传输的内容就称为a s fs t r e a m 。a s f 支持任意的压缩解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大 的灵活性。w i n d o w sm e d i at e c h n o l o g y 由m e d i at o o l s ，m e d i as e r v e r 和m e d i ap l a y e r ：】具构成。m e d i a t o o l s 是整个方案的重要组成部分，它提供了一系列的工具帮助用户 生成a s f 格式的多媒体流( 包括实时生成的多媒体流) ：m e d i as e r v e r 可以保证文件的 保密性，不被下载，并使每个使用者都能以最佳的影片品质浏览网页，同时具有多种 文件发布形式和监控管理功能；m e d mp l a y e r 则提供强大的流信息的播放功能。 在国内，流媒体技术在国外成熟技术的基础上逐步扩大应用，诸如网上现场直播、 网上教育系统、网上手术数字化直播系统等，他们的体系结构是类似的。 1 3 基于r e a l 平台的流媒体监控系统中相关技术研究 流媒体( s t r e a m i n gm e d i a ) 是一种新兴的网络传输技术，在互联网上实时顺序地传 输和播放视音频等多媒体内容的连续时基数据流，流媒体技术包括流媒体数据采集、 视音频编解码、存储、传输、播放等领域。 而流媒体监控系统涉及到很多技术，在本文中我们着重讨论流媒体传输的和视频 捕获的相关技术。 视频捕获卡的硬件设计是基于p c i 总线体系结构的p c i 卡。基于p c i 总线体系结 构l 2 0 3p c i 卡能提供高速的数据处理能力，而且基于p c i 总线的软、硬件技术已经相 当成熟，能够为研究与实现提供更稳定的工作平台和最方便的开发环境。流媒体实时 传输也是本系统中非常重要的技术。在本文中，对流媒体的实时传输进行了研究，其 次对于视频捕获卡的设计，详细讨论了w i n d o w s 下的驱动技术和预览，相关l i n u x f 的视频捕获卡驱动实现见文献【2 l 】。 1 3 1 流媒体实时传输技术 t c p i p 参考模型口2 33 在传输层支持的两种通信协议t c p 和u d p 。其中t c p 提供 面向连接的传输服务，u d p 提供无连接的传输服务a t c p 采用滑动窗口的流控机制，数据流随着流控窗口动态的启动和关闭，难以满 4 华中科技大学硕士学位论文 足流媒体实时和等时传输的要求。t c p 协议的超时重传机制支持端到端完全可靠的数 据通信，但由于其占用了额外的网络带宽和带来了额外的传输时延，同样不适于传输 流媒体。 u d p 是一个不可靠的无连接的协议，只提供尽全力型的数据报服务，被广泛用于 一次交换少量报文的、客户机服务器模式的请求一应答查询应用，以及快速递交比准 确递交更为重要的实时应用，如传输音频和视频流。但u d p 没有t c p 的排序差错控 制和流量控制能力，必须由应用程序自己完成这些功能。 另外伴随着多媒体技术的飞速发展，已逐步由单一的i n t e m e t 数据传输向数据、语 音、图像等多媒体信息的综合传输网演化。当前i n t e m e t 上传输的数据不再是单一的 t c p 数据流，基于u d p 协议的实时多媒体数据逐渐增多，例如i p 电话、视频会议等。 如何在保证实时性和可靠性基础上，使得i n t e m e t 上基于u d p 的应用与基于t c p 的应用 共享有限的带宽，即为不同的应用提供服务质量是当前研究的一个热点。 t c p 和u d p 分别有不同的应用目的。t c p 是一种可靠的端端传输协议，对其拥塞 控制已经有相当多的研究，目前广泛使用的慢速启动、拥塞避免、快速重传以及快速 ，陕复和基于f i f o ( f i r s t i n f i r s t o u t ) 的简单的队列机制一起使i n t e r n e t 能健康地运行。但 u d p 本身不能提供任何拥塞控制，在u d p 之上传输实时数据流必须采用一种t c p 流友 好的拥塞控制机制，否则不加控制的u d p 流量将不公平地获得大量带宽，而t c p 流将 由于其拥塞机制而饥饿，最终有可能导致拥塞崩溃。 由此可见，t c p i p 参考模型中的传统传输协议t c p u d p 难以满足流媒体实时应用 的要求。为此，因特网工程任务组i e t f ( i n t e m e t e n g i n e e r i n g t a s k f o r c e ) 制定了一系列 面向实时应用的协议，在兼容现有网络基本体系结构的基础上来增强网络对音频、视 频和交互式多媒体会议等流媒体应用的支持。这些协议包括实时传输协议 r t p 2 4 ，2 5 1 ( r e a l - t i m et r a n s p o r tp r o t o c o n 及其框架控制协议【2 6 1 2 7 1 ，资源预留协议r s v p 【2 8 0 9 f r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) ，实时流化协议r t s p 3 0 , 3 1 1 ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 等。 1 3 2 w d m ( w i n d o w s d r i v e rm o d e l ) 处理技术 为了支持新的业务和新的p c 外部设备类型对驱动程序开发，微软推出了用于 w i n d o w s 2 0 0 0 和w i n d o w s n t 的统一的w d m 3 2 , 3 3 1 驱动程序模型。其中专门为多媒体 设备设计的内核流驱动模型是w d m 驱动模型的重要组成部分。 w d m 的关键目标是通过提供一种灵活的方式来简化驱动程序的开发，使在实现 华中科技大学硕士学位论文 对新硬件支持的基础上减少并降低所必须开发的驱动程序的数量和复杂性，是实现对 新型设备方便使用的关键组件。 w d m 改进了对即插即用、设备电源管理、和快速反应i , l o 流的支持。除了通用 的平台服务和扩展外，w d m 还实现了一个模块化的、分层次类型的微型驱动程序结 构。类驱动程序实现了支持通用总线、协议、或设备类所需的功能性接口。类驱动程 序的一般特性是为逻辑设备的命令设置、协议、和代码重用所需的总线接口实现标准 化提供必要的条件。w d m 对标准类接口的支持减少了w i n d o w s9 5 和w i n d o w sn t 所 需的设备驱动程序的数量和复杂性。 l - 3 3d i r e c t x 处理技术 d i r e c t x 3 4 , 3 5 1 是m i c r o s o f t 极力推荐的一种多媒体预览技术。d i r e c t x 多媒体软件包 以c o m ( t h ec o m p o n e n to b j e c tm o d e ) 接口形式为w i n d o w s 平台提供了强大的多媒体 功能，广泛应用于游戏娱乐软件和多媒体软件的开发。m i c r o s o f t 开发d i r e c t x 的目的 在于，它能使应用程序( 特别是游戏) 在m i c r o s o f tw i n d o w s 下的性能可以达到甚至超过 在m s d o s 下的性能，并且为之提供一个强壮、标准化以及文档化的编程环境。d i r e c t x 的首要目标即是将m s d o s 下的许多特性移植到w i n d o w s 平台上来，在提高应用程 序的性能同时，清除个人电脑不断更新的硬件给程序设计带来的障碍。另外，通过提 供应用程序和硬件之间一致的接口，d i r e c t x 能够w i n d o w s 应用程序能对现有及未来 的硬件系统进行高性能的、实时的访问，发挥了硬件的最大潜能，也使应用程序安装 和设置的复杂度大大降低。使用d i r e c t x 提供的编程接口，软件开发人员能充分的利 用硬件特性，却不用操心硬件的具体实现。 d i r e c t s h o w 实际上是d i r e e t x 技术中的一个子类，采用d i r e c t s h o w 设计多媒体应 用程序就可以解决上述的问题。d i r e c t s h o w 的主要目的是在w i n d o w s 平台上将应用程 序与复杂的数据传输、硬件设备的差异以及同步等问题隔离开，软件开发者只需统一 按照d i r e c t s h o w 的c o m 接口来编写应用程序，而不用关心诸如具体使用了哪种硬件 设备及配置等问题，从而大大减轻了开发者的负担。d i r e c t s h o w 通过d i r e c t d r a w 和 d i r e c t s o u n d 将多媒体流进行解码并快速地传送到系统的声卡、视频卡中进行播放。 1 4 本文将要完成的研究工作 本文将以流媒体的相关理论为基础，主要研究基于r e a l 平台流媒体监控系统的设 计工作。其中，主要研究视频捕获卡的设计与实现，并结合实时通信技术的相关理论， 6 华中科技大学硕士学位论文 讨论了在流媒体监控系统中实时传输的问题。本文主要研究工作如下： ( 1 ) 基于r e a l 平台流媒体监控系统的总体功能，通过对传统监控系统的分析比 较，讨论基于r e a l 平台流媒体监控系统的先进性。 ( 2 ) 研究流媒体实时传输技术，就网络的实时传输协议，探讨在实时传输中基 于t c p i p 流媒体服务质量的实时传输技术，以及为了保证带宽的充分利用，研究并 设计了基于带宽充分利用的t c p 友好拥塞控制策略。 ( 3 ) 研究流媒体的压缩技术，对m e p g ( m o v i n g p i c t u r e e x p e r t s g r o u p ) 系列m e p g 一1 、 m p e g 一2 、m p e g 一4 压缩算法进行分析，讨论基于m p e g 一4 视频捕获卡的设计：通过 w d m 和d i r e c t x 技术的研究，设计并实现视频捕获卡项目中视频捕获卡中的驱动模 块以及视频捕获卡预览功能模块。 ( 4 ) 最后基于流媒体监控系统，进行了传输和监控的测试，对系统的实现作一 个评价。 7 华中科技大学硕士学位论文 2 基于r e a l 平台的流媒体监控系统总体设计 本章首先介绍了基于r e a l 平台的流媒体监控系统的组成，阐述了各个部分的功 能，接着分别对流媒体的实时系统和视频捕获的设计作了一个详细的说明。 2 1 基于r e a l 平台的流媒体监控系统总体结构 基于r e a l 平台的流媒体监控系统主要分为捕获、w e b 服务器、存储服务器、r e a l 服务器、客户端几个部分，其系统组成如图2 ，l 。该系统基于视频捕获卡实时声音图 像采集编码，通过i p 网发送到中心管理平台，进行流媒体实时中心发布、中心存储、 w e b 检索、数字矩阵、计费、身份认证等，支持x d s l ( xd i g i t a ls u b s c r i b e rl o o p ) 方式、 h l t e m e t 、局域网、无线等上传下载，用户可通过标准w e b 浏览器观看和收听实时的 图像和声音，音视频同步传输，异地传输延时小。可应用于安全监控系统、视频会议、 远程同步教学和v o d ( v i d e o o n d e m a n d ) 等领域。 圈2 1 基于r e a l 平台的流媒体监控系统总体结构图 基于r e a l 平台地流媒体监控系统采用b r o w e r s e r v e r 结构模式，系统的总体设计 8 华中科技大学硕士学位论文 思想是在每个监控区域配置一台或多台装有视频捕获卡的监控p c ，安装监控p c 的数 量可由监控点的个数来决定，因为每台p c 最多可以插上4 块视频捕获卡，而每块捕 获卡支持四路的复合视频信号，因而相对于每一个监控区域可以根据监控点的数量来 配置监控p c 前端。在监控点捕获到音频、视频数据，经捕获卡压缩后，捕获卡软件 就将压缩后的m p e g 一4 数据经过打包发送r e a l 服务器，r e a l 服务器则负责将数据将 数据转存到n a s ( n e t w o r k a t a c h e ds t o r a g e ) j 艮务器存储，同时传输给客户端浏览。 系统主要分为实时视频捕获、视频服务器、视频检索、远程客户端等几个部分。 对于流媒体监控系统，其中涉及最重要的部分是流媒体的传输部分和实时视频捕获部 分。流媒体的传输贯穿于整个系统应用中，而实时的视频捕获部分，为监控提供了监 控的素材，同时在捕获过程中，采用高压缩比，高质量的压缩技术也为传输提供了强 大的支持。下面两小节我们就具体讨论流媒体传输和视频捕获中压缩的技术。 2 2 基于r e a l 平台的流媒体的实时传输 流媒体在网络上的实时传输对带宽、延时、包丢失率都有严格的要求，在不严重 影响视频质量的前提下允许有少量数据差错。常用的网络数据传输途径由两种：面向 连接的可靠传输和面向无连接的不可靠传输。面向连接可靠的t c p 传输协议，它采用 基于滑动窗口的确认技术来提供可靠的数据传输服务，它缺点是重传的延时较长、传 输速率不稳定等，因此难以适用于视频实时传输。所以视频数据传输一般采用无连接 的u d p ，但由于u d p 没有确认机制，数据包可能会出现丢失、重复、失序等现象， 这不利于流媒体的传输，而且也无法保证服务质量。 正由于t c p 和u d p 不能保证对流媒体实时传输的要求，在本系统中，为确保流 媒体的传输质量，我们提出了一个流媒体传输模型，在传统的t c p , i p 模型中，我们 增加了一个流媒体控制层来确保传输的质量。 为了避免流媒体在传输中避免网络传输中的拥塞，在研究大量t c p 友好拥塞速 率控制算法的基础上，我们改进了这一算法，并实现到流媒体的传输子系统中。 在整个流媒体监控系统中，用户具体访问模式如图2 2 。系统中流媒体的具体传 输流程如下： ( 1 ) 客户端通过w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息， 以便把需要传输的实时数据从视频服务器中检索出来。 ( 2 ) 用h t t p 从w e b 服务器检索相关数据，客户端播放器进行初始化。 9 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = = = ；= = = = ；= = = = = = ；= 一= = ： ( 3 ) 从w 曲服务器检索出来的相关视频服务器的流媒体数据传送给客户端浏览 位视频服务器。 ( 4 ) 客户端播放器与视频服务器之间交换流媒体传输所需要的实时控制协议。 ( 5 ) 一旦流媒体数据抵达客户端，播放器就可以播放了。 ( 6 ) 视频捕获卡一直不停的将捕获到的数据压缩后发送到视频服务器。 豳2 2 基于r e a l 平台的流媒体监控系统访问模式图 2 3 基于r e a l 平台的流媒体监控系统视频捕获 在流媒体监控系统中，视频捕获卡作为前端数据捕获部分，在整个系统中是非常 关键的部分。 一般的视频捕获卡也称为视频信号获取器，其工作原理概述如下：视频信号源、 摄像机、录像机或激光视盘的信号首先经过a d d 变换，送到多制式数字解码器进行解 码得到y 、u 、v 数据，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存 储器。帧存储器的内容在窗口控制器的控制下，与v g a 同步信号或视频编码器的巨 同步信号同步，再送到d a 变换器模拟彩色空间变换矩阵，同时送到数字式视频编辑 器进行编码，最后送到v g a 监视器。 视频捕获卡是一种可以直接将模拟信号转换成p c 可使用的数字信号的设备，它 将捕获到的图像和声音数据压缩后通过网络传输出去或者存储到存在于本地p c 机器 1 1 二或者指定的服务器上。对于流媒体监控系统的用户经过身份认证后，可以从网络延 伸得到的任何地方通过客户端软件或者浏览器来获取该摄像头的数字信号。 华中科技大学硕士学位论文 基于r e a l 平台的流媒体监控系统相关的多通道的视频捕获卡相对于传统的视频 捕获卡有如下的一些优点：每块卡支持四个通道的视频数据采集，采用先进的音、视 频流压缩算法m p e g 4 算法，本捕获卡软件提供了非常完备的功能，不仅可以本地浏 览监控信息，而且每台p c 机可以并行插入4 块捕获卡，从而一台p c 可以监控1 6 个 摄像头，另外提供了网络通信、云台控制等子系统，能根据用户的具体需求做出相应 的调整和控制。 2 4 本章小结 在基于r e a l 平台的流媒体监控系统中，视频捕获和传输是系统最基本的因素，视 频捕获提供了流媒体监控的内同，而流媒体实时传输则是有效监控的保障。本章简要 的介绍了流媒体监控系统的总体结构，然后阐述了在流媒体监控系统中最关键的实时 传输和视频捕获两个部分。 华中科技大学硕士学位论文 3 流媒体实时传输中服务保证的研究与实现 本章首先介绍了目前流媒体实时传输的基本原理，以及t c p i p 网络传输流媒体 的缺陷，然后依据流媒体的特点，在流媒体监控系统中，为了保证传输的服务质量， 在流媒体实时传输系统中增加媒体控制层来保证实时传输的质量，并且为了在传输中 最大利用网络带宽，研究了基于带宽充分利用的t c p 友好拥塞控制算法，并在系统 中设计并实现了该算法。 3 1 流媒体实时传输的特点 多媒体网络应用相对于传统的网络应用有着明显的区别：传统的网络应用传输的 数据一般为文本、文件、图形和图像，对带宽的需求是突发的而且变化较大，而对传 输延迟的变化没有过多的要求，网络协议的设计也是重点考虑网络的可靠性。相反在 多媒体应用中，尤其是具有交互性质的多媒体应用，需要传输的音频和视频信息具有 连续性、实时性，对网络的可靠性要求不是很严格，允许有一定的错误，它的特点可 以从以下几个方面来概括： ( 1 ) 大吞吐量。由于对流媒体信息进行编码，被交换的数据流量非常大，尤其 是多路视频流，即使经过压缩，信息量仍然很大。 ( 2 ) 多样性。能收发和传输具有多种形式的多媒体信息。 ( 3 ) 分布性。大多数多媒体是面向对象的，其源和宿在地理上分散和分布。 ( 4 ) 实时性。要求流媒体流( 音频和视频) 实时传送。 ( 5 ) 可靠性。要求多媒体信息在传输时具有高可靠性，差错率小。 在多媒体应用中考察网络状况的主要有以下几个参数： ( 1 ) 吞吐量。 吞吐量又可以叫做网络带宽。两个通信系统间的吞吐量就是每单位时间能接收和 发送的二进制信息的数量，常用比特来表示。 ( 2 ) 传输延迟 传输延迟是多媒体信息网络传输最关键的参数。它是指有发送端发送数据的第一 位到接收端收到数据位之间的时间。不同的网络传输延迟不一样，特别是基于包转换 器或路由器的存储一转发的分组交换网络，它们可能会由于长时间联接而导致大量传 华中科技大学硕士学位论文 输延迟。 ( 3 ) 延迟变化 网络的延迟变化是在一段时间内最长和最短传输延迟之间的差值。往往人们用统 计方法来度，又称之为网络传输延迟“方差”。 ( 4 ) 等时性 等时性是实时传送多媒体的网络特征。等时是指每个分组具有恒定的传输延时， 当源以某速率发送实时音频和运动视频连续媒体流时，网络能以同一速率接收其媒体 流，这就是等时性。如果保证建立在连接线路上的比特率以及网络延迟抖动值较小， 那么端到端的连接可以认为是等时的。等时性实际是传输延时、延时变化两个基本特 征的综合。 ( 5 ) 差错率 差错率是指网络在发送数据过程中数据改动、丢失、复制或失序的度量，是网络 错误恢复能力的度量。 由此可见网络必须要有与其实际错误相匹配的错误处理过程，这样才能构造最有 效的多媒体网络，满足在多媒体应用中对网络性能参数网络带宽、传输延迟、延迟变 化和差错率的要求。 3 2 流媒体传输技术 一般来说，网络上的主机通信有三种类型：单播( u n i c a s t ) ，多播( m u l l i c a s t ) 年o 广播 ( b r o a d c a s t ) 。 在传统的以太网上，每一个计算机有一个以太网卡。当计算机要发送数据时，计 算机将数据交给网卡，网卡再将数据传到网络上。同时，网卡还接收其他计算机发来 的数据，接收发往本网卡地址的任何数据。当接收到发给自己的数据时，就将其进行 翻译并提交给操作系统进行处理，这就是单播，或称主机对主机的通信。这种通信方 式的问题是，如果一个计算机与多个计算机通信，它必须一次一次地进行，每一次只 能与一个地址通信。这样效率就很低，会占用很多带宽，特别是对于音频、视频等要 求高带宽的数据。 以太网还允许使用一个叫做“广播”的特殊地址进行广播。当数据包冠以该地址 时，每一个网卡都接收数据包。翻译数据并提交操作系统