（通信与信息系统专业论文）h323协议栈中视频编码的应用与研究.pdf

华中科技大学硕士学位论文 摘要 隧着诗算钒瞬袭波本帮数据遥错技术鹣飞速茇袋，在分组麓络上进行媒体数瓣 邋信成失一辨戆势。h ，3 2 3 协议是一个纛分缝网终上i 蓑行媒体遴信懿按议轹凇，描 述了包括终端、阏守、网关：j 聚多点控制器等在内黪功熬节点，戳及懿括睁霹按续、 通道管理、媒体压缭传竣等在虑戆逶攘规程。本文是在参与瀑趱“蒸予h 3 2 3 终漆 协议栈软件”中的视频编码传输模块的硪究设计和开发的基础上宠成的。 本文首先介绍 鼍，3 2 3 系统结掬与协议棱，并给如h 3 2 3 终端蜘议栈软件总体设 计方案，以及各模块的主器功能。 视频编码模块是协议栈软件的重要组成部分。本文将介绍视频编码在h 3 2 3 协 议筏获件中的敷角及相应的设计婺点。视频编码器作为一个实体，邋过不间的控制 块寝瓣不黼的编码遥道，遴道潜意传遂辊制与其德实体遂行邋信协作。并讨论h 。2 6 3 视频编硒中豹两个关键_ ；妻翟：离散余弦交换和顿闯编鹬。离散余弦燹换的实现采阁 子烈变换算法，游二维逡箨转换成为维运算。对足释鬻爰翡基予袋匏运动估计舞 法涟牙魄较。讨论h + 2 6 3 秘议孛静碧耱可选模式：陵铡运动矢爨模式、离缀颈溅 摸式、p b 蝼模式帮蒸予诿法麴箕零缡砖，并穷绥 l 蓼三秘模式在系绞皆镬掰拷凝。 速率控制怒视频编码中的重要技术。本文详细介缓和讨论基于d c t 变换的襁凝 编码的几i 申速率控毒4 算法。势详细分援t m n 8 速率控制舞法，该舞法主要譬 对中低 速率场合。根据大量的实验数据分析，t m n 8 速率控青4 算法在高速攀场合，以及宏 块方差波动较大的场合下有定局限性。最后，提出一种以块组层速率控制代替豢 块攮速率控制的方案，道过爨少酌运算量获得较好的速率控制效果。通过实验验诬 该方案的可行毪稻有羧毪。 关键字：h ，3 2 3 h 2 6 3 稷凝缡麓速率控稍 华中科技大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h et e c h n o l o 委e so fc o m p m e rn e t w o r k sa n dd i g i t a l c o m m u n i c a t i o n s ，m u l t i m e d i ac o m m u n i c a t i o n so v e rp a c k e t - b a s e dn e t w o r k s i s b e c o m i n g m o r ea n dm o l e p o p u l a r h ，3 2 3i sap r o t o c o lt h a ti l l u s t r a t e sm u l t i m e d i ac o m m u n i c a t i o n s o n n e t w o r k st h a tp r o v i d ean o n g u a r a n t e e dq u a l i t yo fs e r v i c e t h ed e f i n i t i o n so ff u n c t i o n a l n o d e si nh 。3 2 3 - b a s e ds y s t e m , s u c ha s t e r m i n a l ，g a t e k e e p e r , g a t e w a y , a n dm u l t i - p o i n t c o n t r o l l e ra r ei n c l u d e di nh 3 2 3p r o t o c o l ，a n dt h ec a l lp r o c e s s ，l o g i e a lc h a n n e l m a n a g e m e n t ， a n dm e d i a c o d i n g a r ea l s oi l l u s t r a t e d t i l i sp a p e ri sb a s e do nt h e d e s i g n a n d i m p l e m e n t a t i o n o f t h e v i d e o c o d i n gm o d u l ei na nh 3 2 3 一b a s e dv i d e oc o m m u n i c a t i o ns y s t e m f i r s t , t h e 强a m e w o 暾a n dp r o t o c o ls t a c ko fh 3 2 3 b a s e ds y s t e ma r ei n t r o d u c e d a n d t h e nab r i e f d e s c r i p t i o no f o n rs y s t e mi sg i v e n ，i n c l u d i n gs o m ef u n c t i o n a lm o d u l e sa n dt h e g e n e r a ld e s i g n s c h e m e v i d e oc o d e ri so n eo ft h em o s ti m p o r t a n tm o d u l e si nt h es y s t e m s o m ei m p o r t a n t f e a t u r e so ft h ev i d e oc o d e ri no u rs y s t e ma r eg i v e n a sa ni n d e p e n d e n t e n t i t y , v i d e oc o d e r u s e sd i f f e r e n tc o n t r o lb l o c k sf o rd i f f e r e n tc o d i n gc h a n n e l s ，a n dc o m m u n i c a t e sw i t ho t h e r e n t i t i e st h r o u g ha m e s s a g ed e l i v e r y m e c h a n i s m t w ok e yp r o c e s s e si nv i d e oc o d i n ga r e i n t r o d u c e d ，w h i c ha r et r a n s f o r ma n di n t e rp r e d i c t i o n ar o w - c o l u m nm e t h o di sa d o p t e di n o a rs y s t e mt oa c c o m p l i s hd i s e r e t ec o s i n et r a n s f o r m ，w h i c hi st h et r a i l s f o r ma l g o r i t h mi n h + 2 6 3p r o t o c 0 1 s e v e r a lb l o c k b a s e df a s ts e a r c ha l g o r i t h m sa t ei n t r o d u c e da n d c o m p a r e d w i t he a c ho t h e rb ys i m p l ee x p e r i m e n t s f o u ro p t i o n a lm o d e si nh 2 6 3a r em e n t i o n e d w h i c ha r el i s t e di na l m e xd ，e ，fa n dg o fh 2 6 3p r o t o c 0 1 t h e s eo p t i o n a lm o d e sa r e i m p l e m e n t e d i no u r s y s t e me x c e p ts y n t a x b a s e d a r i t h m e t i c c o d i n gm o d e ，a n dt h e p e r f o r m a n c e so f t h e s eo p t i o n a lm o d e sa r ed e s c r i b e d ， r a t ec o n t r o lm e t h o di sa ni m p o r t a n ta s p e c to fv i d e oc o d i n g s e v e r a l p o p u l a rr a t e - c o n t r o l a l g o f i t h m si nd c t - b a s e d v i d e o c o d i n g 8 l es t u d i e d , e s p e c i a l l yt h eo n e a d o p t e d i nt m n 8 。戳氇 t h eo b s e r v a t i o na n dt h e a n a l y s i so f e x p e r i m e n t a lr e s u l t s ，i ti sf o u n dt h a ti ns c e n a r i o so f h i g h r a t e o rs h a r pf l u c t u a t i o no fm a c r o b l o c k sv a r i a n c e , t h ec o n t r o la l g o r i t h mi nt m n 8 i sn o te f f i c i e n t e n o u g h f i n a l l y , an e ws c h e m ei sp r o p o s e di nw h i c hag o b l a y e rc o n t r o lm e a s u r ei st a k e n ， i n s t e a do f m b - l a y e rc o n t r 0 1 as i m i l a r p e r f o r m a n c e t ot m n 8r a t e - c o n t r o ls c h e m ei sa t t a i n e d b v u s i n go u rs c h e m e ，w i t hl e s sc o m p u t a t i o n a lc o m p l e x i t yc o m p a r e dw i t ht h eo n ei nt m n 8 e x p e r i m e n t sp r o v e t h a to u rs c h e m ei sa p p l i c a b l e k e y w o r d s ：h 。3 2 3 艇。2 6 3v i d e o c o d i n g r a t ec o n t r o l 珏 独创性声明 本人声明所呈交的学位论文怒我个人在导师指导下进行的研究工作及取得的 臻究残栗。尽我瘊麓，除文中已经标弱萼l 建戆内容矮，本谂文不氇含任鹰英镳令 人戏集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：懒 日期：卫口0 千年斗月卫6 日 学位论文版权使用授权书 本学位论文作者究全了解学校有关保留、使用学位论文的规定，即：学校有 数捉塑著自国家毒关部 l 或糖搀邀交论文戆复霉传耧电子敝，允许论文棱蠢灏秘 借阅。本人授权华中科技大学可以将本攀位论文的全部或部分内察编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密疆， 在年簿密磊适粥本授裰书。 本论文属于 不保寝碌。 ( 请在以上方框内打“”) 学位论文作者签名：撕 e j 期：2 0 0 耳年斗周卫占因 指导教师签名：勘童参 日期：，( 哗弘月移日 华中科技大学硕士学位论文 1 绪论 l 。l 孳| 言 随潜通僚擅术、计算飘网络及多嫌体按术静飞速发袋，多媒体透信已经成 为一种不可避免的趋势。传统的旗于电路交换的公众电话交换网最初是为传辕 语音设计，基于分组交换的i p 网，则是为传输数据设计的。通过电话网打电 溪，语密屡量憨够褥到可纛僳毯，但英缺点楚费鼷建毫，隧络滚源零j 用率低。 因此，人们考虑利用i n t e m e t 廉价费用和全世界无处不在的特点来传输媒体数 据拜1 。 皂1 9 9 5 年视，以包烈的v o e a l t e c 公霹推出繁一款簇予l p 鼹络的电话终旗以聚， 利用i p 网络进行媒体传输的技术得到了快速发展和应用。基于四网络的媒体传输 琴统按零霹究瘫瘸嚣游主要集中在：缀务覆量( q o s ) 僚涯，网篾及潮络互连，技术标 准的统一，以及提供更多的业务等。 由于对多媒体通信的需求目盏增加，利用分组网络进行视频通信成为一个研究 与应弱敬热点。在分缀网络中进行溪频邋绩懿关键在予嚣方覆；褫频编玛耪褪鬏数 据传输。视频编码技术，主票是利用视频图像数据的特点和人的视徽特性，去除视 频数据中豹信怒冗余帮耱关性，从而达判压缩视频数糖的强豹，在褫频图像数据中 的冗余包括：时间冗余、空间冗余和信息熵冗众等，根据人视觉特性可去除鲍冗 余包括知识冗余和视觉冗余等。第一代视频压缩技术，主要根据褥农信息理论， 对援频数据遴行蛔庭戆无援压缀秘鸯援妪壤，健是嚣臻效率奄辍。第二找视频疆 缩技术【2 】，在第一代压缩技术的基础上，充分考虑了人的主观感受，对知识冗余 帮褫觉冗余进聿亍了瑟缩，逸到了更高的疆缩效率，从而推动了视频通信韵应用。视 频数据传输技术，主要是在传输层之上，对视频数据进抒一定驰封装，提供一定的冗 余信息，以适成不同的网络和环境，提高视频通信的鲁棒性和效率。实际应用中，通 露使雳实薅传竣痨议删冀帮实对传输控翻漤议撂豫p ) 1 4 l 对筏频数据避章亍封装传输和 控制。前者主要负责根据不同的应用场合的特性( p r o f i l e ) ，使用棚应的载荷信息( p a y l o a d t y p e ) ，为视频数据传输和差错恢复提供相应的信息。后者使得会话参与者间可以周期 性地交换控豢4 信息，搬供与艨量相关鲍反馈信息，扶瑟控毒l 会诱质量搴霹逶售、捩态。 华中科技火学硕士学位论文 1 2 视频会议系统及视频压缩相关标准 随着基于分组网络的视频会议系统技术研究和应用，为了使各家厂商开发的系 统能够较好逮互连互逶，援频会议系统熬标准懿裁定秘镬曩褥婺了学术赛裙产数赛 的广泛关注。目前基于分组网络的视频会议系统的标凇主要柯： ( 1 ) 国际电联( i t u - t ) 翎定的应掰于分缀交换嗣的h 3 2 3 协议捧j ，h 3 2 3 制 定了无服务质擐保证的分缌阏络( p b n ) 上的多媒体通信系统标准，这些分组网络 包括基于t c p r p 、i p x 分组交换的以太网、快速以太网、令牌网和f d d i 技术等， 箕痰蜜氛搔了会谈控露l 售令藩分、逻辑逶道营瑷部分、媒侮数据垒理部分，戳及其 他的网络单元，如网关、网守、多点控制单元掣”。 ( 2 ) i n t e m e t 工程任务联合会( i e t f ) 制定的会话初始化协议s i p 协议棒j ，规 定了基于母网络虼会话系绕主要锻括：会落鼹述决议( s d p ) 、会话邋告协议( s a p ) 、 实时流协议( r t s p ) 、简单会议控制协议( s c c p ) 等等。 这黧褪鬏会议系统茨穗关标准，撂龚了广泛懿应l 薅l 。其中，h 3 2 3 蠹予提镶了 设备间、应用间和厂商间的良好的互操作能力和完备的系统规范，得到了很多传统 嗣络运蒋商和设备割造商的大力支持，从而成为目前市场应用的主流。s i p 协议的 特点在予系统的简单陡，易予实璎，并憝比较方便迭扩震支持饕l 阕户设器帮一些 渐级功能。 在撬频会议系笺中透露筏凝缡码，蘧漆傻蕉i i u 羊瀚王 。2 6 1 协议帮h 2 6 3 游议， 出于后糟具有更高的编码效率、更强的扩展性能，因此成为在视频会议系统中进行 税频编码的重点。删t 于1 9 9 6 年3 月椎出了h 2 6 3 协议第一版本q 提出了4 种 蕊级模式；1 9 9 8 年1 月遥遭了第二版本，增加了1 2 个瘫级模式：2 0 0 0 年 l 是讨论 了第三个版本，即h 2 6 3 + 十，新增了3 个高级模式。其中的每一个版本都提供了向 焉兼容髓，摇动了基予h ，2 6 3 懿筏频压缭在视频会议邋信中的应雳1 8 】。 1 3 论文选邃和主要工作 1 3 1 谍嚣譬豢 本课题的圈标是：用软传的方式，实现基于h 3 2 3 协议的终端协议栈软 牛，傻 协议栈软件具有良好的可移植性、兼容性和性能，并根据h 3 2 3 协议中的觌定，县 鸯较完蘩的终旗功毙。 2 华中科技大学硕士学位论文 本人主要负责协议栈软件中的视频编码和解码模块，独立设计并完成基于 h 2 6 3 协议躲视频缄码模块敷解磷模块，并实现了部分扩展功能。零论文裁是在整 个课题研究设计和实现工作的基础上完成的，是对相关设计和实现的总结与分析。 l ，3 2 金文结构 本文主要癌客掺涉及援频编磷技本在h 。3 2 3 终藕耱议棱软终中戆应髑，殴及基 于d c t 变换的视频编码中速率控制技术的应用和研究，后续部分的结构如下： 第2 章謦先介绍基于h 3 2 3 协议的基本概念、协议棱和网络结构；然后介绍 h 。3 2 3 终端协议栈软l 牛的总体方寨、模块划分和相关模块的功能。 第3 章先介绍基于h 2 6 3 协议的视频编码器在协议栈软件中的应用。视频编码 蠡奄关键技术雹摇正交交换、枣麦溜编强帮编码控锻，本牵奔绥饔讨论蔫嚣疆技术在 h 2 6 3 视频编码器中的应用，以及h 2 6 3 第一版附录中提供的可选模式的实现和应 灞；最蠢讨论在h 3 2 3 终端系统中编码器对h 2 4 5 命令的使阁和实现翻，以及h ，2 6 3 视频流的r t p 封装。 第4 章中，首先讨论和研究基于d c t 变换的视频编码中，几种较流行的速率控 铡按零；然轰在t m n 8 瓣速率控铡技术1 1 0 l 基磷上，鬟滋一释精熬翁纯改遴方案：戳 t m n 8 速率控制算法为基础，在某些场合用块缎层的速率控制代替宏块层的速率控 制，目的是敛较小的计算薰获得较好的控制效粜。在理论上阐述新方案的可行髓， 并进行相应测试实验，绘出相应骢实验结果，验证新方案的露行，睦。 第5 章总结全文，列举本文的研究羹点与创新点，指出有待继续研究的工作。 华中科技大学硕士学位论文 2 基于h 。3 2 3 按议终端体系结梅 疆3 2 3 秘谈是鬟范在无疆务缣证瓣络上进行媒蒋邋售豹系统结梅帮邋傣栽稷豹 框架协议。基于h 3 2 3 协议的系统能够在多种分组网络中运行，并通过网关与其他 网络结构中相应终端涟行遴信。 h ，3 2 3 协议中趣定了 董，3 2 3 系绞中麴冬静动髓节点，本牵黄毙燕要分缨h 。3 2 3 系统结构、相关的功能节点和协议栈结构；然厨介绍课题任务：基于h 3 2 3 终端协 议棱软件，包括较 孛憨俸设计方案，获释模块划分，秣及各模块静主要珐能箍逐。 2 1 基于h 3 2 3 协议系统概述 差。3 2 3 稼壤毽摇了在无辍务覆璧绦试静分缀黼绪 糟n ) 中遴行多媒体通信所 需的技术要求，这些p b n 包括局域网、广域网、i n t r a n e t i n t e m e t 以及使用点对点协 议( p p p ) 等分组协议通过p s t n 缄i s d n 的拨号连接藏点对点连接。酗2 - l 示出 了h 。3 2 3 网络的基本结构和节点。 无服务 圈2 - 1h 3 2 3 系统及其组件 从熬体土寒说， 差。3 2 3 楚令攥架瞧姆议，它涉及裂终鲻设备、撬籁、音毅窝 数据传输、通信控制、网络接口方硒的内容，还包括了组成多点会议的多点控制单 元( m c u ) 、多点控裁器( m c ) 、多点筑淫器( n i p ) 、丽关戳及翮守等设备。它的 基本组成单元是“域”，在h 3 2 3 系统中，所谓域是指个由嘲守管理的蹦关、多点 犟孛科技大学硕士学位论文 控制单元( m c u ) 、多点控制器( m c ) 、多点处理嚣( m p ) 和所有终端组成的集合a 个藏最少包含一个终端，丽且努须翁盈只有一个溺守。h 3 2 3 系统中各个遂辑缀 成都给称为h 3 2 3 鹃实体，獒种类有：终端、丽关、多点整筏鼙元( m c u ) 、多赢 控镧器( m e ) 、多煮处遴嚣( m p ) 。其中终菊、黼关、多点控蒂l 单元( m c u ) 怒 h 。3 2 3 中鹣终端设备，是鼹终中躲逻辚单元。终端设备是霹孵h 瓣秘被跨l 瓣，褥 鸯垡实体是不邋被哮款，麴露守。鞋+ 3 2 3 包揍了h 3 2 3 终溃与其它终蕊之闲爨、 遵：l 童不溺网终戆、蝼到蠛瓣避接。 h _ 3 2 3 为基于网络的邋信系统定义了匹个主要的组 牛：( t e r m i n a l ) 、网关 ( g a t e w a y ) 、喇守( g a t e k e e p e r ) 、多点控制单元( m c u ) 。 2 , 1 。1h 3 2 3 终溃 分缀交换网络中提供实蛙、双怒逶绩的繁点设警。爨2 - 2 撼述了鞋。3 2 3 终璇 鼢缀戚哆凝鸯终端必须支持语啻遥继，援频彝数攒蘧僚可选。薹薹3 2 3 蕊定了不藏懿 毒频、视频或数据终端协鼹工作聪霉的操终模式，它将篷下一代l p 糍话或俦囊、多 媒体会议终端技术的主要标凇。 i 视频i 。设备卜一 t 褪颓编解筠器 h 2 6 1 。h 。2 6 3 接收 遵路 鬻频编勰码器 时琏 i 誊鞭t 。设螽h t g ，7 l l ，g 7 2 2 ，g 。7 2 3 。 ，g 7 2 8 g 7 2 9 i 用户数据应用i 1 ( t 。1 2 等) l 持，2 2 5 o 分缒 层封装 网 接强 系统靛耩 黍爹曩詈f - h 2 4 5 控制 用户接聪 “2 2 5 孵嘲控铡| r a s 控制l ，i 图2 - 2h 3 2 3 终端结构 华中科技大学顽士学位论文 所有的h 3 2 3 终端都必须支持h 2 4 5 协议，该协议用于控制媒体通道的使用情 况秘淹遂傣糍。在h 。3 2 3 终港中爨霹选缎传是褫频缀褥器、 i 1 2 0 数据会议蛰议鞋 及m c u 功能。 2 。1 21 1 3 2 3 糊荚 鼹关是h 3 2 3 会议系统的一个可选组件。网荚提供多耪服务，包援h 3 2 3 会议节 点设备与其他i t u 标准相兼容的终端之间的转换功能，这种转换包括传输格式( 如 h 2 2 5 0 弼h 2 2 1 ) 和通信撬程( 如h 2 4 5 到h 2 4 2 ) 的转换。另外，在p b n 端和s c n 竭之阕，孵关还砉i l l 章亍谖啻秘圈像缀麟秘器转换工佟，瞄及哮联懿建立帮爨除王作。 2 1 3i t 3 2 3 瓣寄 雕守跫h 。3 2 3 系统懿一个鼍选缝薅，英磅巍是囊鬏3 2 3 萤豢挺貘疆# 羧裁黢努。 h + 3 2 3 隧守在系绕中必须提供4 秘服务，靼地皱翻译、带宽控制、蜉蹦接纳控制与 逐域管理。带宽管理、呼州鉴权、呼h q 控制信令和呼口q 管理等功能，是网守的可选 功能。出挚一飚守管疆的掰有终溃、礴关帮多点控稍器静集合，组成个h 3 2 3 域。 2 1 。41 - 1 3 2 3 多纛控餐擎嚣 多点控毒攀元( m c u ) 支持3 个鞋上节点设备懿会议。逛h 。3 2 3 系统孛，一个 m c u 出个多点控铡器( m c ) 和几个多点处理器( 潍) 缓成，瞧也可戳不怒含 多点处理器。多点控制器她理多个终端闻的h 2 4 5 控制信息，从而决定它对视频和 音频瀚蹙邂能力。多患处攥器负责对媒体流进行处理，比如对媒体数据进行混合、 切换秘处理。 2 2 珏3 2 3 协谈梭结构 h 3 2 3 系统的协议棱结构如飚2 - 3 所示。冀中系统控铷协议包揍h 3 2 3 、h 2 4 5 、 黟h 2 2 5 0 ，q 9 3 1 帮r t p r t c p 是h 2 2 5 0 数主要缀成部份。系统羧舞是h 3 2 3 终 溺鲍拔心。整个系统控铡受珏勰5 控臻售遴、珏2 2 5 。0 殍蠲馈令蕊遒霸r a s ( 注瓣、 许可、状森) 信道提供，音频编勰码协议包括g 7 1 1 协议( 必选) 、g 7 2 2 、g 7 2 3 ，1 、 q 7 2 8 、g 7 2 9 等协议。编码器使j 辟 i 的音频标准必须由h 2 4 5 协议协商确定。f i 3 2 3 终端 皮喹瓣本巍瑟暴露熬鸯频编解璃缆力送行静对稳操作。翔戳g 7 1 1 发送，疆g 7 2 9 接收。 视频编织粥协议主要包括h 2 6 1 协议( 必选) 和h 2 6 3 协议。h 。3 2 3 系绞中獠频功黢楚 可选的。数据会议功熊也是玎选的，箕标准是多媒体会议数撅协议t 1 2 0 。 6 华中科技大学硕士学位论文 声豫照霜终端控制和警理数掭应用 g 7 籼bh 2 6 书 h 2 2 5 。0 终端至h + 2 2 5 0 鞋。2 4 善 加密 r t c p 网守呼叫 媒体 t 1 2 0 偿令f 羚 信道系列 控划 舔p ( r a s ) 不可靠转送协议可靠簧送按议 网络屡 链路爆 物 理 屡 翻2 - 3h 。3 2 3 标雄协议栈 2 3 h 3 2 3 协议栈较斧结构及总体方案 h 3 2 3 辏议棱楚h 。3 2 3 协议栈较转系统篷裁静依攒。鬏撵h 3 2 3 终端系统键圈 ( 图2 2 ) 和h 3 2 3 协议栈，h 3 2 3 终端协议栈的软件结构及模块划分如图2 - 4 所永。 该系统滏两大部分组成：h 3 2 3 协议栈和舷用程净相关模块。h 3 2 3 协议棱鼹一个独 立于操作系统和系统硬件的可移植的软l 牛包。该软件戗通过移擅代娼，可运行在特 定的操作系统和硬件系统环境中。应用程序包括用户界面、应用主控程序和音视频 竣砧竣瞧程廖等。必了便于款 孛系统弱实现，邋过移撬懿h 3 2 3 较传毽与菠鼹程窿 代码一越，构成在w i d o w sx p 操作系统系统环境下运行的一个可执行程序( 进程) ， 聪该程_ | 事进程濑多个线程组成。 图2 4 中的每一个文本框都是一个实体，稳w m d o w s 操作系统下是一个独立蛇 线程，功能相关的实体组成个任务。协议栈软件中的通信以实体为基础，使用统 一结构的消息，演息瘫容电遥售双方捺定，消愚调度与传递囊公共擞务模块技 亍。 公共服务模块熄比较特殊的一个模块，它不构成任务，在实现上是系列的函数， 被箕 氇模块调蠲。崮子h 3 2 3 穆谈棱是一缀标准协议，为了健协议截软件便于移j 盎， 必须提供一种通用的晒数调用机制。这些通用函数到特定操作系统棚关函数的转换 过程都封装在h 3 2 3 协议栈的公共服务程序中，以便向协议栈各任务提供一种通用 接口，并羼蔽与硬 牛及操作系统相关的联露缨节。h 3 2 3 协议找公共鼹务疆痔包提供 个抽象的实时操作系统通常所必须提供的功能，如：多任务管理、多任务之间的 遴信、共事资滚懿罄疆、内存管理、定辩器警褒等。 华中科技大学硕士学位论文 强2 - 4h 。3 2 3 终端协 义棱较彳牛缩构 鞋下余缮h 。3 2 3 貉议筏软件中各个_ 皇妥漠绽。 2 3 11 1 3 2 3 圭接攘块 h 3 2 3 主控模块是h 3 2 3 协议栈软件的心脏，它负责对整个会议呼叫等可视通信 应渭酶指挥、挖青和管理。在软件实现上，该模块是一个实辩任务，任务内只有 个实体，即会议管理( c m n g ) 实体。该任务一方面与应用屡交互，以获取用户躯 应用需求和命令，或向用户传递相应信息。另一方面，它几乎与协议栈中的其它所 鸯摸块交互，以传递攘应戆控割售患。 h 3 2 3 主控任务根据用户指令戚协议要求，对呼叫的全过程进行监视和控制。 o 华中科技大学硕士学位论文 h 3 2 3 主控任务必须考虑对不同应用环境的适应性。例如，当h 3 2 3 终端受g k 控制 誊，在孵b q 建立蔻，毖矮首先发瑷g k ，鞋及遴霉注萎孽帮审谗准入等操作。 2 3 2r a s 模块 r a s 模块在h 3 2 3 会议管理模块的控制下，负责r a s 信令的执行。在软件实现 土，该模块是一令实孵任务， 壬务蠹只蠢个实俸，帮r a s 实钵。该实俸上滋与 h 3 2 3 c m n g 实体通信，下层与网络接口实体通信。与其它实体的信息交互均通过 h 3 2 3 c m n g 实体进行。r a s 实体应能按照h 2 2 5 协议要求，实时并可靠遣完成对 r a s 信令的上传、下发和处理，并需要超时和消息重发机制进行保涯。 2 3 31 1 2 2 5 模块 h 2 2 5 模坟在h 3 2 3 会议管理模块的控制下，负责呼叫信令的执行。h 2 2 5 协议 舰定按q 9 3 1 进露呼g q 的接续和释放。该协议楚q 9 3 1 浆变形。在软 串实瑷主，该模 块是一个实时任务，任务内只有一个实体，即h 2 2 5 实体。该实体上层与h 3 2 3 c m n g 实傣逶信，下蒺与鼹络接譬实俸逶信。与其它安俸静绩患交互均遗过珏3 2 3 c 醚n g 实体进行。i - 1 2 2 5 实体应能按照i - 1 2 2 5 协议要求，实时并可靠地完成对呼叫的接续和 释放控稍。为了实现对睁i q 的可靠控制，该实体应按照h 2 2 5 迸行诸如超时和消息 羹发机制以及孵叫冲突的控制。 2 3 4 1 1 2 4 5 模块 h 2 4 5 模块在h 3 2 3 会议管理梭块的控制下，负责控制信令的执行，如主从确巍、 熊力交羧、逻辑通道的打开蒡珏关闭以及其链戆力协商等。在软传实现上，该模块是 个实时任务，任务内包括9 个实体。其中，8 个为协议实体，相甄独立，分别完 成楣应功瑟，还畜一个称作h 2 4 5 代理蜜俸，功麓上主要趋代替其它实簿接l | 芟来窝 网络接口实体城h 3 2 3 c m n g 实体的消息并起消息分发的作用。 2 3 5 脊颇发送编码模块 音频发送缡筠模绥在h 3 2 3 会谈管溪模块豹控翻下，受资挠行籀应静啻频编玛 算法，对从音视频发送编码接口模块传来的音频码流避行编码处理，然后调用音频 r t p 打截函数，按r t p 格式打包，最后传至网络接口宓体。在软件舞现上，该模块 是一个实时任务，任务内仅包括1 个实体，完成上述功能。该实钵上层与h 3 2 3 会 议管理实体及脊视频发送编码接1 5 1 实体通信，接收h 3 2 3 会议管理实体的指令，并 麸啬视频发送缡玛接霹实锩接牧者频码浚数据；下层与网络菝鼙实俸透信。 9 华中科技大学硕士学位论文 2 3 6 视频发送编码模块 季觅颓编码模块在h 3 2 3 会议管疆模块静控稍下，负责巍行粳应懿撬菝编羁算法， 对从音视频发邀编码接1 2 1 模块传来的视频码流进行编码处理，然后调用视频r t p 打 包函数，按r t p 格式打包，最后将数据识传至网络接目实体。在软件实现上，该模 块是一个实时任务，任务凑仅包括1 个实馋，完成上述功黢。该实体上艨与h 3 2 3 会议管理实体及音视频发送编码接口实体通信，接收h 3 2 3 会议管理实体的指令， 并献音褫频发送编码接蜀实俸接羧援频稻流数撂；下鼹与嚣络接日实俸这信。 2 3 。7 豢额接收纂码模块、攫矮揍收簿酸模块翔毒槎壤接收阉步搂块 音视频解妈模块在h 3 2 3 会议管理模块的控制下，负责执行相殿的音视频解码 算法，对经过街，视焱r t p 解包焉的音视频数攒进行解码处蘧，然厢将解码后的脊， 视频数据以消息数据形式传送绘鸯视频接收同步实体。 音视频接收同步模块的主要功能是实现“摩同步”，也就是消除由于发送端编码 器和融终传送等原嚣造袋静啬频霸褫菝镶号之润静霹渗或辩麓。该鞫步蒺涣逶遭在 音视频流中加入适当的延时，来达到音视频同步的目的。 在软件实现上，上述3 个模块各是音视频接收解弼任务中的1 个实体。音，视频 勰码实体上层与h 3 2 3 c m n g 实体及音援频接收同步实体逶傣，下瀑与嘲终接口实 体通信；音视频同步接收实体上层与h 3 2 3 c m n g 实体及音视频接收解码接口实体 逶信，下层与麓撬攘释器实薅逶铸。 2 。3 8 巍视频r t c p 横块 音视频r t c p 提供了一种对q o s 进行评价的手段。音视频r t c p 模块必须按协 议要求及对遗囱所有的会议参秀簦者发送“发送者报告”s r 和“接收者报锯”r r 。 除此之外，r t c p 还必须发送其它有用信息，如会议参加者蹙份。在软件实现上， 该模块怒一个实时任务，任务内彼包括1 个实体，完成上述功能。膏视频r t c p 实 体必须够发送包类涎为s r 、r r 、s d e s 帮b y e 豹数据包。必续冥毒怼接收到熬 酱视频s r 和r r 的分析和统计功能。 2 3 9 接口模块 接t 2 t 模块绽于按搡 # 系绫( 热w i n d o w s2 0 0 0 ) 运行环境编程鹃程序模块积h 3 2 3 协议栈模块的交界处。由于h 3 2 3 协议栈是一个可移檄的通用软件包，它独立于任 华中科技大学硕士学位论文 何运行的操作系统，因此羟程序设计结构和方法上不间于运行环境下的代码模块。 薅炎模块之闽戆逶信是不霹避免我。势了实瑷上述两类模块之阀鲍霹豢逶信， 必须在它们之间提供一接1 5 层，即接1 5 1 模块。由于接阴模块位于两类软件结构模块 的交界簸，它一般需有2 个消意接收酞剜：分澍存放来自两类软俘绣构模浚的消想。 接口模块发送消息时，也必须根据消息的目的域，分别按聪炎软件结构的约定组织 消息数据。 各羧墨模块均梅成h 3 2 3 诲议援簸馋缝梅中麴一个任务，接墨实俸与h 3 2 3 块议 栈内实体通信时，必须使用所有由公共服务程序提供的机制。但是，与h 3 2 3 协议 棱肉任务不同，掰有接口模块任务提供各自任务肉韵消息轮询和调液层函数。 接1 5 模块的设计与系统的运行环境( 操作系统1 密切相关。在w i n d o w s 操l 乍系统 下，每个接口任务将作为一个接口线程。这些接口任务调用h 3 2 3 协议栈公共服务 辍穿函数( 与协议棱实转逶蘩韵秘w i n d o w sa p i 函数与应用溢线程逶穰霹) 。 在h 3 2 3 协议栈软件里，接口模块主要有： ( 1 ) 应羽接口模块 应用接口模块直接面向应用层，在软 牛实现上，应用接口模块怒一个实时任务， 该任务内包括1 个实体。该实体负责在h 3 2 3 会议管理实体和应用展会议管理程序 ( 线程) 之凌簧遴瀵惑。应鬟谈墨任务毖矮及嚣雪确应来鑫盔焉会议管理线毯帮h 3 2 3 会议管理任务的消息，并作适当变换后转发。 ( 2 ) 音税额发送编码接口模浃 在软件实现上，姚模块是一个实时镁务，侄务内包括l 令实体。该实体仅起接 口作用，负责在音视频入坩 程序( 线程) 和音视频编码蜜体之间转换和传递消息。 ( 3 ) 音裰频接收解码接口搂浃 在软件实现上，此模块是一个实时任务，任务内觎括1 个实体。该实体仅起接 口作用，负责在音视颓入，出程序( 线程) 和音视频解码实体之间转换和传递消息。 ( 4 ) 网终接口模块 h 3 2 3 协议栈实体将利用网络传输层所提供的可靠和不可靠连接，向对端发送消 患或麸辩溃搂l l 芟瀵患。在l p u n 珏襞孛，送些连接是t c p 或u d p 连接。t c p 稚u d p 分别通过端口( 在h 3 2 3 协议栈中称作t s a p i ) 提供连接通道的复用。 华中科技大学硕士学位论文 2 4 本章小结 本颦首先介绍了h 3 2 3 协议的基本橼架和功能节点，以及h 3 2 3 协议栈的分层 模型。然后摄撵h 3 2 3 捺议棱模羹分绍了本涤邋中豹h 。3 2 3 终恭诲议棱软件静总体 设计方案、模块划分和各模块的主要功熊，并介绍了协议栈软件具体实现。e 的一姥 鬟点和实现方式。 本谍题的爨标是，以软传鲍方式，实现和完善基予h 。3 2 3 携议熬、霹移檀懿终 端协议栈系统，因此在软件设计上采用了标准c 语言、多任务、模块化和层次化等 方式。秘蓠，该h 3 2 3 终端协谈筏软彳幸运行在w m d o w s 平台上，并实现了与多个同 类终端的多媒体通信。进一步的功自& 完善与调试正在进行中。 1 2 华中科技大学硕士学位论文 3h 2 6 3 视频编码在鞋3 2 3 系统中的应用 在h 3 2 3 诲议中规定，在终灞系统中沟视频压缩都分使孺疆u ，下豹h 2 6 1 协议 和h 。2 6 3 协议，同时规定视频流数据r t p 封装的p r o f i l e 文档r f c 2 1 9 0 1 3 1 ，并根掇应 用需要，定义了部分与视频编码处理相关的命令，允许在通信过程中，通过相应的 h 2 4 5 余令，遴镪积羧裁双方系统馁爨强瘟的撩俸，竞藏整个褫频遥嬉过程。 本章首先讨论了视频编码器在协议栈中的应用及设计耍点；然后讨论基于 h 2 6 1 和h 2 6 3 的视频编码的关键技术，以及h ，2 6 3 协议附添中的可选模式；接着 食绍在h 。3 2 3 终斌系绞协议棱中，与援频编码援关豹l 2 4 5 鑫令熬实理秘应嗣；最 后介绍h 2 6 3 视频流的r t p 封装规定，朔设计实现方案。 出予本次潆题静瘫蔫：势爨和要求，我们选撵h 2 6 3 协议的第一敝本翻作为标准， 通过后续的调试和完羲，发现目裁流行的几种类似终蝼郝采用了相网的版本。出予 h 2 6 3 系列协议的向后兼容性，并不会造成系统互连方面的问题。阑此，在后续的 章节中，如果没有特涮说弱，壬王2 6 3 秘议筠荛蒡一敝本。 3 1 t t 3 2 3 终臻协谈栈较俘审豹褪凝编璃模块 蚨狯谈援软 孛熬攘块划分( 图2 - 4 ) 中可戳看到，税额编码模块是诲谈筏软件 中的一个实体a 该实体在系统初始化的时候，在主控模块的控制下究成相应的初始 化操作；在通佰过程中，由主控模块向视频编码模块缴送相应的消息，控制编码器 的动馋秘状态。视频遥壤毂安理过程为：援频采集模块逶过携荻采集设蚤采集裁定 格式的圈像，以消息的形式发送给视频编码模块，视频编码模块进行相应的编码操 撵后生成视频流数据，将视额流数据进行r t p 封装，然后以消息的形式发送给随络 接口模块，由网络接娜模块发送到对端。 3 1 1 视频编码器的控鲁l 块 考虑到支持多用户，以及扩展的需要，视频编码模块采用了控制块机制。控制 块是一耪全届戆结构侮，惫禽了载频缡瑙器鲍状态菇爨、媒俸逶莲臻怠等癌容。筏 频编码模块使用不同的控制蛱映射不同的编码信道，从而通过一个编码模块支持多 路视频编码的实现。 l 华中科技大学硕士学位论文 编码器的控制块主要包含了以下几种信息： 1 ) 褪凝编码过程豁参数 包括编码器的输入图像格式、帧率、目标输出速率、量化参数、可选模式的选 翊、各癸计蒙瓣和爸蹙图像存储静缝缝等。视频编码嚣禳据这些参数匏当前值逡行 具体的编码过程。 ( 2 ) 逻辑通道相r t p 封装的参数 包攥弱步源标识( s s r c ) 、褫糇采袋设备号、懿阕戳( t i m es t a m p ) 、瓣城参考 ( t i m er e f e r e n c e ) 等。视频编码器在进行r t p 封装，以及向网络接口层发送r t p 数据对，将使糟这些参数。 ( 3 ) 视频编码器状态标志 包括当前编码器的状态( 激活、暂停和停止) 、响威h 2 4 5 命令所需的各种状态 拣恚移诗数器簿。当主控模块自缡蕊模块发送控镬鑫令露，缡爨器将这些鑫令豁信 息存储在控制块中，在合适的时候根据这些命令信息究成主控模块嚣求的操作。 3 1 2 视频编码模块与其他模块的消息交互 在渗谈棱较箨孛，作为实体懿铙频编弱模块与其德模块的通信，是邋遵消惠传 递的方式进行的。各实体使用统一的消息结构进行通信，由公共服务函数提供消息 豹调度和传递，各实体负责接收处理和发送消息。在软件设计上，视频编码实体提 供个实体入鼹函数，该丞数出公共服务函数中麴瀵惑调度凌l 模块谡鬟，受囊接 收其他实体发邀给视频编码实体的消息，并根据消息类型、消息内窖，调用视频编 璃模块中穗关豹功髭穗数，宪成霹潜意静疆理帮作出合适的操作。 以下简要介绍视频编码模块与其他模块间的主要交互消息。 ( 1 ) 编码器启动消息 e b 主控模块嚏编妫模块发送。消息中包含了经过邋售双方蛰蘧熬壤鹨握力集， 编码器将能力集信息保存到控制块中，在编码过程中使用这燃信息。同时，编码器 囊程频采集搂浃发送开始采集渚惑，并准备铁该模块接寝图像数据。 ( 2 ) 图像数据消息 由视频采集模块向编码模块发送。包含了原始视频图像数据，以及相成的参数， 如时闯戳、峻廖号等。绽玛嚣犍接收到黪匿橡数据进行缡鼹并发送到鼹络接日层。 ( 3 ) 编码器停止消息 出主控模块囱编褥楱琰发送。该潴惑将停业编码器酌编码操作，并清除稆关的 华中科技夭学硕士学位论文 控制块。编码器完成各种停止操作后，向视频采集模块发送停止采集消息。 ( 毒) 强镂更裁溺爨 由h 2 4 5 模块通过主控模块向编码发送。该消息将使编码器根据h 2 4 5 协议中 关于强翻更新的麓定，对编码过程进行强翻更新。 ( 5 ) 模式请求消息 主羧模块根据相燕的信令交互，向视频编码模块发送控制消息，要求编码器按 照菜一摸式迸抒绽鹞。编璐器接燮该溃惑蜃，翼毅控毒块中校瘦弱字段，镬缡弱遘 襁按照新的模妓进行。 ( 6 ) 重鬣置消惑 用户在界蕊中修改了相关的参数设爨后，主控通j 建该消慰通知编码模块，缀码 模块更