（电路与系统专业论文）嵌入式视频会议终端软件系统的设计与实现.pdf

中国科学技术人学删十靴比论文 致谢 论文完稿之际，我首先要向我的导师罗玉平教授表示深深的谢意。同, f 蚧l t i 处 的五年来，他那渊博的软硬件知识给我留下了很深的印象。他总是无私地指导我， 使我的理论和实践水平不断地提高。同时，他对科研事业，对生活乐观、热忱的 态度感染了我，使我对未来充满了信心。他爽朗、幽默风趣的性格，剥我j l l l j i ： i 完 成沦文起了很大的帮助。可以说，没有罗老师的帮助，就不可能有这篇沦文。 感谢电子科学与技术系的朱领娣老师，作为系党支部领导和我们的班主任， 她在工作上、思想上给了我无私的关怀和帮助。 感谢我的同学和好友李德升、白琳、杨子夫、何洪路、钟文辉，他们是 我历年来的科研合作伙伴，我们一起完成了众多的科研项1 7 i ，包括本文提到的视 频会议系统。在完成本文的过程中，他们也给了我很多的支持和帮助。 感谢现代系统设计实验室的其他成员杜娜娜、马斌、秦婷婷、张英娟、 周兰姜和李正东。他们的帮助和激励在我完成此文的过程中也起了很大的作用。 最后，我要感谢我的父母对我的支持，是他们在我最网难的时候给了我前进 的动力和勇气，得以最终完成本文。他们是我一生最好的老师! 中国科学技术大学砸一1 毕业论文 摘要 视频会议系统是近期嵌入式领域的研究热点。低成本，高可靠性是视频会议 系统研究的目标。嵌入式软硬件平台是降低成本，提高可靠性的有效途径。 本文主要介绍了视频会议终端的软件系统的设计和实现。完成的主要任务包 括： 1 + 软件系统的模块化设计。 2 r a d v i s i o nh 3 2 3 | 办议栈的移植。 3 轻量级图形用户界面的设计与实现。 4 基于d i s c o n c h i p 2 0 0 0 的文件系统管理。 5 视频会议系统的状态转换管理。 6 各任务之间的调度。 关键词：视频会议系统，h 3 2 3 ，嵌入式系统，多媒体网络传输。 中国科学技术人学硕一i 毕业论文 a b s t r a c t v i d e oc o n f e r e n c es y s t e m sa r e b e c o m i n gaf o c u st o p i c i nt h er e s e a r c ho f e m b e d d e ds y s t e m s t h eg o a lo fr e s e a r c hi n t h i sa r e ai st od e s i g nas y s t e mw - i t hl o w c o s ta n dh i g hr e l i a b i l i t y u s i n ge m b e d d e dh a r d w a r ea n ds o f t w a r es y s t e m si sa e f f e c t i v ew a yt oa c h i e v et h i sg o a l i nt h i sa r t i c l e ，1w i l ld i s c u s st h ed e s i g n i n ga n di m p l e m e n t a t i o no fs c i f t w a r e a r c h i t e c t u r eo nav i d e oc o n f e r e n c et e r m i n a l ，i n c l u d i n g 1 m o d u l a r i z e dd e s i g n i n go fs o f t w a r ea r c h i t e c t u r e 2 p o r t i n go f r a d v i s i o nh 3 2 3m a c kt oo u r p l a t f o r m 3 d e s i g n i n ga n di m p l e m e n t a t i o no f al i g h t w e i g h tg u i 4 f i l es y s t e mm a n a g e m e n tb a s e do nd i s k o n c h i p2 0 0 0 5 t h em a n a g e m e n to fs t a t e st r a n s i t i o nf o rc a l l i n g 6 s c h e d u l i n go ne a c ht a s k s k e yw o r d s ：v i d e oc o n f e r e n c es y s t e m ；h 3 2 3 ；e m b e d d e ds y s t e m ；m u l t i m e d i a n e t w o r kt r a n s p o r t a t i o n 中国科学技术_ 、学硕士毕业论文 第一章绪论 上个世纪八十年代以来，随着宽带网络的普及和嵌入式设备成本的降低，各 种嵌入式网络图形消费产品和工业设备逐步状得了广泛的应用，从面向专业人员 的高端产品逐步转变成为面向普通消费者和普通技术人员的低端产品。 与此同时，随着宽带网络逐渐进入千家万户，以i p 网络为载体的各种多媒 体应用 乜在不断普及，例如很多互联网内容提供商( i c p ) 推出的在线电影，存 线音乐等。目前，视频会泌终端可视电话作为一种新型办公和家用没备，也正 在迅速得到普及。 1 1 研究背景 自古以来，通信就是人们很重要的社会需要。在贝尔发明电话以前，传统的 通信方式仅限于信件( 后来出现的电报实质上也是一种信件) 。贝尔的发明使得 人们进入了声音时代。 随着数字技术的不断发展，如今我们已经进入一个数字时代。人们迫希望 随时随地与他人进行全方位的沟通。因此同时兼备音视频传输能力的可视通讯终 端必将成为取代传统音频通讯工具的下一代通讯工具，其形式包括视频会议终 端、可视电话等。 在相当长的一段时间内，受硬件设备和网络的成本影响，视频会议终端可 视电话的性能价格比很低，无法被市场接受。然而随着计算机技术及i 劂络技术的 飞跃发展，种种条件的具备，视频通讯设备，尤其是基于i p 的视频通讯设备逐 渐吸引了广大消费者的关注 当前视频会议系统的研究比较火热，国外有p o l y v i e w 公刮，台湾的丽台公 司，国内的华为公司，南望集团，都推出了相应的终端产品，处在入刚实验阶段。 美国t i ，a d 等著名芯片生产厂商，也都相继推出了面向i p p h o n e 的解决方案。 相信随着我国电信部门相关政策的出台，存不远的将来，必将存存一个很大的市 场。 中国科学技术大学f 巩i 毕业论文 1 2 视频会议终端的历史及现状 1 2 i 早期的视频会议系统的失败嘲j 视频会议的概念最早始于二十世纪五十年代。早期的视频会议主要用- j 二大型 协同会议的召开。由于那时候尚未建立起个全球互联的宽带网络，每次召开视 频会议需要花费巨额资金租用地面微波设施，或者架设专用微波例络，因此基本 上视频会议仅限于美国电话电报公司( a t & t ) 内部使用。尽管成本如此高昂，然 而视频会泌效果上的成功向世界展示了二十世纪二十年代就由贝尔实验室提出 的概念：图形电话( p i c t u r e p h o n e ) 。 最早的图形电话出现在1 9 6 4 年的纽约世界博览会上，当时引起了轰动。尽 管网络带宽问题很严重，图像的细节和运动的重现受到很大的限制，人们划图形 电话的未来还是充满了乐观。当时的主流观点认为，图形电话取代传统音糊电岳 将最早发生在七十年代初期。做出这种预测的人中间就包括叭尔实验室的执行副 总裁j u l i u spm o l n a r 。1 9 6 9 年他在贝尔实验室的记录中写道， “通常一个个人或者一个组织很难有机会创造出一种影响到大众l j 常生活 的工具。亚历山大格雷厄姆贝尔发明的电话就是这样一个机会。今天，摆存 我们面前的是一个有着同等价值的新机会图形电话。” 然而，与人们的预期相违背的是，图形电话的市场认可程度并不尽如人意。 原因有很多，例如早期的摄像设备失真度比较大，带宽限制，成本高昂等等。当 然，人们接受新事物也需要时间。 小管怎样，对图形电话的研究在七十年代逐渐转回到视频会议上来。逐步上 涨的交通费用进一步促进了很多商业公刮对视频会议的关注。七十年代早期的大 量调查表明，商业会议中的一大部分都可以转化为在视频会议上举行。英国电信 公司( b r i t i s ht e l e c o m ) 长途研究部门( l o n gr a n g es t u d i e sd i v i s i o n ) 的调查显示 h a r k n e s s ，1 9 7 3 ，需要旅行才能实现的商业会议中，存保证效果的前提f ，有 4 1 可以通过窄带的通讯系统实现。如果增加一条视频信道，那么有额外的9 也可以通过远程通讯系统实现。另外，针对儿尔实验室员工的调查也显_ i 。全：p 8 5 的员工对能够同时实现音视频的远程会议系统表示满意。 令人感到意外的是，尽管有如此良好的社会预期，人们的意向也慰得如此热 切，到1 9 8 4 年，己安装的视频会议系统却少的可怜。19 8 5 年，美国电舐电报公 中国科学技术人学硕士毕业论文 司甚至关闭了全美国范围内超过一半的会议室。( n e l s o n ，1 9 8 5 ) 由此可见，在二十世纪八十年代以前，视频会议这个概念虽然炒作得很万害， 但是实质上远谈不上成功。其原因涉及到社会各个角度的方方面面，但主要可以 归纳为如下两个方面： 一是从心理学角度上分析，视频会议系统的定位与人们的实际心理状态存存 差异。在七十年代，为了节省面对面会议所需的u 益上涨的差旅费用，视频会议 被寄予厚望，希望能够直接取代这些面列面的会议方式。但是实际上这种直接的 取代会带给使用者非常大的不适感。各种职业，各个商业公刮存举行会议的时候 往往拥有自己独特的会议模式，这种模式通常是在几十年甚垒上百年的时间内逐 步形成的。例如有些企业列惯于在会议时一起进餐以缩短心理距离，另一些可能 习惯于特定的会议室氛围等等。当这些习惯模式无法满足时，人们就有可能会感 到无所适从，直接影响到会议的效果。这个因素是隐藏存人们潜意识中的，因此 在进行意向调查的时候，表示对视频会议系统满意的使用者可能在真正试用了之 后转而放弃购买。 二是从市场角度上分析，视频会议系统在早期由于造价高昂，网络使用和维 护成本也居高不下，因此市场受到相当大的限制。1 9 9 0 年国际标准化组织 i s o i e c 提出m p e g 标准之前，业界并没有一个统的音视频压缩标准，很多视 频会议系统实际上是存传输原始的模拟视频数据，因此需要相当大的i 删络带宽。 事实上即便是采用压缩技术以节省带宽，当时能支持实时编解码的硬件系统称本 也很高。很多规模较小的公司基于财力方面的考虑会放弃采用视频会议系统。公 司领导知道有很多更便宜而同样有效的方法可以随时与下属沟通，例如传统的音 频电话等等。到八十年代初期为止，已经部署和安装的视频会议系统中，绝大部 分都属于各大知名企业。 1 2 2 视频会议系统的重新崛起d 6 此后关于视频会议系统的研究和推广进入了一个短暂的低谷期。然而从二十 世纪九十年代开始，随着网络技术和编解码技术的不断发展，网络设施的不断普 及，视频会议系统的应用又开始活跃起来。 随着视频会议设备的成本逐步降低，其市场也逐步扩大。区别于原来仅限于 商业会议用途，人们将视频会议系统逐步应用于许多更为自发和较为非正式的场 ! 里登兰垫查查兰! 坠! ：望些丝兰 合。这些应用是正式的面对面会晤的有效补充，而非其替代物。人1 f 3 - g j 仅仅将 该系统安装在设施完善的会议室，而且甚全安装在公刮每个员工的办公室内。这 样当指令下达，例行汇报或者同事之间的简单交流的时候，人们可以自发的使用 视频会议系统。这种应用从某种程度上有助于实现办公自动化，有助于改善企业 职员结构，提高了企业运营效率，因此进一步提高了市场接受度。根据作者2 0 0 5 年秋冬季在微软亚洲研究院实习过程中观察，该研究院普遍使用视频会议实现中 国一美国本部的学术交流，有效地提高了效率，已成为研究院不可缺少的设施。 1 2 3 现阶段视频会议系统的发展b 钮叭。门 现阶段成熟的视频会议系统根据其使用的网络设施和对应的标准来分，大致 分为三种形式。最初视频会议系统使用的是专线例络，其对应的被广泛采用的标 准是国际电联( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，i t u ) 提出的h3 2 0 框架 协议。视频编码技术统一存h 2 6 1 等相关协议上。基于专线的视频会议例络其优 势就是稳定可靠，现在无论采用何种编码方式( h 2 6 1 或m p e g - 2 ) 还是采用何 种组网方式( 点剥点或m c u ) ，其网络结构简单，涉及环节少便于查找故障点。 缺点是成本高，接入吖i 便。 其后，针对较普及的p s t ni 列络，i t u 继续提出了h3 2 4 列标准建议，主要 包括视频编解码( v i d e oc o d e c ) l 2 6 3 标准、信息流分组复用( m u l t i p l e x ) h 2 2 3 标准、通信控制规程( c o n t r 0 1 ) h 2 4 5 标准、低码率语音编码( s p e e c hc o d e c ) g 7 2 3 1 标准以及调制解调器( m o d e m ) v 3 4 b i s 标准等。其中g 7 2 3 1 _ 咖议可将 6 4k b p s 的p c m 语音信号压缩至6 3k b p s 甚至5 3k b p s ，h 2 6 3 协议可将视频信 息压缩到2 0 k b p s 一4 0 k b p s 左右；因此，压缩后的语音和图像信号可以通过v3 4 调 制解调器( 3 3 6k b p s ) 或者v 9 0 调制解凋器( 5 6k b p s ) 实现了p s t n 上的传输。 这样，就可以在普通模拟电话网络( p s t n ) 上利用价格低廉调制解调然实现实 时传输多媒体信息。p s t n 删络的特点就是成本低，用传统电话的价格能够实现 视频会议，但是缺点也很明显，就是带宽被限制到p s t n 刚络的极限6 4k b p s ， 图像质量仅仅是能够看到而己，作为入门及解决方案，没有进一步提高质量的空 间。 存i t u 提出t - i 3 2 4 协议簇的同时，也针对分组删络( p a c k a g e b a s e d n e t w o r k p b n ) 如i s d n 及i p 网络提出了h 3 2 3 协议簇。主要面对的客户群就是安装了 1 = f _ l 圆科学技术火学硕士辅i k 沦文 宽带网络的商业客户和个人。h 3 2 3 协议同样包含了视频编解码h 2 6 3 标准、通 信控制规程h 2 4 5 标准、低码率语音编码( s p e e c hc o d e c ) ( 3 7 2 3l 标准，但是信 息流分组复用采用的是h 2 2 5 标准，该标准专门为分组网络制定，规定了存例络 服务质量( q u a l i t yo f s e r v i c e ，q o s ) 不能保证的情况下，如何影响最小的实现信 息流的分组复用。使用h 3 2 3 协议簇的视频会议系统的特点是刚络带宽大，能够 传输高质量的音视频数据，但是效果受到分组恻络拥塞状况的影响，存l 刊络负荷 较大时，无法传输高质量的信息流。从近些年网络的发展来看，随著i s d n 及i p 宽带叫络的发展，由于带宽较高，资费较低，用户群较大，几大电信运营企业纷 纷建设，主要以中国联通宝视通、中国电信新视通为突出代表。 另外值得注意的是，自从二十世纪九十年代末期以来，个人多媒体计算机也 逐步得到普及，同时宽带网络使得普通家庭也能够非常容易的连接到i n t e r n e t ， 作为个人计算机和i n t e m e t 的一种免费附加功能，人们开始热衷于一些即时通讯 软件( i m ，i n s t a n tm e s s e n g e r ) 实现的文字和音视频交流方式。这些即时通讯软件中 包括最早获得成功的i c q ，国内使用率最高的腾讯q q ，以及微软公刊的后起之 秀m s n 。这些软件能够存较低的带宽占用率的前提下实现质量较高的音视频通 讯。另外也有一些产品使用专用的软件和一台调制解调器实现p s t n 网络的视频 会议连接。它们的共同缺点是必须依赖于一台p c 机，实际成本较高，安装部署 上彳i 够灵活方便。 近年来，随着m p e g 一4 和h 2 6 4 协议标准的推出和流媒体技术的发展，i p t v 成为视频业务的热点。以机顶盒方式接入成为又一种新的接入方式。目前机项盒 技术可将视频点播、上例、电话等通信集于一体，通过摄像机、电视机、麦克风 等音视频外设的配合，实现综合通信，该方式实质上也是通过宽带的接入来实现， 市场接受度的预期仍然1 i 明朗。 目前前景最明朗的视频会议系统当属集成化专用化的嵌入式通讯设备。这种 设备将显示器、摄像头、普通电话集成一体，形成一台独立的小型视频会议终端， 面向家庭用户则可看成一台可视电话终端。其特点是无须依赖于p c 机或其他专 用设备，成本进步降低。同时体积小巧，便于取代传统电话布置在办公室或者 家庭中。本文介绍的视频会议终端即属于此类。硬件上，它采用嵌入式技术，以 p h i l i p s 公司的t m l 3 0 0 多媒体处理d s p c p u 为核心来实现；软件上，采用p s o s + 嵌入式实时操作系统主要包括话音和图像的采集、编解码、显示、回放，码流 复用及通信控制等功能模块。 中国利学技术人学坝i 。毕业论文 1 3 研究目的和意义 由上述视频会议系统的历史司见，普及视频会议系统的关键因素是成本因 素。目前国内外对可视通讯的研究比较多，但大部分都停留存理论研究的阶段。 我们的当务之急是如1 口j 实现一个系统并在此基础上提高性能价格比。同时，设计 过程中应保证系统的可靠性。 本文拟对软件系统的设计和实现中的优化展开研究，存提高系统i _ j 靠性方面 也作了一定的探讨。 中国科学技术大学硕二l 靼i k 论文 第二章视频会议系统的软硬件结构 2 1 视频会议系统的硬件结构 为了降低系统的硬件成本，我们决定采用嵌入式系统来设计视频会议系统的 硬件结构。我们的硬件系统使用p h i l i p s 公司的p n x l 3 0 2d s p c p u 作为主c p u 。 采用p h i l i p ss a a 7 1 13 作为视频解码芯片，p h i l i p ss a a 7 1 2 1 作为视频编码j 苎片， p h i l i p su d a l 3 4 4 作为音频编解码j i ! ! j ：片。同时使用基于以太l 删的l a n 作为传输 媒介。硬件结构框图如下所示。 、；j 镪蘸秘嚣“ i 露：彝势头 f0 s a a t i i j 、 、 s a a 7 2 l t 4 l ，- - - - - - t u - - r ，- - - f 一- - - - - - u 一u - u - - - j 甲b p n x l 3 p u 0 2 卜一p c i x i o , 雠, i b l o c k e d 一个正在r u n n i n g 的任务变成b l o c k e d 的条件是： 1 正在r u n n i n g 的任务从一个空消息队列中请求消息( qr e c e i v e d q _ v r e c e i v e ) 。 2 等待一个当前处于非p e n d i n g 状态的事件发生条件。 3 请求一个当前并小可用信号量令牌( s mpw i t hw a i t ) 4 请求一个互斥量锁定，而此时这个互斥量正被其他任务锁定。 5 等待一个条件变量( c vw a i t ) 或者事件( e vr e c e i v e ) 。 6 请求当前不可用的内存( r ng e t s e g 或者r n g e t b a t ) 7 自己暂停段时间( t f n 、v k a 毹r ) 或者暂停到某个时间( t m w k w h e n ) b l o c k e d r e a d y 一个b l o c k e d 状态的任务变成r e a d y 状态的条件是： 1 一个消息进入消息队列( s e n d q v s e n d ，q _ u r g e n t q v u r g e n t q _ b r o a d c a s t qv b r o a d c a s t ) 在这个消息队列里，b l o c k 已经处于等待，并曰b l o c k 处于等待队列的最前面。由此可见，r e a d y 是一个临界状态。 2 一个事件发向b l o c k 的状态( e vs e n d ) ，满足了它等待的事件条件。 3 一个信号量令牌返回( s h l v ) ，并日b 处于等待成员中的最前面。 4 一个互斥量释放，并且b 处于等待队列的最前面f m l lu n l o c k l 5 条件变量释放，并且b 处于等待队列的最前面。 6 内存区返回( r n _ r e t s e go rr n r e t b a t ) 使b 等待的内存可用。 7 b 等待带暂停选项的的事件，消息，信号量，互斥量，内存区，当这个暂 停时l 。田至0 的时候b e 8b 被延迟，并目它的延迟时问到达 中国科学技术人学坝l 毕业论义 9 b 等待的消息，信号量等被另一个任务删除 b l o c k e d 一 r u n n i n g 一个b l o c k e d 状态的任务变成r u n n i n g ：i 犬态的条件是： 1 任何一个b l o c k r e a d y 的条件发生，b l o c k 状态比起撮后处于r u n n i n g 状 态的任务有更高的优先级。而目这种可抢占的的选项被打开的时候，这个b l o c k 状态就转为r u n n i n g 状态。 r e a d y - r u n n i n g 一个处于r e a d y 的状态的任务变成r u n n i n g 的状态的条件是，当最后一个 r u n n i n g 的任务满足下列条件： 1 被b l o c k s ，参考被b l o c k 的条件 2 重新打开抢占选项，并且此时的r e a d y 状态的的优先级高于r u n n i n g 状 态。 3 抢占选项被打开，并且r u n n i n g 状态改变了它自己或者r e a d y 状态的优 先级，使得r e a d y 状态的优先级比自己的优先级高，并且比其它所有任务的优先 级都高。 4 时间片用完，根据r o n n d r o b i n 的规律，轮到r e a d y 状态变成r u n n i n g 状 态了。并且r e a d y 状态的优先级跟r u n n i n g 状态的一样。 r u n n i n g 一 r e a d y 一个处于r u n n i n g 状态的任务变成r e a d y 状态的条件是： 由r u n n i n g 状态发出的系统调用或者i s r 引起的b l o c k 状态一 r u n n i n g 状态 的条件发生的时候则r u m l i n g 状态变成r e a d y 状态。 关于更具体的内容，可以参考p s o s + ； h 关文档。 5 1 3 视频会议终端软件系统的任务调度 视频会议终端的软件系统是一个很复杂的系统，在通话过程中需要同州执行 大量的任务，其中有些还相当耗费c p u 资源。如果小考虑任务间的调度问题而 任各任务自由使用c p u 资源，则必将导致资源分配的一、平衡。 在视频会议终端的软件系统中，参与任务调度的，包括各项任务( l a s k s ， 中国科学技术人誓硕：l 毕q k 论文 参见5 1 2 节) ，以及各种硬件中断列应的终端处理函数( i n t e r r u p ts e r v i c e r o u t i n e s ，i s r s ) ，各任务之间采用时间片轮转的算法轮流执行。其中，各项任务 是参与调度的主体，i s r s 的触发将暂时停止任务的调度，因此必须越短越好， 除了必要的数据操作以外，其功能仅仅是给其他任务发出一个信号，剩下的工作 交由各项任务来处理。 系统中需要并行执行的任务包括： 1 主通信任务。该任务进行与h 3 2 3 协议栈相关的各项操作，包括q 9 3 1 信令和h 2 4 5 控制命令的处理，以及逻辑信道中音视频数据的发送接收等。参见 3 3 2 节，该任务的核心就是无限循环中的s e l i s e l e c t 函数。由于此函数并小耗费 很多c p u 资源，因此在调度上不必为其分配过多资源。 2 g u i 任务：该任务用于实现人机交互接口，包括界面的切换与绘制，资 料信息的查询显示，用户输入的响应等，详见4 1 节。此任务的实时性要求最低， 大部分时间都处于等待键盘事件的b l o c k e d 状态。 3 音视频编解码任务。同时执行的音视频编解码任务可多达4 个，他们当 中的每一个都可能非常耗费c p u 资源，因此在等待数据时，切小可将宝贵的c p u 时间浪费在毫无意义的w h i l e ( 1 ) 循环中。如果要等待数据，正确的做法是采用操 作系统内核的信号量或者消息机制( 例如使用e v r e c e i v e 函数) ，把c p u 时间节 省下来给其他任务使用。 在视频解码任务中还需要实验一个额外的功能，就是叠加上一个o s d ( o n s c r e e n d i s p l a y ) 菜单，可以方便用户存通话过程中随时调整参数选项。o s d 的实现方法类似于g u i 系统不过要简化得多。 另外系统中涉及到任务调度的i s r s 包括： 1 音频数据输入i s r 。每当c p u 的音频输入模块将采集到的样本数据填满 指定的缓冲区时，将触发该i s r 。此时该i s r 应当给音频编码任务触发一个事件 ( 使用e vs e n d ) ，使其从b l o c k e d 状态回到r e a d y 状态。 2 视频数据输入i s r 。每当c p u 的视频输入模块采集到完整的一帧时，将 触发该i s r 。此时该 s r 应当给视频编码任务触发一个事件f 使用e v - s e n d ) ，使 其从b l o c k e d 状态回到r e a d y 状态。 3 音频输出i s r 。当c p u 的音频输出模块用光一块缓冲区的数据h 一将触发 该i s r 。由于采用了双缓冲区技术( d u a l b u f f e r ) ，此时音频输出模块会使用另一 块缓冲区，因此必须在用完第二块缓冲区之前将第一块填满。i s r 需要向菁频解 中圈科学技术人学硕上毕业论文 码任务触发一个事件( 使用e vs e n d ) ，激活解码任务从扫动缓冲区( 详见4 3 2 节) 中取出足够的数据解码，并填充空的播放缓冲区。 4 视频输出i s r 。视频输出i s r 与音频输出i s r 有所小同，音频输出要求 绝对不能有重复的数据，而视频输出则可以连续几帧显示同样的画面，造成的结 果仅仅是用户感觉画面的动态效果变差。同时，由于视频编解码器非常耗费c p u 资源，通常无法保证存视频输出一帧的时间内狭得解码后的一帧i 1 | 面。【划此我们 将视频解码器的解码结果保存在一块解码缓冲区内，视频输出i s r 的工作仅仅是 将该缓冲区内的数据复i i l i i ! i 视频输出缓冲区中。 5 键盘i s r 。每当有按键被按下时触发该i s r 。此时需要向g u i 任务发送 事件，以激活该任务。 这些任务和i s r s 中，容易引发数据访问冲突的是主通信任务和两个懈码任 务。当主通信任务试图向抖动缓冲区中写入数据时，如果并发任务同时电试图从 其中读取数据就有可能发生错误。因此，对捌动缓冲区的访问必须通过使用信号 量的办法保护起来。具体的做法就是在访问语句之前加上m u l o c k 函数，布访问 语句之后加上m uu n l o c k 函数。 由于主通信任务的工作量l i d , ，因此在每次循环调用s e l i s e l e c t 之后，最好 使用t mw k a f t e r ( o ) i g l 数释放掉当前使用的时间片，让给其他任务使用。 各任务和i s r 的调度示意图如下所示。 图5 - 2 任务调度示意圈 中尉科学技术人0 ：顼i 毕北论文 5 2 视频会议终端的状态转换管理模型 下图是视频会议终端的状态转换图。 图5 - 3 系统状态转换示意图 视频会议终端的通话状态可能处于下列状态之一 表5 - 2 可能的系统状态列表 | 1 状态名称一。1j 含义。 s t a t e l d l e 空闲 s t a t e l n c o m i n g c a l l 收到来电，本地振铃 s t a t e a n s w e r e d已应答，开始建立通话连接 s t a t e c a l l i n g j e 在呼叫剥方 s t a t e r e m o t e r i n g i n g 剐方收到来电并振铃 s t a t e c o r m e c t e d通话进行中 s t a t e l o c a l d r o p p i n g 本地挂机 s t a t e r e m o t e d r o p p i n g 对方挂机 s t a t e d i s c o n n e c t e d 连接终止 下一节将结合会话流程详细描述这些状态及其转换条件，以及在状态转化时 应当执行的操作。 5 3 会话流程 在终端启动初期，系统处于空闲状态( s t a t e l d l e ) ，等待用户向外呼出或者其 他用户的呼入。 5 3 1 用户向外呼出 在用户向外呼出日j ，有可能发生如下的各种状态转换 中国科学投术大学坝_ 1 毕业论义 5 3 1 is t a t e l d | e _ s t a t e c a l l i n g 当用户输入号码完毕，开始呼口q 时发生这种状态转换。存发生这种转换蚓 主通信任务应当开始执行h 3 2 3 建立连接过程，例如发送s e t u p 信令等。此州 g u i 上面也应当弹出“正在呼叫剥方”提示窗口。 5 3 1 2s t a t e c a l l i n g1 s t a t e r e m o t e r i n g i n g 如果对方在线，并日能够接收到呼叫请求那么应该返回一个a l e r t i n g 信令，本地收到此信令之后即从c a l l i n g 状态转换到r e m o t e r i n g i n g 状态。当此 转换发生时，应当使本地输出仿真的振铃音，提示用户对方正存振铃。 5 3 1 3s t a t e r e m o t e r i n g j n g _ s t a t e a n s w e r e d 一旦对方同意应答呼叫，就会返回一个c o n n e c t 信令，本地收到此信令 之后就从r e m o t e r i n g i n g 状态转换到a n s w e r e d 状态。此时应当继续h3 2 3 连接 建立过程，包括开启h 2 4 5 控制通道和逻辑通道等。 5 3 1 4s t a t e r e m o t e r j n g i n g s t a t e r e m o t e d r o p p i g 相反，如果黟方不同意应答呼口q ，就会返回r e l e a s ec o m p l e t e 信令， 本地收到此信令之后就从r e m o t e r i n g i n g 状态转换到r e m o t e d r o p p i n g 状态。此 时应当输出忙音，并通过g u i 通知用户列方拒绝应答。 5 3 1 5s t a t e r e m o t e r i n g i n g _ s t a t e l o e a l d r o p p i n g 如果在等待对方摘机的过程中本地放弃呼叫，就会从r e m o t e r i n g l n g 状态转 换到l o c a l d r o p p i n g 状态。此时应当向对方发送r e l e a s ec o m p l e t e 信令。 5 3 1 6s t a t e a n s w e r e d _ s t a t e c o n n e e t e d 存对方发送了c o n n e c t 信令之后，相关的后续操作会依次完成。当h 2 4 5 控制信道和逻辑信道建立起来之后，系统就进入了c o n n e c t e d 状态，已经闭以开 始传送数据了。这时，g u i 应该隐藏，音视频编解码器应当开始工作。音卿! 输出 和视频输出都应当切换到解码器输出模式。 5 3 1 7s t a t e c o n n e e t e d _ s t a t e r e m o t e d r o p p i n g 存通话过程中，如果对方挂断了通话，则会开始逐步关闭h 2 4 5 逻辑睹道和 控制信道。此时系统进入r e m o t e d r o p p i n g 状态。此时本地应l 亥配合列力，关闭 ! 生翌坚! 塾查查堂塑：l ：望、业堡兰 对应的逻辑信道和控制信道，并在屏幕上提示“对方已挂断”。 5 3 1 8s t a t e c o n n e c t e d _ s t a t e l o c a i d r o p p i n g 如果是本地挂断了通话，则顺序刚好反过来，首先关闭本地发起的逻辑信道， 请求对方关闭对方发起的逻辑信道，然后关闭控制信道。屏幕上应该提示c 诈在 5 3 1 9s t a t e r e m o t e d r o p p i n g s t a t e d i s c o n n e c t e d 丌i 始挂断过程之后，如果所有的h , 2 4 5 逻辑信道和控制信道都被关闭了，则 h 3 2 3 协议栈就会发送r e l e a s e c o m p l e t e 信令，k f l g s & ad i s c o n n e c t e d 状态。 屏幕上提示“已挂断”，并提示忙音。同时，系统应陔释放所有通话过程中申请 的资源。 5 3 1 1 0s t a t e l o c a i d r o p p i n g ，s t a t e d i s c o n n e c t e d 同上。 5 3 1 1 1s t a t e d i s c o n n e c t e d _ s t a t e l d l e 用户挂机后，如果系统资源释放完毕，则进入i d l e 状念，继续等待下次呼 叫。 5 3 2 其他用户呼入 在其他用户呼入时，有可能发生如下的各种状态转换： 5 , 3 2 - 1s t a t e l d l e _ s t a t e i n c o m i n g c a l l 如果主通信任务在不断的查询过程中收到了某用户发送来的s e t u p 信令， 则从i d l e 状态进入| n c o m i n g c a l l 状态。发生此转换时，应该返回a l e r t i n g 信 令，同时用扬声器输出振铃音，并在屏幕上提示用户，包括呼叫方的地址或者别 名。 5 3 2 2s t a t e i n c o m i n g c a l l _ s t a t e a n s w c r e d 此时假如本地用户摘机表示同意接听，则进入a r t s w e r e d 状态。系统需要返 回一个c o n n e c t 信令，此时应当继续h 3 2 3 连接建立过程，包括丌启h 2 4 5 控制通道和逻辑通道等。 中国科学技术人学坝l 毕业论义 5 3 2 3s t a t e a n s w e r e d s t a t e c o n n e c t c d 在发送了c o n n e c t 信令之后，相关的后续操作会依次完成。当h 2 4 5 控 制信道和逻辑信道建立起来之后，系统就进入了c o j m e c t e d 状态，己经司以丌始 传送数据了。这时需要进行的操作与呼出时相同。 5 3 2 4s t a t e i n c o m i n g c a s t a t e l o c a l d r o p p i n g 如果本地用户选择拒绝接听，h 3 2 3 协议栈会返回r e l e a s ec o m p l e t e 信令，系统状态就转换到l o c a l d r o p p i n g 状态。 5 3 2 5s t a t e i n c o m i n g c a l l s t a t e r e m o t c d r o p p i n g 如果在对方在等待本地摘机的过程中主动放弃呼叫，就会从i n c o m i n g c a l l 状态转换到r e m o t e d r o p p i n g 状态。此耐应当向对方发送r e l e a s e c o m p l e t e 信令。振铃音应当停止，并记录下未接来电的地址或者假名。 5 3 2 6s t a t e c o n n e c t e d - s t a t e r e m o t e d r o p p i n g 此状态转换的条件和需执行的操作与呼出时相同。 5 3 2 7s t a t e c o n n e c t e d _ s t a t e l o c a l d r o p p i n g 此状态转换的条件和需执行的操作与呼出时相同。 5 3 2 8s t a t e r e m o t e d r o p p i n g _ s t a t e d i s c o n n e c t e d 此状态转换的条件和需执行的操作与呼出时相同。 5 3 2 9s t a t e l o c a l d r o p p i n g s t a t e d i s c o n n e c t e d 此状态转换的条件和需执行的操作与呼出时相同。 s 3 2 1 0s t a t e d i s c o n n e e t e d s t a t e i d i e 此状态转换的条件和需执行的操作与呼出时相同。 这旱没有考虑引入了g a t e k e e p e r 之后涉及到r a s 操作的状态转化。日i 入了 g a t e k e e p e r 之后，情况要复杂的多。对其进行讨论已不是本文的目的，因此略过。 中国科学技术人7 颂士毕业论文 第六章结论 本文是v - 1 8 0 0 视频会议终端可视电话项目的中相关研究开发的纪录和总 结。该终端的外形如图6 1 所示。 圈6 1v - 1 8 0 0 视频会议终端可视电活外观 此项目由中国科学技术大学电子科学与技术系罗玉i 7 教授领导，小组的其他 成员还有李德升，白琳，杨子夫，何洪路，钟文辉等。项目已经于2 0 0 5 年春季 顺利验收通过。图6 - 2 是我们自己搭建的网络测试环境。 如图6 2 所示，为了测试我们的视频会议终端的沟通能力阻及与标准的兼容 性，我们在网络上分别进行了它跟多种第三方视频会议终端的连通测试，包括台 湾丽台公司的视频会议终端，和l i n u x 下r a d v i s i o n 协议栈测试程序，和开放源 码项目o p e n h 3 2 3 终端g n o m e p h o n e 的沟通测试，和m i c r o s o f t 的n e t m e e t i n g 的 沟通测试，效果很好。测试过程中，所有的第三方终端都能与我们的终端保持无 错误的连接，同时画面流畅，声音清晰。同时，我们也测试了同关守( g a t e k e e p e r ) 的连接。我们将关守地址设置为迪! ! a ：型g ，这是一台澳大利业的关守服务器， 在v o x i l l a o r g 的连接u 志中，验证了我们的可视电话的正常连接。 我们的终端已于2 0 0 5 年1 月到国家泰尔实验室进行了入网许可测试，并最 终获得了入网许可。 中国科学技术大学坝十毕业论文 o p e n h 3 2 3g a t e k e e p e ra ta u s t r a f i a 黑嚣牌，熙计 图6 - 2 网络测试环境示意图 ! ! ! 型望垫查查竺堡兰竺些笙室 参考文献 1 w r i c h a r ds t e v e n s 范建华等译，t c p i p 详解，卷l ：协议2 0 0 0 年0 4 月 第l 版 2 】r f c 7 9 1 ：i n t e r n e tp r o t o c o l ，b ! ! p ；蜓! ! 鲨：i 翊：q ! 咝堕血q z ! ! ：哑19 8 19 f 3 r f c 7 9 3 ：t r a n s m i s s i o nc o n t r o lp r o t o c o l 皿p ：! 堑丛：坐：i 鲤：q 蛙出鱼幽z 旦三丛i 1 9 8 1