（通信与信息系统专业论文）会议电视系统终端的设计.pdf

摘要 f 会议电视系统是九十年代以来，世界多媒体通信技术领域的一个重要的研究课题。 i t u t 制订了一系列视听多媒体终端的标准，使个各国各厂商的会议电视产品能互通。 同时i s d n 网络的发展使得会议电视系统的广泛应用成为可能。 会议电视系统主要由通信网、多点控制单元和终端组成。而会议电视终端作为直接 面对用户的部分，其功能的完善、界面的友好及其成本等因素都将直接影响整个系统开 ，、一一 发工作的成败。j 本文在阐述整个会议屯视系统工作原理及相关r r u t 建议的基础之上。 o 。- _ _ _ o 一 着重探讨了会议电视终端的整体结构、实现原理和算法。各个章节基本按硬件、软件模 块的功能划分。 首先给出了终端的整体设计思路，对终端的设计工作进行了分解，提出了基于p c 机的插卡的方案。 然后介绍了终端睁里墨墨墓壹的电路设计和图象采集卡驱动软件的设计；以a d s p - 2 1 8 1 为核心的终端系统卡的设计；介绍了整个终端系统软件的设计。结合相关建议，着 重分析了h 2 2 i 模块和协议控制模块的功能，研究了相关的算法和规程，并给出了程序 流程图。 最后结合前述的设计思路，给出了本系统终端的结构及其软件结构。 f 文中也涉及到了终端软硬件设计开发中的一些技术问题和难关，并提出了切实可行 、 的解_ 决方案：例如帧，复帧的同步问题；c r c 算法；a d s p 2 1 8 1 负荷的定量分析以及会 议进程控制等问题。 藉要指出的是，本论文主要讨论了终端实现的原理方案及可行性分析，其中并未涉 及技术细节。并且在其中某些方面直接引用了课题组其他成员对建议的 人 理 a b s t r a c t v i d e oc o n f e r e n c i n gh a sb e i n gp a i dw i d e l ya t t e n t i o na l o n gw i t ht h ev i g o r o u sd e v e l o p m e n t o fi n f o r m a t i o ns o c i e t y i no r d e rt om a k et h ed i f f e r e n tt y p e so ft e r m i n a l so nd i f f e r e n tn e t w o r k s i n t e r w o r kw i t he a c ho t h e r , i t u - th a s p u tf o r w a r d as e r i e so f r e c o m m e n d a t i o n s m e a n w h i l e t h e d e v e l o p m e n to ft h ei s d nn e t w o r kp r o v i d e st h ep o s s i b i l i t yt h a tt h ev i d e oc o n f e r e n c es y s t e m c a l lb ew i d e l yd e p l o y e d t h ev i d e oc o n f e r e n c es y s t e mi sc o m p o s e do f m c u ，t e r m i n a l sa n dn e t w o r k b e c a u s et h e t e r m i n a li st h ep a r tt h a td i r e c t l yf a c e st h eb s e r s ，i t sf u n c t i o n s ，c o s ta n dt h ef r i e n d l i n e s st ou s e r s w i l lg r e a d yd e t e r m i n et h em a r k e t i n g p r o s p e c to f t h ew h o l es y s t e m t h i sp a p e r sf o c u si ss e to i l t h e d e s i g n i n gp h i l o s o p h y o ft e r m i n a l s b a s e do nt h e r e q u i r e m e n t o fr e l a t i v ei t u - t r e c o m m e n d a t i o n s ，w ew i l ld i s c u s st h es t r u c t u r e ，t h ep r i n c i p l e sa n dt h ea l g o r i t h md e p l o y e di n d e v e l o p i n g t h et e r m i n a l f i s tt h e r ei s 缸o u t l i n eo ft h et e r m i n a ld e s i g n ：at e r m i n a li ss e p a r a t e di n t os e v e r a lf u n c t i o n p a r t sa n d ap c b a s e d p l a n i sp r e s e n t e d t h e nt h ep a p e rp r o v i d e st h er e a l i z a t i o nm a n n e r so f e a c hf u n c d o np a r t ：t h ed e s i g no ft h e h a r d w a r ea n dt h es o f t w a r ed d v e ro f t h ev i d e og r a bc a r d ；t h ed e s i g no f t h et e r m i n a ls y s t e mc a r d w h o s ec o r ec o m p o n e n ti sa d s p 2 1 8 1 ：t h ed e s i g no f t h et e r m i n a ls y s t e ms o f t w a r e ，i nt h i sp a r t ， t h ec o n c e n t r a t i o ni so nt h ea n a l y s i so f t h eh 2 2 1m o d u l ea n dt h e p r o t o c o lc o n t r o lm o d u l e ，t h e r e l a t i v e a l g o r i t h ma n dt h ep r o t o c o l sa r ei n v e s t i g a t e da n ds o m ep r o g r a md i a g r a m sa r ep u t f o r w a r d a tl a s t ，b a s eo nt h ea b o v ea n a l y s i s ，t h ep a p e rr e a c h e si t sc o n c l u s i o n ：t h es t r u c t u r eo ft h e t e r m i n a la n dl t ss o f t w a r e i nt h i s p a p e r , t h e r ei n v o l v e ss o m ed i f f i c u l t i e se n c o u n t e r e dd u r i n gt h ed e v e l o p m e n to ft h e v i d e oc o n f e r e n c et e r m i n a l s ，s o m ef e a s i b l es o l u t i o n so r ep r e s e n t e d ，s u c ha st h ep r o b l e mo f f f a m e m u l t i f r a m es y n c h r o n i s m ，t h ec r c a l g o r i t h m ，t h ea d s p 2 1 8 1 sl o a da n a l y s i sa n dt h e c o n f e r e n c ec o n t r o lt h e o r y i ti sa l s on e c e s s a r yt on o t et h a tt h ep a p e rd o e sn o ti n c l u d ed e t a i l so f t h et e r m i n a ld e s i g nb y t h er e a s o no fb u s i n e s si n t e r e s t ，s o m e p a r t so ft h i sp a p e r a e d i r e c t l yq u o t e df r o mo t h e r c o l l e a g u e sw o r k i n gr e s u l to fo u rg r o u p 致谢 致谢 在攻读硕士学位期间，得到了导师陈常嘉教授在学习上、工作上极大的鼓励 和帮助。尤其在课题论文撰写过程中，陈常嘉教授在会议电视系统的模型理解和 实现方案方面提出了宝贵的见解，拓宽了思路。各位老师的谆谆教诲，无论在工 作或是学习方面都将使我受益非浅，借此机会表示衷心的感谢。 在此，还要感谢王庆文老师、蒋荔荔老师、朱刚老师、李纯喜老师、赵永祥 博士、陈庆华硕士、刘丽硕士以及参加会议电视系统方案论证工作的所有同仁， 与他们的讨论和交流使我的专业知识得以积累。 感谢曹霁梅女士长期以来对我的支持和鼓励。 第一章绪论 会议电视是一种交互式的多媒体信息业务，它在同一传输媒介上承载多种信息媒体 枧象，语音，数据等，并在多个地点之间实现了交互式的通信。在西方发达国家中迄 今广泛应用于政府、教育、医疗、商业等部门，发挥了真实、高效、实时的优点、提供 了简便和有效的管理，指挥以及协同决策的手段，愈来愈显示了它的优越性。 利用会议电视系统，任何部门均可以打破地域界限。在任何时间于图内或国外的机 构进行会议。自然的语言与清晰的图象，将用户和百里，千里之外的其他与会者之间的 距离缩短到面对面。使用户实时地体验到对方会场的气氛，获得十分自然的临场感，而 无须长途跋涉。会议电视系统还可以为用户及时传送所需的图文、图表、传真。广泛 地采用会议电视系统将使政府、教育、医疗、金融、能源、科技和商业等部门的工作效 率达大大提高，开支大幅降低。 会议电视系统作为一个新的技术热点，引起了众多开发商和用户的关注。随着微电 子、计算机、及图像处理技术的发展，会议电视系统在理论研究和实用系统研制方面都 得到了迅速发展。其发展主要经过模拟会议电视、数字会议电视和圜际统一标准的数字 会议电视三个阶段。 6 0 年代末期，在压缩编码技术推动下，由模拟系统转向数字系统； 8 0 年代初期研制出2 i f o p s 彩色数字会议电视系统，日本和美国形成非标准的国内 会议电视网； 8 0 年代中期，大规模集成电路技术飞速发展，图像编解码技术取得突破，信道费用 降低，为会议电视走向实用提供了良好的发展条件： - 8 0 年代末至今，多媒体技术、计算机技术、通信网络技术日新月异。原c c i t t ( 即 现在的i t u t ) 第1 5 研究小组形成了h 2 0 0 系列建议，规定了统一的视频输入、输出标 准、算法标准、误码校验标准及一系列互通的模式转换标准，解决了不同厂商设备互通 第一章绪论 问题，极大地推动了会议电视的发展。表1 1 给出了i t u - t 为各种网络环境下的会议电 视系统系统所制订的建议系列 网络 g s t nn i s d n 保证q o s 的不保证q o s 硝n l a n的l a n 信道容量 2 8 8 k b i t s1 5 3 6 1 9 2 06 1 6 m b i r s1 0 ，1 0 0 【b i 廿色6 0 0 m b i t s k b i t s 整个系统 h ：3 2 4h 3 2 0h 3 2 2h 3 2 3h 3 1 0 h _ 3 2 1 音频编码 g 7 2 3lg7 1 1 g 7 1 1 g 7 1 1 ，g 7 2 2 。og 7 1 1 ，g7 2 2 ， g 7 2 2 ，g 7 2 2 。 7 2 3 1 g 7 2 8 g 7 2 8 ，i s o i e c g 7 2 8g 7 2 81 1 1 7 2 3 视频编码 h 2 6 1 j 2 6 ：3h 2 6 lh 2 6 lh 2 6 1 h 2 6 3h 2 6 1 h 2 6 2 数据 t 1 2 0t 1 2 0t 1 2 0t 1 2 0l 1 2 0 系统控制 h 2 4 5h 2 4 2h 2 4 2h 2 4 5h 2 4 2 ，h 2 4 5 多媒体复接 h 2 2 3h 2 2 1h 2 2 lh 2 2 5 0 h 2 2 2 0 ， 于同步 h 2 2 2 1 呼叫信令国标q 9 3 1q 9 3 1q 9 3 1 ，h 2 2 5 0q 2 9 3 1 表1 1 不同网络环境下的声像通信系统 一般来讲会议电视系统分为会议室型系统和桌面型系统两种。我们所开发的是基于 i s d n 的桌面型的会议电视系统，与会议室型系统相比，它具有如下优点： 会议室型系统要求与会者必须置身固定的会议室中，要求会议室有交好的灯光条 件：而桌面型系统仅需一台个人电脑及一个小型摄像头，能够灵活设置安放，开会位置 不受限制，办公室及家庭均可，会议地点设置更加方便； 会议室型系统一般要求铺设专线，线路费用每年上百万元；而桌面型系统通过i s d n 交换机接入对用户而言，开会费用仅相当于几个用户电话通话费用。并且一般来说。 覆盖范围更加广泛。因此桌面型系统的开会费用更加便直，开会区域更加广泛； 会议室型系统要求铺设专线，要求固定的会议室，开会地点固定不变：而桌煎型 系统可以在任何地点与世界上任何人进行会议，其灵活性与广泛性是会议室性系统无法 比拟的。 本文将结合本实验宣的开发工作，介绍会议室型会议电视系统终端的的相关建议、 结构特点和设计思路： 首先介绍了整个会议电视系统的构成及各部分的功能：多点控制单元、终端、网络 和会议电视系统的的信号等； 2 第一章绪论 接下来，在第三章、第四章和第五章介绍了会议电视终端的硬件平台的设计思路 包括视频采集卡和终端系统卡。 最后，在第六章介绍了终端软件的结构和设计，并给出了软件结构图。 第二章会议电视系统简介 国际电联( i t u t ) 为会议电视系统制订了标准：i t u _ th 3 2 0 系列。依此建议桌面 型会议电视系统可采用的系统网络结构为： 图2 1 会议电视系统的网络结构 从图中可以看出会议电视系统由三部分构成：通信网络，会议电视终端和多点控制 单元( m c u ) 。下面分别对各部分的原理和功能做一简要介绍： 第一节m c u 的一般组成和功能介绍 会议电视系统的一个主要特点是具有群工作( g r o u pl f o r k i n g ) 能力，即不同人在 不同地点用多媒体终端合作处理文件或合作进行电视会议等会话型业务，从而实现多点 数据传输就目前的通信网而言，除局域网由于共享传输媒质而具有多点通信功能外， 几乎都只有建立点到点连接的能力，很难适应会议电视中多方和多连接的要求。因此， 只有引入必要的媒体控制和媒体交换功能，才能利用现有的通信网较为有力地对多点多 4 第二章会议电视系统简介 媒体通信给以支持。引入的媒体控制和媒体交换功能是集中在多点控制单元m c u 中实现 的。 多点控制单元( m c u ) 是会议电视系统中的关键组成部分，它完成会议电视系统中 多点控制所涉及的一切功能。主要包括会议进程控制、媒体信号汇接、切换等，它使得 会议电视系统之所以成为多点的多媒体通信。 在多点多媒体会议系统中主要使用“同播”( m u l t i c a s t ) 和“桥”( b r i d g e ) 两种 通信方式。同播是指某个用户的广播给其它多个用户( 如领导讲话、广播教室) 。桥是 指多个用户的信息合成之后再传送给多个用户，如会议讨论时需将多个与会者的信号合 成之后再分配，达到虚拟环境的效果。在实际通信中是二者的结合。 在会议电视系统中，m c u 的主要作用表现在： 1 会议管理t 方便与会者加入( 包括邀请、通知其它与会者等) ； 自动处理与会者的退出： 记录会议讨论结果并存档 与会议相关资料的套谰： 各媒体保持一定的独立性，以便增减媒体种类； 满足多种会议方式的管理要求。 2 语音 c 接：多个用户语音输入到m c u ，m c u 经过复合、切换之后再发给多个用户， 其功能包括： 音量控制； 不同语音编码方法间的译码； 关闭空闲信道以降噪； 话音增益控制； 语音混合或语音选大； 多个语音输入的切换、组合。 3 图像汇接：图像的传送包括图像的广播和图像的切换，由所选控制方式决定。 在主会场发言模式时，各分会场均收看主会场图像，而主会场任意选看分会场图像：在 分会场发言模式时，除发言的会场收看主会场图像之外，其余会场都收看发言的会场图 5 第二章会议电视系统简介 像，等等。 4 教据汇接：一般若接收单信号源的数据，m c u 将它广播给多个用户，这里不需要 解决竞争和统控制。若不是单用户发送数据，则需采用多层规程( m l p ) 。 5 系统缀联，在需要多级多点的m c u 级联时，有一个主m c u ，其余均为从m c u 。m c u 之间的联系与终端和m c u 的联系一样，m c u 把与之相连的另一个m c u 着作它的一个终端 看待。 i t u th 2 3 1 中给出了m c u 的细节描述，如图22 所示。 圈2 2l l i j 原理框图 从匿中可以知道，剃由两大部分组成：媒体处理器和一致的通信接口。媒体处理 器包括音频处理单元( a p u ) 、视频处理单元( v p u ) 、数据处理单元( d p u ) 和控制处理 6 第二章会议电视系统简介 单元( 肝) 四个模块，它们是黼u 的核心。通信接口部分包括网络接口、复用分用器、 呼叫控制器以及一个总的呼叫控制处理器。 下面分别简要介绍各功能实体： 1 分用器：流入分用器的信号是终端发出的完全符合h 2 2 1 建议的比特流，分用器 需完成以下功能： 恢复帧定位和复帧定位： 需要时对多个信道进行缓冲、同步和排序； 提取b a s 码并负责与主处理器通信； 需要时提取加密矢量字并进行解密； 提取音频信号并送给音频处理单元； 提取视频信号并送给视频处理单元： 提取数据信号并送给数据处理单元： 2 音频处理单元：对n 个音频输入信号进行切换、混合或两者的组合处理，从而得 到n 个输出音频信号，一般同时提供语音混合和语音选大两种功能。 3 视频处理单元：对输入视频信号进行切换、广播、分割屏幕等处理，视频信号的 切换可以是自动的话音激活方式，即当前的发言者( 音频信号最强者) 自动观看前一发 言者的图像，而其它与会者自动观看当前发言者的图像，并且这一自动切换需有一定延 时以避免由于咳嗽、碰撞话筒等带来的突发声响而使图像频繁切换：或者为主席控制方 式，即由会议主席决定广播某人的图像和语音。 4 数据处理单元：它可含有数据广播模块和m l p 模块或两者之一。 数据广播功能：由控制处理器来决定将来自某一终端的数据输出到其它终端。 在广播模式下数据分为低速率数据( l s d ) 和高速率数据( h s d ) 。l s d 是6 4 k b p s 以下 的数据，h s d 是6 4 k b p s 到3 8 4 k b p s 的数据。同时只能传送二者之一同时只能有一个端 口的输入数据被接收，而同时刻其它端口的输入数据将被忽略。 m l p 数据处理功能；这时数据处理器用来完成t 系列建议定义的多层协议( m l p ) 数据，完成以下全部或部分功能： 1 ) 处理电子字模信息； 2 ) 发送会议控制信号( 请求许可发言权、主席令牌控制、音频视频切换) 7 第= 章会议电视系统简介 在m l p 数据处理方式下，数据处理单元功能比较复杂，可以同时几方传送数据，i t u t 为会议电视系统中的m l p 数据传送制订了t 系列建议。 5 处理嚣单元：根据输入的b a s 信令，控制处理器单元确保将输入比特正确地分发 给音频、视频、数据处理器；确保将正确的语音解码算法运用到音频混合器的每一输出 上；确保将所有输入数据适当地送到数据广播单元或m l p 处理器。 输出b a s 命令：控制处理器单元确保将正确的语音编码算法运用到音频混合器 的每一输出上并且确保始终按用户的要求进行音频切换或合成；确保对视频处理器单 元的每一输出按照用户要求进行视频切换或组合；在切换视频信号之前的建立时间内 控制处理器单元还需向所有有关终端发送v c f ( 图像冻结请求视频命令) ，并向提供图像 源的终端发送v c u ( 快速更新请求视频命令) 。另外控制处理器单元还针对接入会议的终 端的能力声明切换不同的输出流模式，以适配不同的音频、视频、数据组合。会议多点 命令m c c 、对称数据发送多点命令m c s 、取消m c s 的多点命令m c n 可用来控制。 存储能力码：存储和管理每个会议所有终端的能力码，并且当终端能力更新时， 重新登记器能力。 发送终端能力码：根据h 2 4 3 向终端发送能力码。 会议控制处理：会议控制包括选择要发送的视频信号( 本系统采用语音激活方 式) ：选择要发送的音频信号；管理数据令牌和数据发送：给终端和m c u 分配序号；管 理身份标志信息；管理终端的加入与退出等。 第二节通信网络 会议电视系统目前通常建立在专用网络、局域网或i s d n 网上。多点多媒体会议电 视系统可以遁过公用网来通信，这样在网中只需设几个m c u 即可满足要求，面不必过多 考虑网络管理。而使用专用网就不能很好地推动多点会议电视系统的推广：建许多专用 网是不现实的这主要是由于资金和兼容性的问题。在公众应用时，多点会议电视系统 必须建立在公众网络上。p s t n 、p s d n 、i s d n 和将来的b - - i s o n 的发展能满足多媒体会议 电视的需要它们必将成为未来会议电视系统应用的主流。而我们选择i s d n 网络开发 会议电视系统，是由于它具有以下一些优点： s 第= 章会议电视系统简介 1 可获得性：用户在世界上大多数国家都可以接入i s d n 网络 2 带宽：终端可以为基本接入( 2 b + d ) ，其带宽为1 2 8 k ，可以满足个人用户和企业 的一般性小范围日常的会议应用：也可以为基群接入( 3 0 b + d ) ，9 2 够达到很好 的图象、声音质量。适合于大型的会议室型会议。还有一些中间带宽可以选择 如6 b 终端等。 3 可靠性：一旦连接建立，带宽就已指定，同时即可保证业务质量。 4 互通性：i t u t 已经为基于i s d n 的会议电视系统建立了一系，崾e 议，即h 3 2 0 系列不同厂家的会议电视产品只要严格地遵守此建议即可实现互通：同时h 3 2 0 系列从某种意义上说是一个垄断性标准基于其他网络的会议电视系统都要求 能够与其互通。 对于在i s d n 网上开发会议电视系统主要考虑以下几个方面： 在i s n d 未来实现会议电视通信，存在两种信令的管理：一种是网络连接信令， 另一种是多媒体会议系统的信令。网络连接信令基本接入( 2 b + d ) 中是在d 信道中发 出的，包括路由选择、网中组帧格式、连接、拆线等，这在会议电视系统中称为带外信 令( o u t b a n ds i g n a l i n g ) ；会议电视的信令包括多种信息业务的速率选择、会议召开和 结束等，称带内信令( i n b a n ds i g n a l i n g ) 它由m c u 与终端共同完成。 i s d n 网络中m c u 可以设在任意位置，多个终端可先经m c u 再与网络联系，也可先 经网络交换机后通过m c u 通信。 i s d n 阚提供了两种接口：一种是2 b + d 基本速率接口( b r i ) 另种是基群p c m 接口( p r i ) 。使用p r i 传送多媒体信息可以得到很好的图像质量，丽在条件不允许的情 况下，使用b r i 接口或多个b 接口可以节约信道，节省资源。 第三节会议电视终端 终端设备提供视频音频数据的输入输出，会议控制终端管理等功能。终端结构 如图2 3 所示，图中： 1 _ 视频i l o 设备包括摄像机，监视器，录象机等： 2 音频i o 设备包括话简回声消除器，调音设备，音箱等： 9 第二章会议电视系统简舟 3 电子字楼设备( t e t e m a t i ce q u i p m e n t ) 包括电子自板，静止图象传送设备。用 以增强基本的会议电视通信。h 3 2 0 标准对图表、图片、文件的数据部分未做明确规定。 为了保证系统互通性，我们借用t 1 2 0 系列标准。t 1 2 0 系列规定了支持数据通信的网 络传输规程支持数据的标准应用的规程，同时给出了多点通信与会议控制方式的规程。 4 系统控翻单元，端到端的信令是会议电视系统的内部信令系统，完成会议的建立， 管理和释放等控制。端对网络的信令是业务承载网络的信令它不属于建议阐述的内容； 5 视频编解码器：完成减少视频信号冗余度的编码以及相应的解码。图象编码是会 议电视系统的核心。实时图像不经压缩进行传输需要很宽的带宽。比如p a l 制式的图像 1 4 0 0 h 2 6 1 建议h 2 2 l 建议_ 景列建议 视频输入黼出设备h 视频桶卜 i 译码髓l h ：瑚f a v3 5 0 0 系孰睫诎“ 复用器 r _ 一 翎姒黜潞h 黧恤丑 ， 网络 分用器接口 t 系列i - l 2 0 0 1 a v2 1 0 菜列建议簪 1 附加循息终崩设备r h2 4 2 h 2 3 0 h 2 2 1 建议 缚螭勤耋簪嫡藩令控制和指示f 累撬控制 j蟪湍盈i 网拽偿套l 困 圈2 3 终端结构示意图 由7 6 8 5 7 6 个象紊组成，每个象紊用2 4 比特表示，实时传输要求每秒2 5 帧，这总带 宽为2 4 8 m b p s 这在当前的i s d n 网络上传输是无法做到实时的。在会议电视系统中图像 鄯是经过压缩后传输的。i t u th 2 6 1 规定了会议电视中活动国像压缩标准，它采用帧 间预测、运动补偿和d c f 等混合压缩编码方法、规定了两种信源处理格式：c i f ( 2 8 8 3 5 2 ) 和q c i f ( 1 4 4 x 1 7 6 ) ，传输速率为p 5 4 k b p s ( p = l - - 3 0 ) ，可覆盖整个i s d n 信道。 对于基本速率接口b r i 。一般使用p = l ，即一个b 信道，传送视频这采用q c i f 格式， 可使图像质量基本满足用户要求。目前已有l i2 6 1 图像编解码的专用卡，如c - - c u b e 、 i n t e l 、c l i 等的h 2 6 1 图像卡。i t u th 2 6 1 编码速度快，价格合理，适合于会议电视 l o 第二章会议电视系统简介 的场景传送，但由于它采用运动补偿等算法，图像质量不如3 p e g 、m p e g 。尤其当场景变 化很大时，其图像质量较差。为弥补这一缺陷，有些终端配有5 p e o 卡用来传送静止图 像，如文件、黑板、图画等需较高清晰度的应用。图像处理有时还配有m p e g “回放”功 能。“回放”只有解码功能，经过m p e g 压缩的录象传给其它终端，以便实时观看录象。 6 音频编解码罂：完成减少音频信号冗余度的编码以及相应的解码。音频处理单元 包括语声的编码与解码、压缩与解压缩。它必须支持g 7 1 1 建议的p c m 编码，也可选择 支持g7 2 2 子带a d p c m 编码( 4 8 、5 6 或6 4 k b p s ) 、g 7 2 8 低延迟1 6 k b p s 编码。 7 音频通道延迟：补偿视频编解码器的延迟，以保持唇同步，即对口形提供所显 示的人物讲话动作与讲话声音同步的感觉。 8 复用分用单元：把要传送的视频、音频、数据和控制信号复合成单一比特流： 把接收到的h 2 2 1 比特流分解成相应的各种媒体信号，送给相应的单元进行处理。会议 电视系统要传送各种信息，各种信息的速率也要随用户的需求功能而改变。 9 网络接口：在网络与终端之间按照i 4 0 0 建议系列定义的用户一网络接口要求进 行必要的适配。终端所有信息复合后由网络接口单元发送到网络，网络接口单元接收网 络信息给终端。网络接口单元负责网络的连接、拆线、时钟提取、网络帧同步等功能。 本文所讨论的多点会议电视系统是建立在i s d n 网络上的，网络接口主要有两大类：基 本接入和基群接入。基本接入由两条全双工的6 4 k b p s 的b 信道以及一条全双工的1 6 k b p s 的d 信道组成，总比特率为1 4 4 k b p s ，而成帧、同步及其它管理开销比特使基本接入链 路的总比特率达到1 9 2 k b p s 。基本接入可以满足对图像质量要求不高的用户的需求。基 群接入用以具有更大容量要求的用户。典型情况下，这种传输结构用来支持3 0 个b 信 道( 1 9 2 0 k b p s ) 和一个d 信道( 6 4 k b p s ) a 第四节4 t 9 电视业务中的多媒体信号 会议电视中的信号分为视频信号、音频信号、数据信号和控制信号几类。 视频信号是连续业务量，要求实时传送。分配给视频信号的比特率应尽可能高，以 便可用信道容量内使图像质量最佳。 音频信号也是连续业务量，也要求实时传送。 第二章会议电视系统简介 数据信号包括静止图像、传真、文书以及其它媒体。这一信号只有在要求时偶尔发 生，可以暂时所有或部分视听信号内容。数据信号是为了增强基本会议电视的功能而设 的可选项，因此翥终端之闻协商后确定是否打开此信道。 控制信号定义了系统的一些控制功能。端到网络的控制由d 信令提供而网络内部 的信令( c i 引起接收器状态改变的“控制”和提供诸如系统功能信息的“指示”) 由比特率分配信号b a s 信道提供，必要时由公务倍道s c 提供。 2 第三章终端的总体设计 第一节终端的协议框架 图3 1 给出了终端设计中所要遵循的协议堆栈模型 呼叫 削倒刻罡 控制 多媒体复接与同步 网络适配 网络接口 依据此协议堆栈，国内外目前已研制生产出h 3 2 0 、h 3 2 3 、h 3 2 4 、h 3 2 1 、h 3 1 0 多媒体视听终端设各，其设备结构如下： 1 h 3 2 0 终端 h 3 2 0 终端是目前市场上应用最多的终端，其各单元应符合以下标准： 视频编解码：i t u th 2 6 1p * 6 4 k b s 视听业务的视频编解码。 i t u th 2 6 3 低比特率通信视频编解码。 音频编解码：i t u 玎g 7 1 1 脉冲编码调制。 i t u tg 7 2 2 自适应差分脉冲编码。 i t u tg 7 2 8 短时延码本激励线性预测编解码。 系统控制：i t u th 2 2 1 视昕业务中6 4k 到1 9 2 0 k 信道的帧结构。 i t u th 2 4 3 ： 第二章会议电视系统 鹰介 i t u 一+ i h2 3 0 ； i t u th 2 4 2 。 2 h 3 2 4 终端 工作于p s t n 上的多媒体终端，其各单元应符合以下标准： 视频编解码：i t u th 2 6 1 ，i _ th 2 6 3 。 音频编解码：盯u _ tg 7 2 3 用于5 3 k b l s 及6 3 k b s 传输双速率的多媒体语音编解码。 复用协议：i t u th 2 2 3 用于低比特率多媒体通信的复用协议。 数据协议：l a p m 调制解调器链路接入规程。 i t u tv 1 4 在同步承载信道上传输起止式字符。 调制解调器：i t u tv 3 4 p s t n 及点对点租用线路上以高达2 8 8 k b s 速率操作的调制解调器。 i t u tv 8 在p s t n 上开始数据传输会话的规程。 控制协议及规程：协议：i t u th ，2 4 5 。 规程：简单再传输规程( s a p ) l a p m 规程。 3 h 3 2 3 终端 工作于不保证业务质量的l a n 上的视听多媒体终端。这类l a n 包括以太网、令牌 总线、令牌环网、高速以太网、f d d i 等。业务质量的相关参数主要指网络带宽、吞吐 量、数据差错率、数据丢失率及传输时延等。h 3 2 3 终端提供实时的双向音频、视频和 数据通信，吾单元应符合以下标准： 视频编解码：l t u 。th 2 6 1 ，i t u th 2 6 3 。 音频编解码 i t u t g 7 1 1 ，g 7 2 2 。g 7 2 8 g 7 2 3 。 控制协议：i t u - th 2 4 5 多媒体通信控制协议。 呼叫控制： 1 1 u t q 9 3 11 号数字用户信令系统( d s s l ) 基本呼叫控制信令规范。 i t u th 2 2 5 0 不保证业务质量的局域稠上可视电话系统的媒体流分 装和同步。 4 h 3 2 2 终端 h 3 2 2 终端除具有l a n 的接口外，其它单元均与h 3 2 0 终端标准定义相同。 5 h 3 2 1 终端 1 4 第二章会议电视系统简介 h3 2 3 终端由1 4 3 2 3 终端与宽带适配器( b - t a ) 组成。 宽带适配器符合以下标准： l t u - tl 3 6 3 ：b i s d na t m 适配层( a a l ) 规范。 i t u t1 3 6 1 ：b i s d na t m 层规范。 i t u - t1 4 1 3 ：b i s d n 用户网络接口。 用户到网络信令应符合以下标准： i t u i tq 2 9 3 1 ：b - i s d n 数字用户信令系统n o 2 ( d s s 2 ) ，基本呼耐，连接控制的 用户网络接口3 层规范。 6 h 3 1 0 终端 h 3 1 0 终端是工作在宽带网络上的视昕多媒体终端。由h 3 1 0 终端、a t m b - i s d n 网络多点控制单元组成。 终端设计时严格地遵守协议是必要的这是出于互通性的考虑。在这里，互通有两 方面的含义，一方面是指不同厂家所开发的同一类型终端之间的互通；另一方面指不同 类型的终端之闻的互通。对于公网上的面向公众应用的会议终端，互通性差将使其应用 和推广受到极大的限制。 第二节h 3 2 0 终端任务分解 根据上一章的介绍的终端功能和本章第一节所介绍h 3 2 0 终端协议框架。我们将终 端分解为以下功能模块： 1 视频信号的预处理：视频信号的采集和转换； 2 视频信号的压缩解压缩： 3 音频信号的压缩解压缩； 4 数据会议应用模块： 5 h 2 2 1 模块：将本地的各种媒体信号( 视频、音频、数据) 及控制信号组成h ，2 2 1 帧发送给m c u ( 包括c r c 的生成) ；从接收到的h 2 2 1 帧中拆分出各种媒体信 号和控制信号送相应的处理单元( 包括同步搜索与c r c 检验) ； 第二章会议电视系统简介 6 会议进程控制：通过h 2 2 1 帧中b a s 信号的产生、发送、接收、处理等过程动 态地与与会的其他终端和m c u 进行能力交互、事件处理等工作。并管理会议进 程：会议的初始化、模式转换、图象选看、数据广播、用户发言权申请、会议 结柬等。： 7 会议管理： + 基本会议管理功能：本终端的加入、退出、申请数据令牌和主席等； + 会议主席功能：若某一终端成为主席，此终端应能完成会议的召集、建立、终 结，节点的邀请、驱逐等功能 8 d 信道处理： 9 会议界面：视频大小质量控制、音频控制、呼叫拨号、错误告警、文件传送等a 第三节h 3 2 0 终端设计方案 根据上一节所进行的任务分解，我们采取如下方案设计终端： 1 基于p c 机平台开发会议电视终端 目前微型计算机的广泛应用与普及，已使计算机的应用领域从传统的科技计算扩展 到资料管理、办公自动化、工业控制、通信网等许多部门。使当代社会进入了信息社会。 i b mp c 及其兼容机是微机系列的主流，个人计算机中的代表。随着微机技术的发展，p c 更新换代经历了8 0 8 6 8 0 8 8 、2 8 6 、3 8 6 、4 8 6 、到p e n f i u m 。机型分为p c x t 、p c a t 两 种，速度从早期的4 7 7 m h z 到目前的3 3 3 m h z ，总线标准从i s a 、e i s a 、v e s a 发展到 p c i 。这种类型的计算机的共同特点是以i n t e l 8 0 8 6 系列芯片为c p u ，均支持d o s 和 w i n d o w s 操作系统，有丰富的程序语言和应用软件支持，也有大量的技术手册和研究资 料，由于p c 机的广泛应用，针对p c 机开发的各种接口板( 即扩展板和插卡) 也越来 越多，其中包括各种数据的采集系统、各种加速板、不同档次的图象编译码器、通信协 议板等。终端可利用p c 机作为宿主机来进行开发，即p c b a s e d t e r m i n a l s 。 从开发人员的角度考虑，直接利用微机系统，将会议电视终端开发成p c 插卡，可 以宜接利用微机的可靠的电源、强大的显示功能以及被广泛接受的计算机机箱造型等， 使开发力量和资金集中于终端功能的完善。以p c 为宿主机开发终端，还可以充分利用 6 第二章会议电视系统简介 微机系统的资浦，如系统中断、o 端口、存储器管理等等，给开发工作带来极大的方 便。还可利用c + + 、宏汇编等优秀的软件开发语言：b i o s 、d o s 、w i n d o w s 等优秀的 低层系统：利用市场上现有的图象卡、采集卡、语音卡、通信卡等现成的产品和技术， 缩短开发周期。另外，利用微机系统可以增加终端的开放性，这一方面有利于终端自身 功能的扩展和软件的升级；另一方面随着微机技术的发展，新的成果、新的技术可以很 方便地嫁接引入到终端中来。 从用户地角度来讲，p c 作为一种主要的办公和科研工具，目前已成为用户文件、 财务数据、报告和其它日常工作所需资料的资料库。而任何的生产、交易活动都意味蓍 与上级、同事、用户或是经销商信息的互通。通信的清晰、准确在商业话动中是至关重 要的。当今的商业通信是指从我们的计算机中取出信息并把它传送给他人。这个过程通 常要包括：打印p c 文件、传真或邮寄文件、接下来通过电话讨论或修改信息、最终定 稿。每一个步骤都要耗费很多时间，并且还可能产生信息传递错误。 基于p c 的会议电视系统改进了这一过程，允许用户直接通过p c 与他人通信而省 去了很多中间步骤。使用基于p c 的会议电视系统，其它人可以与你一样直接通过p c 看见你的文件，通过适当的软件，你们可以共同讨论修改此文件。同时用户还可以看见 对方，这样微妙的身体语言和面部表情也可以传达给对方，这些是通过传真、电话、电 子部件所不能实现的。这样，通过基于p c 的会议电视系统用户既节省了时间又避免了 通信过程中有可能产生的错误。 p c b a s e dt e r m i n a l s 是目前所广泛采用的一种桌面型会议电视终端的设计框架，我 们所确定的终端方案也是基于p c 的。 2 两块插卡构成终螭的硬件平台 针对终端的各任务模块，我们使用两块插卡来构造终端的硬件平台。这两块插卡包 括一块视频采集卡，一块终端系统卡。 视频采集卡主要完成视频采集和视频信号的转换，此卡基于p c i 总线，详细的设计 方案及功能介绍见第四章； 其他一些功能如音频编解码、h 2 2 1 组帧，拆帧，d 信令处理b a s 码处理等功能都 由系统卡来完成。此卡的设计的核心芯片为a d s p 2 1 8 1 ，此卡也基于p c i 总线，详见第 五章。 7 第二章会议电视系统简介 两块插卡与上层软件协同工作，从而实现终端的各种功能。 3 软件完成其他工作z 本终端设计中的软件主要分为两种：片上软件( o n c h i ps o r w a r c ) 和主机软件( h o s t s o h u a r e ) 。 片上软件主要是指用汇编语言编写的d s p ( a d s p 2 1 8 1 ) 和微处理器( 8 0 1 8 8 ) 软 件。它们完成话音的压缩解压缩、h 2 2 1 复接分接、同步搜索、c r c 校验、b a s 有效性 判断、d 信道处理等工作并与主c p u 通信。 主机软件指用v i s u a lc + 十语言编写的软件，完成视频采集卡的驱动、用户界面、 会议进程控制、接收b a s 的处理、发送b a s 的形成、状态告警、呼叫控制、视频压缩 解压缩等工作，并对片上软件的工作进行控制。 本文第六章将对软件进行详细的介绍。 第四章图像采集卡的设计方案 第一节硬件设计 图像采集卡是会议电视终端的重要组成部分，是终端设备的视频输入设备，是会议 电视系统传输图像的基础。 视频采集卡的功能是完成将摄像机输出的标准模拟信号通过a d 变换，并按一定要 求，如c c i r 6