（通信与信息系统专业论文）基于dsp的图象分屏系统.pdf

一 一 摘要 摘要 关键词：多级多点会议电视系统， 图象压缩编码，数字信号处理器， 图象分屏，c h e n d c t 多级多点会议电视系统是九十年代世界多媒体通信技术领域中一个 重要的研究课题。本文所讨论的会议电视系统是建立在综合业务数字网 f i s d n ) 上的符合h 3 2 0 协议( i t u t ) 的视频会议电视系统。 r 图象分屏是指在某个会场可以同时选看数个分会场的场景。目前， 国外的大公司，如v t e l 可以做到同时显示1 6 个分会场的场景，国内的会 议电视系统产品只有少数几家实现了这一功能，而且是采用专用芯片完 成的，因此使用高性能的数字信号处理器来实现图象分屏具有较高的理 论意义和实用价值。本文在阐述了会议电视系统的工作原理和图象压缩 理论基础的前提之下，着重讨论了图象分屏系统的原理，实现方案和所 遇到的问题。土 本文首先介绍了会议电视系统发展历史，框架结构：拓扑结构、组 网方式、多点控制单元( m c u ) 和多媒体终端的框架及相应国际标准，以 及会议电视中的关键技术和发展热点。 其次，本文讨论了实现图象分屏的理论基础一图象压缩编码和实 现图象分屏的硬件平台擞字信号处理器( d s p ) t m s 3 2 0 c 6 2 0 1 及其评 估模板。并在此基础上重点讨论了图象分屏系统的原理，将各终端的编 码图象流分别进行解码，形成空间域图象，对每路空间域的图象分别进 行亚取样，将图象缩小为原来的1 4 ，根据各终端的要求进行交叉组合， 形成完整的c i f 格式的图象，再经过编码后送往各个终端。伍日何在高性 能的d s p 上实现上述功能? 如何合理的安排存储器的使用以达到节省存 储空间和提高运算速度的目的? 本文对此方面做了较为详细的说明。 最后，结合前面所讨论的内容和本人在系统开发过程中的体会，对 一些重点、难点问题进行了讨论，指出了其中的不足之处。爻 一 a b s t r a c t a b s t r a c t k e y w o r d s ：m u l t i h i e r a r e h y & n u | t i p n i n tv i d e o c n n f e r e n e es y s t e m ， i m a g ec o m p r e s s i o nc o d i n g ，d i g i t a ls i g n a lp r o c e s s o r ，c h e n d c t m u l t i h i e r a r c h y & m u l t i p o i n tv i d e o c o n f e r e n c es y s t e mi sa l li m p o r t a n t s e r v i c ei nt h em u l t i m e d i ac o m m u n i c a t i o nf i e l d t h ev i d e o c o n f e r e n c e s y s t e ma c c o r d i n gw i t ht h eh 3 2 0p r o c o t 0 1 i nt h i sp a p e r i sb a s e do ni s d n s p l i t i n gs c r e e nm e a n st od i s p l a yi m a g e so fo t h e rc o n f e r e n c er o o m s s i m u l t a n e o u s l y i no n es c r e e n u pt on o w , 16s p l i t i n gs c r e e n sc a nb e i m p l e m e n t e db ym a n yc o m p a n i e so v e r s e a s ，s u c h a s v t e l o n l y f e w v i d e o c o n f e n c es y s t e m si no u rc o u n t r yh a v es u c hf u n c t i o na n dm o s to ft h e m d i di tw i t ha s i c o nt h eb a s i so fi m a g ec o m p r e s s i o na n dd s p , t h ep a p e r f o c u s e so nt h ep r i n c i p l e 、d e s i g na n dt h ep r o b l e mo fs p l i t i n gs c r e e ns y s t e m f i r s t ，t h eh i s t o r ya n df r a m e s t r u c t u r eo fv i d e o c o n f e r e n c es y s t e m ， i n c l u d i n gt o p o l o g ys t r u c t u r e ，n e t w o r k ，m u l t i c o n t r o lu n i ta n dp r o t c o l s ，a r e b e e ni n t r o d u c e d t h e nt h ek e yt e c h n o l o g i e sa n dt h ed e v e l o p m e n to ft h e v i d e o c o n f e r e n c es y s t e ma r ee x p a n d e d 。 s c e o n d ，i m a g ec o m p r e s s i o na n dd i g i t a ls i g n a l p r o c e s s o ra r eb e i n g d i s c u s s e di nd e t a i l t h ep a p e rf o c u s e so nt h ep r i c i p l eo ft h es p l i t i n gs y s t e m ， d e c o d i n gt h eh 2 6 1c o m i n gf r o me v e r yt e r m i n a l m a k i n gas u b - s a m p l et o d e c r e a s et h ei m a g et oo n ef o u r t h ，t h e nc o m b i n i n gt h es u b s a m p l e di m a g et o f o r mac i fi m a g ea c c o r d i n gt h er e q u i r e m e n to fe v e r yt e r m i n a l ，c o d i n gt h e c i fi m a g em a ds e n d i n gt h e mo u tt oe v e r yt e r m i n a l h o wt od ot h e s ei nd s p a n dh o wt oa r r a n g et h em e m o r yt oi m p r o v et h ep e r f o r m a n c eo fd s pa r et h e k e yp r o b l e m s ，a n dt h e ya r ed i c u s s e di nt h ep a p e r 。 l a s t ，s o m ep r o b l e m sa r eb e e nf o u n da n dd i s c u s s e di nd e t a i l 型 一引言 绪论 当今世界，席卷全球的新技术革命正推动人类社会信息化时代。随 着科学技术的飞快发展，人们对事物、交换信息的要求已经从纸笔书本 话音发展到通过声光电信号等各种方式更准确、更快捷、更丰富地表达 出来。多媒体计算机技术和通信技术相结合，逐渐发展起来成为一种新 的边缘技术多媒体通信技术。个人计算机的普及、微电子技术、信 息处理技术以及综合业务数字网的建立，都有力的推动了多媒体通信的 发展。 从通信发展的历史来看，如果说1 9 世纪是电报的时代，2 0 世纪是 电话的时代，那么2 1 世纪是多媒体通信的时代。电信专家在描述未来的 通信时用到了一个新的名词v i p ，其意思是视象( v i s u a l ) 、智能( i n t e l l i g e n t ) 和个人化( p e r s o n a l ) 。多媒体己经走入了人们的生活。 多媒体通信是种综合性技术，涉及到多种媒体、计算机、通信等 多个领域。多媒体通信系统的构成包含两个方面：其一是人机之间，利 用多种输入输出装置的交互作用，将信息以多种媒体的方式表现出来， 如声音、图象、数据等。另一方面是机器与机器之间的通信，利用各种 网络协议，在通信网络上对多媒体信息进行处理。多媒体通信反映了通 信向高层次发展的一种趋势，它将彻底改变传统通信系统的格局。 多媒体通信需解决的关键结束包括： 视频压缩技术 音频压缩技术 媒体综合及同步技术 多媒体通信网络技术 用户接入技术 目前，数字信号处理、压缩编码技术和数据传输新技术不断的涌现， 新产品层出不穷，出现了越来越多的新的多媒体通信方式。作为视听多 媒体业务的一种类型会议电视业务已经在社会化的信息交流中发挥 了巨大的沟通作用。会议电视是一种以视觉为主、辅以话音、数据文件 传输的多媒体会话型业务，它通过通信网络把两个或多个地点的会议电 视终端连接起来，在其间传送各种图象和伴音信号，使出席会议的人有 亲临现场的感觉。其基本特征是可以在两个或多个地区的用户之间实现 全双工音频、视频和数据通信，附加静止图象、可视图文、传真等文本 绪论 传递。 会议电视业务能为用户提供直接的、全面的沟通和交流，并能节约 时间，减少成本，提高生产率，产生巨大的经济效益。如此巨大的市场 推动了会议电视技术的飞速发展。很多发达国家及厂商都进行了会议电 视的研究，并推出了各自的会议电视系统。为了使不同厂商的产品能够 互通，国际电信联盟( i t u t ) 在研究了会议电视系统的基础上于1 9 8 8 一 1 9 9 2 年形成了视听多媒体通信系统的国际标准h 2 0 0 系列建议。这些建 议规定了统一的视频音频输入、输出标准、算法标准、误码纠正标准， 更重要的是规定了一系列通信的模式交换标准。目前，围绕着不同的网 络环境( 如b - i s d n 、l a n 、无线通信网等) ，i t u - t 还在不断的修改和制 定相应的标准。 近年来，“国家信息基础设施( n i i ) ”将成为世界各国发展的战略目 标，“信息高速公路”的雏形一一互联网得到了普及和广泛的应用， i n t e r n e t 、i n t r a n e t 、l a n 得到了急剧的发展，它们( 简称i p 网) 对多 媒体通信的需求也急剧地膨胀起来。从世界范围来看，i p 网已经战胜了 其它网络而成为网络领域的赢家。正是基于这样一种局面，i t u 从1 9 9 7 年开始已经把多媒体通信终端标准的制定重点转移到基于分组的多媒体 通信系统标准的制定上( 即将要批准的i t u - th 3 2 3 v 2 建议) 。符合该 建议的产品的图像质量将要比h 3 2 0 产品有了明显的提高，成本有了较 大幅度下降，同时也考虑了与h 3 2 0 终端的互操作性。可以这样说，在 今后相当长的段时间里，多媒体通信终端设备的主体是能在i p 网络上 运行的h 3 2 3 v 2 终端，而不是h 3 2 0 终端。 自1 9 9 3 年以来，会议电视业务在我国得到了迅速的发展，邮电部的 国家会议电视骨干网，各省( 除了海南和青海省) 的会议电视网，铁道 部的会议电视骨干网( 包括1 2 个路局) ，湖南、福建等省的电力部门会 议电视网，以及油田、公安等部门的会议电视网均已建成，会议电视在 推动我国从工业化社会迈向信息化社会的过程中已发挥了巨大作用。 图象通信是会议电视系统中的一个重要组成部分。与其它种类的媒 体相比，视像捕捉、编码、存储与显示的难度最大，需要的资源最多。 由于视频的信息量非常大，必须经过压缩编码才适于在现有的通信网络 上传输。例如，c i f 格式大小的视频( 每帧3 0 秒) 未经压缩时，需7 0 m b p s 以上的数据带宽；经压缩以后，只需要6 4 k b p s 或更低的带宽即可实时 传输。图象通信研究的基础就是活动图象的实时压缩编码技术，也正是 由于数字图象压缩编码技术的发展和标准化，图象通信的范围才得以不 断的扩大，图象传输的有效性和可靠性在不断的改善。 目前已经通过的几个有关的视频压缩标准，各自适合于不同的应用 领域。这其中有广为人知的联合图象专家小组( j p e 6 ) 制定的j p e g ；活动 绪论 图象专家小组( m p e g ) 制定的m p e g 一1 ，m t l e g 一2 ，m p e g 一4 ：和i t u t 制定的 t 1 2 6 1 h 2 6 3 ，和h 2 6 3 + 等，图象通信发展欣欣向荣。但是在上述的标 准化算法中，普通信源模型一般只提供基本的且不完全的视觉描述，以 每秒几兆比特率的传输时可获得优质的的图象质量，但若低于6 4 k b i t s 速率，这些算法就会引起阻塞或降低帧速率，导致图象分辨率降低或较 长的端到端的时延。因此，在如p s t n 、l a n 或移动通信网之类的低比特 率通信网络下要获得可接受的图象质量，就需进一步的改变编码算法。 基于图象内容的压缩方法已成为研究的热点，可以实现对序列图象中物 体的编码、解码和操纵，克服了基于块的方法所存在的不足。 二本论文的主要内容 本论文所研究的主要问题就是用于会议电视系统的，符合i t u t h 2 6 1 标准的图象分屏方案。内容包括： 会议电视系统及组网方案 图象压缩编码的基础和标准比较 数字信号处理器( t m s 3 2 0 c 6 x ) 的特点 图象分屏方案的设计与实现 对h 2 6 l 算法中遇到的问题的讨论 其中，对h 2 6 1 编码的分析、实现和讨论是本论文的重点所在，论 文的结构基本是围绕这个中心而组织展开的。 堡二：主兰。鲨! 堡丛墨篓! ! ! 尘 第一章会议电视系统 随着网络化时代的到来，通信方式也在向多点通信发展，会议电视作 为一种多点间的信息交流手段，近年来受到各部门的广泛重视，在许多 领域中得n t 广泛的应用，这些应用包括政府会议，远程教学，远程诊 断以及跨地区的企业会议等。会议电视使远隔千里的与会人员如聚一堂， 交流更加方便，准确，而且为用户节约了开支提高了i 作效率。 第一节会议电视系统综述 多媒体通信，因其综合了图文声像等多种媒体而在信息交互中达到 最佳效果。会议电视正是一种典型的多媒体通信应用实例，也是目前通 信界的热点之一。会议电视最早在贝尔实验室研制出来，早期的会议电 视系统主要以模拟方式传输，要占用很大的带宽。随着微电子、计算机、 及图像处理技术的发展，会议电视系统在理论研究和实用系统研制方面 都得到了迅速发展。其发展主要经过模拟会议电视、数字会议电视和国 际统一标准的数字会议电视三个阶段。 6 0 年代末期，在压缩编码技术推动下，由模拟系统转向数字系统； 8 0 年代初期，研制出2 m b p s 彩色数字会议电视系统，日本和美国 形成非标准的国内会议电视网； 8 0 年代中期，大规模集成电路技术飞速发展，图像编解码技术取 得突破，信道费用降低，为会议电视走向实用提供了良好的发展条件； 8 0 年代末至今，多媒体技术、计算机技术、通信网络技术同新月 异。原c c i t t ( 即现在的i t u t ) 第1 5 研究小组形成了h 2 0 0 系列建 议，规定了统一的视频输入、输出标准、算法标准、误码校验标准及一 系列互通的模式转换标准，解决了不同厂商设备互通问题，极大地推动 了会议电视的发展。 i n t e r n e t 成为多媒体通信的重要平台，以i n t e r n e t 为代表的计算 机网络是现代信息社会重要的基础信息之。因此，基于i n t e r n e t 的 弛一章会议i u 视系统简介 视频会议电视系统是当前发展的热点。i t ut1 9 9 6 年5 月推出的t t 3 2 3 段1 9 9 7 年制定的h 3 2 3 v 2 提供了对视频电话和t c p i pl a n 系统精确的 定义。h 3 2 3 标准覆盖了分组、呼叫控制和信令、音频和视频的压缩， 它制定了将l a n 用于综合音频、视频及数据呼叫的规范。制定了所有需 要用来建立呼叫的信令。制定了必须的和可选的对音频、视频和数据业 务流的编码和同步格式。还制定了协商某种格式用于何种媒体的方法。 目前h 3 2 0 和h 3 2 3 正被广泛支持。i n t e r l 3 e l 网络存在的时延和i p 视 频会议与其它应用的带宽共用，都曾导致了i p 视频图象的传输缓慢。 h3 2 3 及h 3 2 3 v 2 标准的推出使得视频会议可以在i p 网络上进行传送。 第二节会议电视系统的框架结构 一、会议电视系统的组成及拓扑结构 会议电视是各方向的各种连接所构成的特有通信环境。它所处理的信 息流因连接配置的多样性和信息流特征的大跨度而具有多点和多媒体性 质，因而会有不同的处理要求。这些信息流一般包括高比特率视像和低 比特率语声信息流以及图片信息流和数据流等。目前，一般是将所有这 些不同的信息流在用户终端复用，通过单一信道引导至多点控制单元 ( m c u ) ，不同媒体经m c u 分别处理后，再以复用方式送回用户单元。 三个或更多的终端与m c u 之间连接成星形结构，各个会议电视终端与 各m c u 处于主m c u 的控制之下。可见，m c u 是整个会议电视系统的 控制核心，会议电视的典型拓扑是以m c u 为中心的星型结构。 下图是一个多点会议电视系统的拓扑。包括视听多媒体会议终端t t 。，多点控制单元m c u m c u m 和通信网络。 一争会| 义i b 铷系统尚介 一一 图1 1会议电视网络拓扑 会议电视系统主要由终端设备、多点控制单元( m c u ) 和包括传输 媒介在内的数字通信网络组成。我们课题开发的会议电视系统是基于 i t u th 3 2 0 标准的一种视听多媒体桌面型会议电视系统，是以传送活 动图象( 人物) 、语音、应用数据( 电子白板、图形) 信息形式的会议业 务。它是将会议电视与个人计算机融为一体的个人计算机会议电视桌面 系统。在个人计算机上装配相应插卡、软件和摄像机，通过综合业务数 字网i s d n ，跨越空间距离，举行电视电话会议，与会人员可发表意见， 观察对方形象和有关信息，同时双方还可共享应用程序，利用电子白板 进行书面交流。在多个地点进行多方会议时，需设置一台m c u 用以进 行图象和语音信息的切换、控制。通过对数字化视频、音频、文本、图 表和数掘等多种信息进行综合处理，利用通信网的区域广泛性，进行综 合业务实时传输，为四面八方与会者提供一个信息共享空间，并利用计 算机系统对共享材料进行交互、讨论，实现虚拟的人与人之间面对面的 会议环境。这些功能体现了个人计算机的优越性，使得交流的范围更广+ 泛，交流的内容更深刻。 桌面型会议电视系统与现有会议室型会议电视系统相比，具有以下 捕一审会议r u 帆系统舳介 优点： 会议室型系统要求与会者必须置身固定的会议室中，要求会议 室有较好的灯光条件；桌面型会议电视系统仅需要一台个人电 脑及一个小型摄像头，能够灵活设置安放，开会位置不受局限， 办公室及家庭均可，玎会地点设置更加方便。 会议室型系统要求铺没专线，线路费用十分昂贵；桌面型会议 电视系统通过i s d n 交换机接入，对用户而言，开会费用仅相当 于几个用户电话通话费用，并且一般来说，覆盖范围更加广泛， 因此，开会费用更加便宜，开会区域更加广泛。 会议室型系统要求铺设专线，要求固定的会议室，开会地点固 定不变；桌面型会议系统可以同世界上任何地点，任何人进行 开会，其灵活性和广泛性是会议室型系统所无法比拟的。 二、桌面型会议电视系统组网 桌面型会议电视系统的组网方式有以下两种 1 、 点对点连接 团 2 、 多点连接 图1 2 点对点会议电视系统简图 鹕一章会议i u 视系统简介 图12 和l3 中， 终端即会议电视终端，通过n t i 及b r i ( 2 b + d ) 接入i s d n 交换机。 n t l 即网络终端，为会议电视终端提供标准s 接口。 m c u 负责图象切换、语声混合及会议控制，通过p r i ( 3 0 b + d ) 接入i s d n 交换机。 以下两部分分别就会议电视系统的两大组成部分：m c u 和多媒体终 端进行讨论。 三、多点控制单元0 u c u ) m c u 是一种多端口控制设备，主要完成视频交换、数据路由、语音 混合、会议控制等功能。它是会议电视系统中最关键的设备，通过它可 使得多个视听终端可以在同一个会议中通信。如果没有自己的m c u ， 就没有自己独立的组网能力。 m c u 一般由两大部分组成：媒体处理器和网络接口单元。m c u 的 媒体处理器通常由复用解复用单元、音频处理单元、视频处理单元、数 据处理单元、语音混合单元、控制处理单元等组成。网络接口单元完成 传输线路信号与计算机内部信号之间的转化：复用懈复用单元把来自终 端的h 2 2 1 帧结构分解为声音、视频、数据以及控制信号，并把各类数 据送给不同的处理单元；音频处理单元的基本功能是完成对音频信号的 处理；语音混合单元对来自各会场的声音进行混合，模拟出共聚一堂的 效果；视频处理单元和数据处理单元同理是分别处理视频信号和数据信 号，并把当前发言终端的图象广播给其它终端；控制处理单元解释和执 行控制信令。经过处理的各种数据再回送到复用解复用单元进行复合， 然后经网络接口单元送给终端。 m c u 软件是决定m c u 性能的关键因素之一。由于m c u 需要同时 处理多个终端的数据，并且这些数据都要求实时处理，因此软件实时性 要求很高。m c u 软件要求具有高度的标准化。m c u 是涉及互通互控的 主要设备，而m c u 软件负责实现互通互控的通信协议，如果通信协议 的实现不太标准，各厂家的设备互连时就会出现配合问题，影响网络的 性能。m c u 软件还要求有很好的容错能力，因为m c u 需要同不同厂商 弛审会议1 乜税糸统砷介 一一 的终端互连，而各厂商设备的通信协议多少有些不同。如果m c u 不能 正确处理，很可能引起整个网络瘫痪。 m c u 最重要的特征是组网能力，其表现在网络容量、异种网络互连、 不同能力的终端互通、不同厂商设备互通等几个方面。中国地域广阔， 要求m c u 具有组大网的能力。异种网络互连指e l 、v 3 5 终端能够通过 一个m c u 互连，这要求m c u 能够同时提供v , 3 5 和e 1 接口。为了实 现不同能力的终端互通，如传输速率为3 8 4 k b i t s 的终端与1 9 2 0 k b i t s 终 端互通，m c u 要求具备速率匹配功能。为了实现不同厂商设备互通，m c u 必须严格按i t u t 的建议实现。 四、多媒体终端的框架及相应国际标准 为推进会议电视系统的标准化进程，c c i t t 在8 0 年代初专门成立了 视听会议研究小组，针对不同的网络环境包括i s d n 、p s t n 、b i s d n 、 l a n 等制定相应的标准。 1 、多媒体会议终端标准 从8 0 年代末期至今，i t u t 完成了一系列视听多媒体终端标准的制定 工作，其主要框架性标准如下： i t u th 3 2 0 ：窄带可视电话系统和终端( n i s d n ) ； i t u th 3 2 4 ：低比特率多媒体通信终端( p s t n ) ； i t u th 3 2 3 ：提供不保证业务质量的局域网可视电话系统和终 端； i t u - th 3 2 2 ：提供保证业务质量的局域网可视电话系统和终端。 i t u th 3 2 1 ：b i s d n 环境下h 3 2 0 终端设备的适配； 1 t u th 3 1 0 ：宽带视听终端与系统( a t m b i s d n ) ； 上述每个框架性h 3 0 0 系列标准都包括了相应的视频、音频、通信 协议、复用同步、数据协议( t 1 2 0 系列标准) 等的h 2 0 0 系列标准。 2 、h 3 2 0 终端设备的基本构成 如上所述，不同的网络环境有着不同的国际标准。根据课题内容的 需要，我们主要研究基于i s d n 的h 3 2 0 系列标准。 筘一章会议电视系统简介 下图是h3 2 0 系列标准的终端结构。 u n n ，a 、，n n 乏别建油u1 1 ，u ，1 h 2 2 11 4 0 0 糸夕u 视频- 帕设备h 视频编解码卜一 复 g 7 2 8 ，g 711 ，g 7 2 2 用 音频- ，。设备卜_ 至互薹基三习厨 器网 络 t 系列、h 2 0 0 a v2 7 0 系列等分接 附加信息终端设备卜一 用 口 器 h2 4 2 ，h 2 3 0 ，h 2 21 ，h 2 4 3 系统控制|端到端信令c & 1 一 端到网络信令 - 图1 4i - i 3 2 0 会议电视终端设备原理框图 图中： 视频i o 设备包括摄像机、监视器、录像机等。 音频i o 设备包括话筒、回声消除器、调音设备、音箱等。 附加信息终端设备包括电子白板，静止图象传送设备等。这些设备 主要用于数据会议，要求满足t 1 2 0 系列数据会议的框架建议。 系统控制单元、端到端的信令是会议电视系统的内部信令系统，完 成会议的建立、管理和释放等控制。端对网络的信令是业务承载网 络的信令。 视频编解码器完成减少视频信号冗余度的编码和相应的解码。i t u t h 2 6 1 h 2 6 3 规定了会议电视中活动图像的压缩标准。经过h 2 6 1 压 缩，图像可以1 5 m b p s 的速率度传送，其图像质量与家用录象机质 量差不多，即使压到1 1 2 k b p s 也能有很好的图像质量。目前已有h 2 6 1 图像编解码的专用卡，如c - - c u b e 、i n t e ! 、c l i 等的h 2 6 1 图像 卡。i t u t h 2 6 1 编码速度快、价格合理，适合于会议电视系统的 场景传送。但是在用于低比特率如p s t n 等环境下，h2 6 1 就无法 达到可接受的视频质量。h 2 6 3 就是性能更优于h 2 6 1 的图像编码 技术，尤其在低比特率情况下能显著提高视频质量。图象编解码是 会议电视的核心，它把每秒几十兆比特的原始视频数据压缩到两兆 比特以下。 音频编解码器完成减少音频信号冗余度的编码和相应的解码。音频 处理单元包括语声的压缩编码与解码，必须支持g 7 1 1 建议的p c m 编码，也可选择支持g 7 2 2 子带a d p c m 编码( 7 k o a z ) 、g 7 2 8 低延迟 1 6 k b p s 的编码。 音频通道延迟补偿视频编码器的延迟以保持唇同步，即对口形，提 供所显示人物讲话动作与其所讲话音同步的感觉。 复用是把图象、声音、数据以及控制信令等复合成h 2 2 1 格式的帧， 以便在网络上传输；解复用是复用的相反过程。 网络接口完成终端与网络之间的适配。在网络与终端之间按照1 4 0 0 系列定义的用户一网络接口要求进行必要的适配。终端所有信息复 合后由网络接口单元发到网络，网络接口单元接受网络信息给终端。 网络接口单元负责网络的连接、拆线、时钟提取、网络的帧同步等 功能。建立在i s d n 网上的多点会议网络接口主要有两大类：基本 接入和基群接入。基本接入由两条全双工的6 4 k b i t s 的b 信道及 条全双工1 6 k b i t s 的d 信道构成。总比特率为1 4 4 k b i t s 。然而成帧、 同步和其它管理开销比特使基本接入链路的总比特率达到1 9 2 k b i t s 。 基本接人可以满足图像质量要求不高的用户需求。基群接入用于具 有更大容量要求的用户，由于不同的国家所采用的数字传输体制刁； 同，不可能达成完全一致的单一的数据率：美国、加拿大、日本采 用基于1 5 4 4 m b i t s 的传输结构；在我国和欧洲，标准速率为 2 0 4 8 m b i t s 。 多点控制单元( m c u ) 用于完成多点会议功能。 第一章会议f u 视系统柏介 第三节会议电视系统中的关键技术 随着计算机技术和超大规模集成电路的发展，集计算机的交互性、 网络的分布性和多媒体信息的综合性为一体的多媒体通信突破了计算 机、通信、电视和出版等传统产业的界限，为人类提供了全新的服务。 随着高技术的发展，个人计算机已逐渐普及到家庭，而且可以加入声音、 图象和文字的输入输出接口。计算机网络与通信网络的结合，使通信终 端可以是计算机或多媒体通信终端。 实现多媒体通信的关键因素有两个：一是对语音、图象及文字等多 媒体信息进行压缩；二是要有能够实时实现压缩算法的软硬件。 多媒体通信需解决的关键技术包括： 视频压缩技术 音频压缩技术 媒体综合及同步技术 多媒体通信网络技术 用户接入技术 多媒体信息中绝大部分是视频数据和音频数据，而数字化的音频视 频数据的数据量是非常巨大的，只有采用先进的压缩编解码算法对其进 行压缩，节省存储空间，提高通信线路的传输效率，才能使高速的多媒 体通信系统成为可能。 作为视听多媒体业务的一种类型会议电视业务也必须解决以上 的关键问题，尤其是音频、视频数据的压缩问题，关系到系统的成败， 非常重要。 上文中提到，在i t u th 3 2 0 建议中，图象编解码标准是i t u th 2 6 1 和h 2 6 3 。h 2 6 1 是p + 6 4 k b s ( p = l 3 0 ) 的适用于会议电视和可视电话图 象压缩标准。h 2 6 1 的压缩比很大，当p = 3 0 时压缩比为l ：1 8 ，当p = i 时压缩 比为l ：5 0 0 。h 2 6 1 采用了预测编码和变换编码的混合算法，幽象质量较底， 由于压缩比太大，所以h 2 6 1 只适用于图象的空间和时间的冗余度都较大 的空间慢速活动图象。从h 2 6 1 的压缩编码效果来看，对于2 1 0 人的 电视会议会场，编码速率大于3 8 4 k b s 即可为大多数人所接受；当速率达 第一章会议电视系统柏介 剑2 m b s 时基本上都认为编解码后的图象和处理前的图象没有差别；当 速率低于3 8 4 k b s 时则可明显的看到块效应失真和时间抽帧太多造成的动 作跳跃的动画效应失真。在1 t u th3 2 0 系列建议中将h 2 6 1 标准作为 图象压缩编码的一个重要标准。本文将主要就h 2 6 1 建议展开讨论。 第一帝幽象编码拙术 一 第二章图象编码技术 本章介绍了图象压缩编码技术的基本概念以及常见的编码方法，并 就目前常见的图象压缩编码的标准进行了分析和比较，重点阐述了h 2 6 1 编码标准 第一节图象编码技术的发展 视频压缩编码的基本概念 数字图象的数据量是非常大的，存贮时会占用大量空间，在数据传 输时数码率非常高，这对通信信道及网络都造成很大压力。因此，图象 处理的重要内容之一就是图象的压缩编码。图象数据的压缩基于以下两 点： 原始图象信息存在着很大的冗余度，数据之间存在着相关性，如 相邻象素之间色彩的相关性等。 因为在多媒体系统的应用领域中，人眼是图象信息的接收端。因 此，可利用人的视觉对于边缘急剧变化不敏感( 视觉掩盖效应) ，以及人 眼对图象的亮度信息敏感、对颜色分辨率弱的特点实现高压缩比，而解 压缩后的图象信号仍有着满意的主观质量。 由此发展出数据压缩的两类基本方法：一种是将相同的或相似的数 据或数据特征归类，使用较少的数据量描述原始数据，达到减少数据量 的目的。这种压缩一般为无损压缩；第二类方法是利用人眼的视觉特性 有针对性地简化不重要的数据，以减少总的数据量。这种压缩一般为有 损压缩，只要损失的数据不太影响人眼主观接收的效果，就可采用。 图象压缩的主要参数之一是图象压缩比。图象压缩比的定义与音频 数据压缩比的定义类似，即为压缩前的图象数据量与压缩后的图象数据 量之比，如下公式所示。 第一章幽象编峭投术 图象压缩比= 压缩前的图象数掘量：压缩后的图象数据量 显然，压缩比越大，压缩后的图象文件数据量越小，图象质量有可 能损失越多。但压缩比并不是一个绝对的指标，压缩的效果还与压缩前 的图象效果及压缩方法有关。 数据压缩技术或称为编码技术可以说是一种很复杂的数学运算过 程，从1 9 4 8 年o l i v e r 提出p c m 编码理论开始，至今已有4 0 多年的历 史。随着数字通信技术和计算机科学的发展，编码技术日渐成熟，应用 范围越加广泛。基于不同的信号源、不同的应用场合产生了不同的思路 和技术的编码方法。 由于视频是连续的静态图象，因此其压缩编码算法与静态图象的压 缩编码算法有某些共同之处，但是运动的视频还有其自身的特性，因此 在压缩时还应考虑其运动特性才能达到高压缩的目标。在视频压缩中常 需用到以下的一些基本概念： 1 、有损( l o s s y ) 和无损( l o s s l e s s ) 压缩 在视频压缩中有损和无损的概念与静态图象中基本类似。无损压缩 也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用r l e 行 程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。 在压缩的过程中要丢失一些人眼和人耳所不敏感的图象或音频信息，而 且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样 才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越大， 丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法 采用多次重复压缩的方式，这样还会引起额外的数据丢失。 2 、帧内( i n t r a f r a m e ) 和帧间( i n t e r f r a m e ) 压缩 帧内压缩也称为空间压缩( s p a t i a lc o m p r e s s i o n ) 。当压缩一帧图象 时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静 态图象压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧 之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。 帧内压缩般达不到很高的压缩。 采用帧间压缩是基于许多视频或动画的连续前后两帧具有很大的相 关性，或者说前后两帧变化很小。也即连续的视步贸县柑邻陨乙具有几 余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压 缩量，提高压缩比。帧间压缩也称为时间压缩( t e m p o r a lc o m p r e s s i o n ) ， 它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损 的。帧差值( f r a m ed i f f e r e n c i n g ) 算法是一种典型的时间压缩法，它通 过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样 可以大大减少数据量。 3 、对称( s y m m e t r i c ) 和不对称( a s y m m e t r i c ) 编码 对称性是压缩编码的一个关键特征。对称意味着压缩和解压缩占用 相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如 视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它 多媒体应用中，一般是把视频预先压缩处理好，而后再播放，因此可以 采用不对称编码。不对称或非对称意味着压缩时需要花费大量的处理能 力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压 缩和解压缩。一般地说，压缩一段视频的时间比回放( 解压缩) 该视频 的时间要多得多。例如，压缩一段三分钟的视频片断可能需要1 0 多分钟 的时问，而该片断实时回放时间只有三分钟。 目前有多种视频压缩编码方法，但其中最有代表性的是m p e g 数字 视频格式和a v i 数字视频格式。 二几种常用的图象压缩编码方法 1预测编码( d p c m ) 由图象的统计特性可知，相邻象素之间有较强的相关性，或者粗浅 地说，其抽样值比较“相似”，比较“接近”，因此，其象素的值可根据 以前已知的几个象素来预测。如果预测系数是固定不变的常数，则称为 “线性预测”。用这种原理工作的编码器与解码器，容易利用硬件实现。 具体说来，预测编码器输出的是信号当前的实际值与信号预测值之 间的差值，因此，这种预测编码法也被称为差值脉冲编码调制法，英文 简写为d p c m 。 d p c m 系统的原理框图见图2 1 。图中输入信号为x 。( t n 时刻的亮 。1 6 第一章| 垄l 象编码技术 度抽样值) ，x 为根据t 。时刻前已知的亮度抽样值x 。、x z 、x n t 对x w 所作的预测值。e n 为差值信号，也称误差信号。量化器输出为e w ，量 化器的量化误差为q 。在接收端解码器的输出为x 。a 在接收端输出 与发送端输入之间的误差为： x n x n 一x n 一( 爻+ e n ) = ( x n x ) 一e n = e n e n 2 q n 这正是发送端量化器导致的量化误差( 量化噪声) ，它与解码器无关。 图2 - 1d p c m 编解码器的框图 由图2 - 1 可知，编码器也是使用恢复值文来预测以后的象素的，即 发端与收端的预测值是同样的文，因此收端的输出值必然是殳与e nr 之 和。 应用均方误差为极小值的准则，可利用殳的公式 x 。8 】x + a 2 x + + a n l x n l 按不同图象求出各个预测系统。可以证明： 。2 。= e ( ( x n 一文) 2 ) = 。2 一( a 1 r n 4 - a ：r 。：4 - + a 。一，r n , n - , ) 可 见，。2 。 。2 ，甚至可能有。2 e 。2 。上式中r 0 = e ( 。i ，x j ) ，即协方 差。预测编码后，由于预测误差e n 的方差o2 et e 较小，量化器的动态范 围可以缩小，量化的总数可以减少，因而，与p c m 相比每个象素的编 第一章剀象编码技术 码比特数也可减少，而不致降低图象信号的量化信噪比。如果将量化器 设计成非线性的不均匀分层，以适应视觉的掩盖效应，则还可以进一步 降低编码比特率。这就是d p c m 之所以能压缩信源信息量的原因。 虬玲固一墨篓各卜 间兰要，、h ，、) ，、) ，一h ，、卜一- - 叫卜叫卜- 叫卜 r 叫卜一一 当塑爷。一一 当前慷褰 圜2 2 预测x 0 时所用邻近象索的位置 常用的预测编码方案有： ( 1 ) 前值预测，即用x 。的同一扫描行中前面最邻近的亮度抽样值x ， ( 如图2 所示) 来预测x 。： x o ：x ( 2 ) 一维预测，即用) ( 0 的同一扫描行中前面已知的几个抽样值来预 测x ： 奇 a 0 = a i x l + a 5 x s + ( 3 ) 二维预测，即不但用x 。的同一扫描行以前的几个抽样值( x 。， x ，) ，还要用) ( 0 的以前几行中的抽样值来预测x o 。例如： 殳。= a l x 】+ a 2 x 2 + a 3 x 3 + a 4 x 4 + 国外学者p i r x c h 在作了大量主观评价试验后，提出了的预测公式， 北京大学徐孟侠教授在此基础上作了进一步研究，提出了的预测公式， 使硬件实现更方便。 2 离散余弦变换( d c t ) 编码 变换编码的基本原理，是将原来在空间域描述的图象信号，通过 种叫正交变换的数学变换，变换到另一个正交矢量空间( 称为变换域) 中进行描述，简单地讲，即把信号由空间域变换到变换域中用变换系数 第一章图象编码技术 来描述。这时，人们发现，这些变换系数之间的相关性明显下降，并且 能量常常集中于某些低频或低序系数区域中。这样，很容易实现码率压 缩，因为变换系数的公式部分为零，或很接近零，可以舍去，而只对少 数低频分量分配一定比特数。为恢复原信号，要经逆正交变换回到空间 域，如图3 所示， 黼，督燃墨黼 ( 隧德抽 葶懂) l 变换l ( 竖换系数) i 变换i 譬琶；! ：? 图2 3正交变换编码原理框图 这就实现了变换压缩编码。 可以证明k l 变换是最优变换，这时变换系数之间相关性为零， 但没有快速算法，实现比较困难。一些快速正交变换如付里叶变换有快 速算法，但其能量集中性不如k l ，高频分量有的增加，加上复数运 算的复杂性，目前在编码中已不应用。余下的几种正交变换中，余弦变 换被认为是次最优的，现在图象编码中应用最广，其能量集中性较好， 已接近k l 变换，并且有快速算法。 任一图象的二维余弦变换和逆变换可用下式表示： l ：三c c t 正变换： 。 n 逆变换 l = 三c 7 耳c 。 n 。 其中x 为图象信号，c 为余弦变换矩阵，其矩阵元素为 籀一带幽象编蚂技术 一1 ， k ：0 4 2 引业， c o s ( k z 等腻主 0其它 n 一1 n 一1 变换编码与d p c m 相比，算法较复杂，但没有误码扩散问题，有误 码只在所变换的子图象区域内。d p c m 的实现较简单，但由于预测是采 用解码后的象素进行的，