（通信与信息系统专业论文）低码率视频压缩技术和小波技术的研究.pdf

摘要 文章开头对各种低码率压缩标准和窄带i s d n 可视电话终端的系统结构进行 了介绍。可视电话的关键技术分为三部分，它们分别是视频压缩编码与解码、 声音压缩编码与解码、用户一网络接口通信协议及b 信道随路控制协议。系统使 用h 3 2 0 协议栈，其中声音和图像分别采用g 7 2 8 和h 2 6 3 标准。图像、声音 和信令数据遵从h 2 2 1 协议复接在一起，各占1 0 8 8 k b p s ，1 6 k b p s 和3 2 k b p s 带 宽，文中对h 2 2 1 协议有详细介绍。h 2 6 3 是目前使用颇为广泛的低码率压缩 标准，是一种集图像帧间预测( 降低图像的时间冗余度) 和离散余弦变换d c t 编码( 降低图像的空间冗余度) 于一体的混合编码结构。它的运动补偿使用半 像素精度，并对传输符号采用可变长编码，h 2 6 3 还提出了4 个可选的编码方 案：无限制运动矢量( u m v ) 、基于语法的算术编码( s a c ) 、高级预测( a p ) 和 p b 帧，本文对半像素预测和4 个可选项做了详细的讨论图像软件的开发使用 c 语言，在p s o s 嵌入式实时操作系统平台上开发完成。本文对p s o s 系统中任 务的管理调度，任务间的通信、同步和互斥机制，存储分配等做了详细的介绍。 在传统的图像处理中采用d c t 作为核心变换技术，但在低比特率条件下分块处 理带来的块效应不容忽视；而小波变换使图像在时域和频域均能获得好的分辨 率，能带来更高的压缩率和更好的图像质量。静止图像压缩标准j p e g 2 0 0 0 基于 小波变换，采用嵌入式编码技术，在获得优于目前j p e 6 标准压缩效果的同时， 还具有累进式传输、随机存取处理码流等特点。本文中有较详细的对于小波压 缩图像的m a t l a b 仿真，以及j p e g 2 0 0 0 压缩图像仿真。 a b s t r a c t t h el o w - b i tr a t e c o m p r e s s i o ns t a n d a r d sa n dt h ea r c h i t e c t u r e o ft h en a r r o w b a n d i n t e g r a t e d s e r v i c ed a t an e t w o r k ( n i s d n ) v i d e o p h o n et e r m i n a la r ei n t r o d u c e d b r i e f l yi nt h eb e g i n n i n go f t h ea r t i c l e t h et h r e ek e y p a r t so f t h en - i s d n v i d e o p h o n e t e r m i n a la r ev i d e o c o m p r e s s i o n & d e c o m p r e s s i o n a u d i oc o m p r e s s i o n & d e c o m p r e s s i o n a n dc o m m u n i c a t i o np r o t o c o l sc o n t r 0 1 t h ew h o l ep r o j e c tc o m p l i e s w i t ht h ep r o t o c o lh 3 2 0 i nw h i c ht h ev i d e oa n da u d i op a r t su s et h es t a n d a r d sh 2 6 3 a n dg 7 2 8r e s p e c t i v e l y a c c o r d i n gt ot h ep r o t o c o lh 2 2 1 ，t h ed a t ao f v i d e o ，a u d i oa n d s i g n a l l i n g a r e m u l t i p l e x e dt o g e t h e r , o c c u p y i n g1 0 8 8 k b p s ，1 6 k b p s a n d 3 2 k b p s s e p a r a t e l y , a n dt h e r ei sad e t a i l e di n t r o d u c t i o no f h 2 2 1i nt h ea r t i c l e a saw i d e l y u s e dl o w - b i t 眦c o m p r e s s i o ns t a n d a r d , h 2 6 3i s ak i n do fc o m p o s i t e c o d i n g a r c h i t e c t u r e h 2 6 3n o to n l yu s e st h ei n t e r - f r a m e se s t i m a t i o nt or e d u c et h et e m p o r a l r e d u n d a n c y , b u t a l s oe m p l o y sd i s c r e t ec o s i n et r a n s f o r m ( d c t ) t or e d u c et h es p a t i a l r e d u n d a n c y i n a d d i t i o nt ot h e h a l f - p i x e lp r e c i s i o n i nt h e p a r t o ft h em o t i o n c o m p e n s a t i o na n dt h e l r i a b l el e n g t hc o d i n g ( v l c ) o f 也et r a n s m i t t e ds y m b o l s h 2 6 3 p r o v i d e s f o u r c o d i n go p t i o n s ：u n r e s t r i c t e dm o t i o nv e c t o r ( u m v ) m o d e ， s y n t a x - b a s e da r i t h m e t i cc o d i n g ( s a c ) m o d e ，a d v a n c e dp r e d i c t i o n ( a p ) m o d ea n d p b - f l a m e sm o d e ；f o rt h eh a l f - p i x e le s t i m a t i o na n dt h ef o u ro p t i o n a lc o d i n gm o d e s ，a d e t a i l e dd i s c u s s i o ni sg i v e ni nt h i sa r t i c l e t h ev i d e os o f t w a r e p a r ti sd e v e l o p e d o nt h e p l a t f o r mo f a ne m b e d d e dr e a l - t i m eo p e r a t i n gs y s t e m - - - p s o s ，u s i n gc l a n g u a g e s o t h ea r t i c l ei n t e r p r e t st h em a n a g e m e n ta n dd e p l o y m e n to ft a s k s ，t h ec o m m u n i c a t i o n ， s y n c h r o n i z a t i o na n d m u t u a le x c l u s i o nm e c h a n i s mo f t a s k s ，a n dt h es t o r a g e - a l l o c a t i o n a t l e n g t h t h et r a d i t i o n a li m a g ec o m p r e s s i o nu s e sd c t a st h ec o r et r a n s f o r m t e c h n i q u e w k l e t h e b l o c k y e f f e c t b m u g h tb y t h e b l o c k - d i v i d i n gp r o c e s s i n g i s o b v i o u si nt h el o w - b i tr a t ee n v i r o n m e n t ，t h ew a v e l e tt r a n s f o r m ，w h i c hm a k e si t p o s s i b l et og e tag o o dt r a d e - o f fb e t w e e ns p a t i a la n df r e q u e n c yd o m a i n ，l e a d st oa h i g b e rc o m p r e s s i o nr a t i oa n dab e t t e ri m a g eq u a l i t y b e s i d e si t sb e t t e rc o m p r e s s i o n e f f i c i e n c yt h a nj p e g ，j p e g 2 0 0 0 ，a s t i l l i m a g ec o m p r e s s i o ns t a n d a r dw h i c hi sb a s e d o nt h ew a v e l e tt r a n s f o r ma n d a d o p t s t h ee m b e d d e d c o d i n gt e c h n i q u e ，h a st h ef e a t u r e s o f p r o g r e s s i v et r a n s m i s s i o na n dr a n d o ms t r e a mc h o o s i n ga n dp r o c e s s i n g ad e t a i l e d m a t l a bs i m u l a t i o no fi m a g ec o m p r e s s i o nu s i n gw a v e l e t si s g i v e ni nt h ea r t i c l e a l s oas i m u l a t i o no f j p e g 2 0 0 0i m a g e c o m p r e s s i o n c a l lb ef o u n dt h e r e 北京邮电大学硕士论文 第一章低码率视频压缩技术简介 第一章低码率视频压缩技术简介 第一节各种低码率压缩标准介绍 面对市场对于低码率视频压缩的巨大需求，学术界近年来也提出了多种低 码率视频压缩标准，这些标准的目的不仅在于大大降低视频流的数据量以适应 紧张的带宽现状，还在视频流的抗误码能力、纠错能力以在易错信道( 如无线 信道) 中可靠传输方面作出了贡献。目前这些低码率视频压缩标准已在市场上 取得了较广泛的应用，如h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，m p e g l 和m p e g 4 标准，当 然还有正处于研究阶段的h 2 6 3 + + 和h 2 6 l 标准。在如此众多的标准中，最基 础也是得到应用最早的标准是h 2 6 1 ，而本文所研究的h 2 6 3 标准是建立在h 2 6 1 标准基础上的更为有效的一种压缩标准。最近推出的静止图像压缩标准 j p e g 2 0 0 0 由于采用了先进的小波变换技术而具有很好的压缩效率和压缩质量。 下面就这些压缩标准进行逐一介绍。 1 1 1i t u - tl i 2 6 l 标准 h 2 6 1 产生于1 9 9 0 年，是由i t u - t 第1 5 研究组在为窄带综合业务数字网 ( n i s d n ) 上开展速率为p * 6 4 k b s 的双向声像业务( 可视电话、会议) 而制 定的，其中p = l 3 0 。因此，h 2 6 1 也称为p 6 4 标准f l j 。 h 2 6 1 只对c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种图 像格式进行处理。由于世界各国采用的电视制式不同( 如p a l 、n t s c 、s e c a m ) ， 所规定的图像扫描格式( 决定电视图像分辨力的参数) 也不同，要在这些国家 之间建立可视电话或会议业务，无法直接采用电视所规定的格式，而必须统一 到一个公共图像格式上来，这也是c i f 这个名称的由来c i f 和q c i f 的亮度 信号分辨率分别为3 5 2 * 2 8 8 和1 7 6 1 4 4 ，色差信号c r 和c b 的水平和垂直分辨 率均为亮度信号的1 2 ，即分别为1 7 6 1 4 4 和8 8 * 7 2 。图像帧率最高为2 9 9 7 帧 秒。在信道速率较低时，帧率可以降至l o 帧，秒左右。 图1 1h 2 6 1 的编码层次 图像层 g o b 层 宏块层 块层 h 2 6 1 压缩编码算法由具有运动补偿的帧间预测、块d c t 和霍夫曼编码组 成。由于该标准用于实时业务，希望编，解码延时尽可能小，所以只利用前一帧 做参考帧进行前向预测。除初始帧为i 帧外后续帧一般为p 帧。为了防止信 北京邮电大学硕士论文 第一章低码率视频压缩技术简介 道误码产生的差错经预测编码而累积传播，在每1 3 2 帧之内，在每个宏块位置 上至少要进行1 次帧内编码( 即逐步刷新) 。此外，当某个宏块预测误差太大时， 也可以做帧内编码。编、解码器的复杂程度相当( 或称为对称) 是h 2 6 1 标准 的有一个特点，这是因为会话的双方都需要同样的编码器和解码器的缘故。 在h 2 6 1 中，每帧图像分4 个层次处理( 见图1 1 ) 。编码的最小单元为8 * 8 块，4 个亮度块和对应的2 个色度( c b 和c r ) 块构成一个宏块，一定数量的宏 块( 3 3 块) 构成一个块组g o b ( g r o u po f b l o c k ) ；若干块组( 对c i f 格式为1 2 个块组) 构成一帧图像。每一个层次都有说明该层次信息的头，编码后的数据 和头信息逐层复用就构成了h 2 6 1 的码流。 1 , 1 2i t u th 2 6 3 标准 h 2 6 3 诞生于1 9 9 4 年o t t o ，是i t u t 为低于6 4 k b i t s 的窄带通信信道 制定的极低码率视频编码标准该标准是在h 2 6 1 的基础上发展起来的，综合 应用帧间预测去除时间冗余度和d c t 变换编码去除空间冗余度的混合编码算 法。不过要特刷说明一点，h 2 6 3 比m p e g 1 还要晚出现，而且h 2 6 3 还是 基于m p e g - 1 而发展。 h 2 6 3 的标准共支持五种不同的输入图像格式，分别为：s u b q c i f ( 1 2 8 x 9 6 、q c i y ( 1 7 6 x 1 4 4 ) 、c i f ( 3 5 2 x 2 8 8 ) 、4 c i f ( 7 0 4 x 5 7 6 ) 、 1 6 c i f ( 1 4 0 8 x 1 1 5 2 ) 。传输速度为8k b p s 一1 5m b p s 。除此之外，h 2 6 3 也是 m p e g 4 标准的基础。 h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿，并增加了4 种有效的压缩编 码模式。 夺半像素精度的运动补偿 在h 2 6 1 中，运动矢量的精度为一个像素。要使运动矢蠢的倍值达到半个 像素的精度，需要将匹配位置周围邻域的像素进行内插，然后再进一步搜索， 找到更精确匹配的位置。运动矢量精度的提高使经运动补偿后的帧间误差( d f d ) 减小，从而降低了码率。 夺无限制的运动矢量模式 一般运动矢量的范围都限制在已编码的参考帧内。这种限制，使得对当前 帧图像边界的宏块进行运动估计时，由于参考宏块可能已处于参考帧之外而无 法得到最优的效果。在h 2 6 3 中取消了这种限制。允许运动矢量指向图像以外 的区域。当某一运动矢量所指的参考宏块位于编码图像之外时，就用其边缘的 图像像素值来代替这个不存在的宏块。当存在跨边界的运动时，这种模式能取 得很大的编码增益，特别是对小图像而言。另外这种模式包括了运动矢量范 围的扩展，允许使用更大的运动矢量，这对摄像机运动特别有利。 夺基于语法的算术编码模式 使用算术编码代替霍夫曼编码，由于算术编码在符号的概率分布不为2 的 幂的情况下也能逼近压缩的理论极限符号的熵。因此，可在信噪比和重建 2 北京邮电大学硕士诡文 第一章 黾鹣串视额艇端技术赫舟 鹜像质蹙相同的情况下降低码率。 夺高级预测模式 在箴情搅下，舔宏块对应一个运动矢黛。在鬻级颈褥模式下，一个裳 块中4 个8 x 8 亮度块w 以各对应一个运动矢爨，从而提高了预测精度，两个也 发块豹运凄矢慧簧l 取这4 令蹇菠块运淤矢量懿学堙毽。羚嫠辩，搜搏黧叠懿块 运动补偿，8 x 8 亮度块的每个像素的补偿值出兰个预测值热权平均得到。是谮 使霜4 今8 x 8 块运动矢量找蘩1 6 1 6 旋运动矢量蠹巯辫爨决定。通常，该模式 的使用可以产生相当最著的编码增益，特别憝采用重旋的块运动补偿会减少块 效应，提高主观质量。 夺p b 帧模式 一个p b 帧包含作为一个单元进行编码的两帧图像。p b 帧的名称源于h 2 6 2 中使丽的p 梭和b 帙。p b 穰穰戏可在礴率缮翔不多的馕况下筏袄事燕倍。 新的1 i 2 6 3 经过不断： 趣完磐和多达9 次昀升级融经f i 臻成熟? 如今已经大 部分代替7h 2 6 1 ，瑟蔑h 2 6 3 密予缝在 羲带宽上健输离震的筏频濂嚣e t 蕊受 到欢逊。尤其是对1 1 r 管理员们来说，由于i - i 2 6 3 的威阁而提高了带宽，降低了 存髓簸零，悉基薄垂在网络土遥霉豹茭恁重要浯啻秘数器痰攘不会影戏子扰， 所以会倍感辍松。另外，h 筠3 算法也能根撼不同的条件两被修改，以达到照 妊瓣鼹壤效暴，对用户露言，这也给德 f 更大戆选撵空闯以潍足其不同敷囊姚 应用需求。 l 。1 3i t u - th 2 6 3 + 掭准 i t u t 在发布1 t 2 6 3 后又修订发布了h 。2 6 3 标猴的敝本2 ，菲最式魄称凳 l2 6 3 十标准。它在保诞了原t i 2 6 3 标准的核心句法和语义不变的基础上，增加 了若干选顼懿提高压缩效率或策方面静功靛。 新增选项可归纳为新的图像种类和新的编码模式两类。新的图像警申类有； 分级舀像：分缀撬獗编戳辩在曝声蔼遂鞠存在大蠢售丢失熬瓣络串簧送视 灏信号狠有意义。这种编码方法允许将视频流分成多个逻辑信邀，某些逻 辚售遂数据戆丢炎不会严踅影响躐爨豹璧建。i t 2 6 3 + 壤热了3 秘分缀图像， 种提供时闻分缀，其它两种提供信嗓魄和空间分级。 增强静鹣帧：h 2 6 3 的憋帧在预测类型上蠢一定的局限，这限制了p b 帧 模式的应用范围。在版本2 的i t 2 6 3 标准中。对原有的p b 帧模式进行了 般细微的修改，嚣抬宏块在原有的双向预测的基础上增加了前向葶后向预测 模式扩大7 应用范围，提高7 聪缩效聚。 用户定义的图像格式：原h 2 6 3 标准限制了其| 陂用的图像输入的格式，它 仪允许5 种筏频源格式。新懿h 2 6 3 + 椽准完诲鬻户霞焉菱广范豳靛蚕豫输 入格式，从而拓宽了标猴使用的范围。使之可以处理錾予视窗的计算机图 像、菱鬻峻鬏蠹孽溺像痔翔戳及宽器餮豫。 淅的编码模式有： 北京邮电太学硕士论文 籀一章憾码串视频珏i 榷技术简舟 夺先进的帧内编码( a i c ) ：该模式通过d c t 系数的空间预测，梭大地提高了帧 内编码的压缩效率。 夺块效应清除滤滚舔( d 辩：该模式逶过在环鼹孛增鸯拜涣透嚣叁逶瘦滤波器， 减小了最磁重建图像的块效应。 冀结构( s s ) ；该穰装运：；童定义由蓉予宏块糖或戆片结稳，增强了缡鹨曩像 抗信道差错釉包丢失的能力。 夺参考装选耩( r p s ) ：该摸式是诲选择菲聪闽矮近的参考姣髂为该测基准，从 而增强了抗误码熊力。使用该模式需要反渤信道。 夺参考帧重取样( r p r ) ：该模式允谗参考帧农运动预测之前羹新进彳亍凝样，使 用该模式可以实现全局运动补偿等技术。 1 。1 4 城2 6 3 抖视频压缩标准 。2 6 3 + + 邑经由i 弼q 正式露l 订受椽准，势麓在h 。2 6 3 + 魏蘩籀主壤麓了三令 选项，主要是为了增强码流在恶劣信邋上的抗误码性能，同时也是为了增强编 秘效率，这兰令选瑷分甏为： 增强型的参考帧选择( r 鹣) ：能够提供增强的编码效率瓢信道锚误再生能 力( 特别憋在毽丢失熬媾形) ，实溪e r p s 模式时，簧要设计多缓冲区罚予 存贮多帧参考图像， 数据分片黝模式( d 悠) ：能够提供增强型的抗误码能力( 特别是在传输过 程中本地数据被破坏) 。d p s 的思想是通过分离视频码流中d c l 系数头和运 动矢量数据，将逡动矢量的数据采用可逆编码的方式进行保护。 在鞋2 6 3 + 的鹞流中增匀珏的补充僖惠，保谈增强螫的反淘兼容往，辩鸯鞋信崽 包括：指示采用的定点i o c i ；图像信息和信息类型；任慧的二遴制数据； 文本( 经意酶，版稷，标越，援频箍述，统一斡资漂莰瓤) ；重簸麓誉缘头 ( 当前的，前帧，可靠参考时间的下一帧，不可靠参考时间的下帧) ；交 替懿绣( 土或下璐 撵示，稳臻戆参考筷谈聚。 1 1 sm p e g - 4 视频压维标准 m p e g - 4 技术特患：m p e g - 4 予1 9 9 8 零il 胃公毒，它不仅是针对一定比 特率下的视频、音频缔码，擞加注重多媒体系统的交置性和擞活往。这个标准 主要暾雳予视像电话、视像电子邮件等，对传输速率要求较低，在4 8 0 0 - 6 4 0 0 0 b i t s s 之间，分辨率为1 7 6 x 1 4 4 。m p e g - 4 利用徽窄的带宽，遁过帧重建技术、数 据压缭，以求月最少的数据获得最佳的图像质最。m p e g - 4 比超m p e g - 2 及h 2 6 x 系列新交纯中最萤黉酶三个技术特征是：藻于内容的压缩；更轰豹惩缩磁； 时空可伸缩饿。 m p e g - - 4 孳l 入一个关毽懿概念：a v 对象。a v 对象是m p e g - 4 必支持蒸于 内容编码而提出的。在m p e g - 4 中j 辩见的视频l 音频已不张是过去m p e g 一 ， m p e g 。2 孛黧缘簌或蠢羧频豹穰忿，嚣是一令令程瞬场景( a v 场景 ，这照不 同的a v 场觳由不弼的a v 对象组成。a m 对象是听髓，视觉，或者视听内察的 4 北京邮电太学硕士论文 第一章低码率视频雎缩技术简介 表示攀元。箕辛矮基零虢萃元怒原始a v 对象，它哥酸是鑫然游或舍藏懿声音、 图像。原始a v 对象又可以进一步组成复合a v 对象。整个m p e g 一4 就是围绕 魏侮离效编码a v 对象，翔稼蠢效蕴织、簧簸a v 对象蘑壤裂鼹。嚣毖，a v 澎 象的编码是m p e g - 4 的核心编码技术。a v 对象的提出，使多媒体通信具有离 度豹交要戆力秘缀枣转绽玛效攀。 m p e g - 4 成用范围：经过遮两年的发展，现在最热门的应粥是利用m p e g 4 的勰压缩率粒毫的脶像还原质量来搬d v d 熙面的m p e g 2 视频文件转换为 体积羹小的视频文件。经过这样处理，图像的视频质纛下降不犬僵体积却冒缩 小几倍，可以很方便她用c d * r o m 来保存d v d 上面的节翮。另外，m p e g 4 在家庭摄影蒙像、网络实对影像撵放将大有蠲武之逸 1 1 6j p e g 2 0 0 0 静止图像压缩标准 j p e g 2 0 0 0 基手夺渡交羧，采蘑懑嚣最赫翡嵌入茂编羁鼓零，纛获褥谯予 目前j p e g 标准压缩效果的网对，生成的码流有较强的功能，可应用于多个领 域。l p 嚣g 2 0 0 0 荚骞叛下主要黪熹： ( 1 ) 良好的低比特率压缩性能 这是j p e g 2 0 0 0 簸圭要约特征。毽萤熬j p e g 摭准，对皆缨节分量多的获 度图像，当码率低于0 2 5 b p p ( 0 2 5 b i t 售l 素) 时，视觉失真大。为克服遨一点，要 求j p e g 2 0 0 0 在低比特率下有良好的率失真性能，以适应网络、移动通信等肖 限带宽的应用需要。 ( 2 ) 连续色调和= 值图像压缩 褥前的j p e g 标准对予囱然图像其有较爵酶压缩毪耱，毽是警舔子诗冀筏 图形和二值文本的压缩时，谯能变蓑，不适阁于复食文本盛缩。为了改进遐 点，j p e g 2 0 0 0 在簿一系绫串焉摇纭豹方潼，髭够瓣鸯爨鬻缘、复合文本、送 学图像、计算机图形等具有不同特征、不同类型的图像进行服缩。 和通信协议模块合作，实现图像的双向通信 对程序进行优化，减小计算量、增大并行度以提高编码速度 软件的开发使用c 语言，在p s o s 嵌入式实时操作系统平台上开发完成。 开发过程涉及到对标准的正确理解、对压缩技术的应用和适当优化、对p s o s 系统应用程序的开发、为提高程序效率的优化以及对视频输入输出芯片的配置 等多方面内容。本文主要针对对于h 2 6 3 所提供选项进行的仿真和优化来进行 讨论。 二是对小波压缩图像的m a t l a b 仿真及对符合j p e g 2 0 0 0 标准的图像编解码 仿真。工作进程如下： 书面学习小波技术及其在图像压缩方面的应用 利用m a t l a b 工具箱对小波在图像压缩上的应用进行效果仿真 6 北京邮电大学硕士论文第一章低码率视频压缩技术简介 阅读j p e g 2 0 0 0 标准及其背景资料 进行j p e g 2 0 0 0 图像编解码仿真，与j p e g 压缩图像效果进行比较 本文将在第四章中对此项工作进行介绍。 7 北京邮电大学硕士论文 第二章n i s d n 可视电话及嵌入式o s p s o s 的介绍 第二章n - i s d n 可视电话及嵌入式o s p s o s 的介绍 第一节n i s d n 可视电话终端介绍 2 1 1 可视电话市场展望 可视电话业务是一种在电话网上同时传输交换通话双方图像与话音信号的 通信服务。可视电话设备如同普通电话机一样接入公用电话网运作，由摄像头、 液晶显示器、控制器和电话机所组成。 单机式的可视电话发展至今已有几十年之久，起先由阴极射线管黑白显示、 静态传输、图像话音不同步的简易式可视电话逐步演进至黑白或彩色液晶显示 图像的产品。进入九十年代以后，随着计算机和芯片技术的进步，图像、语音 压缩编码技术的快速发展，加之国际电联1 9 9 6 年批准的全世界统一的多媒体可 视电话标准，即h 3 2 4 系列标准，从而使可视电话有了统一的格式、接口，因此 可视电话之间的互联互通成为可能。随着电信部门n - i s d n 业务的推广，n i s d n 用户也占据了电话市场不小的份额。而作为n i s d n 可视电话标准的h 3 2 0 协议 也已成熟，并且n i s d n 网络支持的可视电话业务因其图像更连续、声音更清晰 而较p s l n 可视电话业务有很大的优势。 i t u t 的h 3 2 x 系列框架协议目前主要以h 3 2 0 系列( 包括3 2 0 3 2 1 3 2 2 ) 和h 3 2 3 应用最为广泛，其相关标准如下： 框架协议 h 3 2 0h 3 2 1h 3 2 2h 3 2 3h 3 2 4 适用传输电路交换网b - i s d n ，a t m有q o s 的分组无q o s 的分组p s t n ，p o t s 网络络( i s d n ，等交换网络交换网络模拟电话网 d d n 等) 视频标准 h 2 6 l ，h 2 6 3 h 2 6 1 i 2 6 3h 2 6 1 ，h 2 6 3 h 2 6 1 ，h 2 6 3h 2 6 1 ，h 2 6 3 音频标准g 7 1 1 ，g 7 2 2 ， g 7 l l ，g 7 2 2 ，g 7 1 1 ，g 7 2 2 ，g ；7 1 1 ，g 7 2 2 ， g 7 2 3 g 7 2 8g 7 2 8g 7 2 8 g 7 2 8 ，g 7 2 3 ， g 7 2 9 复用 h 2 2 lh 2 2 1h 2 2 lh 2 2 5h 2 2 3 控制 h 2 3 0 ，h 2 4 2 h 2 4 2 h 2 3 0 ，h 2 4 2 h 2 4 5h 2 4 5 多点协议 h 2 3 1 h 2 4 3h 2 3 1 - h 2 4 3h 2 3 1 h 2 4 3h 3 2 3 进入新千年，我国发展可视电话的条件已渐趋成熟，前景广阔，主要原因 基于以下三点： 第一，通信市场消费升温，促进用户从b p 机热、手机热、无绳电话热、上 网热，发展到可视电话热。往往一种新的通信方式出现，便会带动消费升温， 何况如同见面交谈的可视电话，其收费仅是普通电话收费标准，很容易为广大 用户所接受。 第二，电话普及率不断提升，尤其大中城市电话普及率更高，给可视电话 进入家庭创造了条件。 第三，国际电联颁布了h 3 2 4 和h 3 2 0 标准，使研发生产有了可遵循的依据。 北京邮电大学硕士论文 第二章n i s d n 可视电话及嵌入式o s p s o s 的介绍 2 1 2n i s d n 可视电话系统结构 差垡彩鱼翌丝趔 本可视电话系统选用p h i l i p s 公司出品的t r i m e d i a l 3 0 0 作为中心处理芯片。该 芯片是一种高性能的多媒体处理芯片，可用于可视电话、视频编辑、数字电视、 安全系统以及p c 上的可再编程、多用途插卡等。t m l 3 0 0 能很方便地实现m p e g l 和m p e g 2 标准，而且作为d s p c p u ，它还能实现很多的多媒体算法。当然，t m l 3 0 0 也能很方便地用于多处理器系统中。 t m l 3 0 0 微处理器是一个在实时操作系统内核控制下的可变计算机系统，该 操作系统运行在v l i w ( v e r yl o n gi n s t r u c t i o nw o r d ) 处理核心上。t m l 3 0 0 包括一 个d s p c p u ，高带宽内部总线和内部d m a 总线控制。 t m l 3 0 0 芯片有以下特点： ， 一个强有力的v l i w 处理核心( d s p c p u ) ，执行多媒体算法的重要部分，而 且运行一个小的实时操作系统，此操作系统由来自其它单元的中断进行驱 动。 ，d m a 驱动的视频、音频输入输出单元能独立工作，并把数据处理为适当的 格式以使软件能对其进行高速处理。 d m a 驱动的多媒体协处理器如i c p ( i m a g ec o p r o c e s s o r ) 能独立地而且与 d s p c p u 并行工作，进行一些特定的操作( 如图像格式的转换) 。 图2 1 系统硬件结构图 可变长解码器v l d ( v a r i a b l e l e n g t hd e c o d e r ) 能对霍夫曼编码的视频流进行 解码。可以协助解码高速率的m p e g i 、m p e g 2 视频流。 ， 高性能的总线和存储系统为t m l 3 0 0 的各处理单元提供通信。 ， 灵活的外部总线接口。 系统选用p h i l i p s 公司的s a a 7 1 l l 和s a a t l 2 5 a 作为视频输入、输出芯片， 9 北京邮电大学硕士论文第二章n - i s d n 可视电话及嵌入式o s - p s o s 的介绍 s i e m e n s 公司的p s b 2 1 6 3 作为声音处理芯片。t m l 3 0 0 通过，2 c 总线对视频和声 音芯片进行配置，其间的数据传输则通过v i ，v o ，a i ，a 0 进行。 s i e m e n s 公司的p e b 2 0 8 6 是i s d n 用户一网络接口芯片，完成d 信道和b 信道 的物理层和d 信道大部分链路层功能。c p u 对d 信道数据的接入采用x i o 总线 方式，对b 信道数据接入方式采用同步串口( s s i ) 通信方式。 f l a s h 通过p c i x l o 口与t m l 3 0 0 进行数据交换，c p l d 和键盘也通过该口和 t m l 3 0 0 相连：静态存储器( s d r l i ) 的目的是存储执行程序、堆栈和缓存编码 的数据以便和信道传输码率相匹配，保持图像声音同步，它通过主存接口( m a i n m e m o r yi n t e r f a c e ) 与t m l 3 0 0 相连。 差琶杰f 毖趁丝彦硷 系统的软件结构如图2 2 所示。视频软件模块采用高效的h 2 6 3 标准。h 2 6 3 的基本模式就已包括半像素的运动补偿，它还提供了很多的可选项，每个可选 项都可加入基本算法中提高编码效率或扩大其应用范围。但是一部分已入网的 可视电话不支持h 2 6 3 标准，为了互通考虑，后来视频软件模块又加入了h 2 6 1 标准的编解码( h 2 6 1 是n i s d n 可视电话视频协议的必选项，而h 2 6 3 则是可选 项) 。 声音软件模块实现了符合g 7 2 8 和g 7 1 1 两种标准的编解码。在和可视电话 通信时启用g 7 2 8 编解码，g 7 2 8 标准采用低时延码本激励线性预测l d - c e l p ( l o w - d e l a yc o d e b o o ke x c i t e dl i n e a rp r e d i c t i o n ) 方法将一般语音信号压缩至 1 6 k b s ，c e l p 是一种混合编码方法，而且还采用了矢量量化的压缩算法；而在 和普通电话通话时启用o 7 1 1 编解码，为p c m 编码，占用6 4 k b s 带宽。 图2 2 系统软件概图 用户一网络接口协议实际上覆盖了底三层：物理层、数据链路层和网络层， 主要是指d 信道上的协议。在物理层上b 信道和d 信道复用在同一个物理媒体上传 北京邮电大学硕士论文第二章n - i s d n 可视电话及嵌入式o s p s o s 的介绍 输，因此使用相同的协议i 4 3 0 i 4 3 1 。d 信道第二层的协议是q 9 2 0 q 9 2 1 ，又 称为l a p d ( l i n ka c c e s sp r o t o c o ldc h a n n e l ) ，即d 信道数据链路接入协议。( 阴 影部分表示由网络接口芯片实现功能) 。第三层的协议有两组呼叫控制信令协议 q 9 3 0 q 9 3 1 ； i s d n 用户一用户b 信道信令协议是指在用户一网络接口协议发生之后，在b 信 道上发生的信令过程。这个过程对网络是透明的，只是连通的双方用户进行对 话来确定对方所具有的通信能力( 如对方是否具有数据通信或图像通信，对方 图像的编码方式等) 。这个信令协议是由i t u t 的h 2 4 2 和h 2 2 1 定义的，其中h 2 2 1 定义了b 信道上传送信息的格式，我们称之为复接去复接协议，它将各种信息 ( 声音、图像、数据、控制信息等) 都复接在h 2 2 1 帧中传输：h 2 4 2 定义了用 户一用p b 信道控制信令h 】。 在软件开发过程中，首先是各软件模块在p c 机上进行软件仿真，然后链接 上t r i m e x l i a 的相关配置文件和p s o s 的系统库文件，移植到d e m o 板上运行，修改 调试至程序能高速有效地正确运行并达到预定指标。此时也就基本确定了具体 压缩算法、程序结构、任务所需堆栈大小、所需内存空间等。此后略加修改将 程序在实际的硬件系统板上运行调试。 在各软件模块分别调试成功后，将各软件模块链接到一起进行连调。其中 就涉及到对于p s o s 系统对多任务管理和调度机制的深入理解，任务的优先级设 定、任务间的通信、内存的合理分配、图像声音的同步问题等都需要经过不断 调试来解决。各个p s o s 任务之间使用消息队列进行通信，之所以使用消息队列 有以下原因。一是因为消息队列不局限于某一个特定的线程使用，多个线程可 以向一个消息队列发送或接收消息，因此这种方式更为灵活。第二个原因是， 消息队列为需要通信的线程提供了1 2 8 比特的消息缓存器，使一个线程在激活另 一个线程时还可以发送一些必要的信息，使各个线程之间的消息交换更为灵活 方便。第三个原因是，消息队列是一种同步通信方式，更符合呼叫信令的单进 程过程的特点。 第二节b 信道复接f 解复接协议h 2 2 1 协议部分根据h 2 2 1 标准对图像编码流和声音编码流进行复接后送上网络， 并将从网络上收到的数据进行解复接分流出图像和声音各自的数据，分别送到 图像处理模块和声音处理模块进行解码。所以h 2 2 1 是图像模块与协议接口处的 重要标准，下面对此标准进行介绍，尤其是其定义的帧结构。 2 2 1 基本概念 信息的最高传输速率称为传送速率( t r a n s f e rr a t e ) ，它小于等于信道的 速率。一个6 4 k b s 的信道由8 0 个8 比特字节构成，其帧结构如图2 3 所示。 字节的传送时钟是8 k h z ，也就是说一秒钟传送1 0 0 帧数据。字节的每一个比特 北京邮电大学硕士论文 第二章n - i s d n 可视龟话及嵌入式o s p s o s 的介绍 霞羲认炎是一令8 k b i t s 熬子壤道，其孛第8 个子蓿遵列骰骚务子售遵( s e ) 。 如果存在多个b 信道，则每一个信道都有帧结构，而凰初始信道的帧包含完成 爨穿整个通信过程豹大多数或全部控剁功能豹控制信感，面黠拥信道鲍嫉包含 的控制信息主要用于同步，信道记数等相关的掇制功能。 比特编母 l234s678 o c t e tn u m b e r f a s l ，-， 8 子子子子予子子 b a s 9 莹售嫠信绩信楼 + 道道遭道邋道道 1 6 1 7 e c s _ # l莓2 # 3= i 毒嚣s# 6嚣? 2 4 2 5 - 髓 8 0 f a sf r a m ea l i g n m e n ts i g n a l b a s b i t - r a t ea l l o c a t i o ns i g n a l e c s e n c r y p t i o nc o n t r o ls i g n a l 图2 3 一个6 4 k b i t s 信道帧结构 2 2 2s c 倍遥控错信号 帧定位信号f a s 一羧由鞠令字节耩成，连续1 6 鞍蹩一令爱鲮。每一个簧峻又势梵8 令予 复帧，每个子笈帧含相临两帧。f a s 就楚每一帧s c 信道的1 - 8 比特。f a s 当中 毽含了l l l 定垃臻号、复鞍定链揍号、控键彝告繁售患、差错捡测售患等内容“。 比特分配储号b a s b a s 是每一帧s e 擦遒上豹9 - 1 6 比特位豹8 比特信号。它用来传送终端通傣 的能力以及要求对方转换模式的相应命令。b a s 在偶审贲中传送，而在奇帧中发 送b a s 的纠错码。 加密控寿4 镶号e c s 占用s c 信道的1 7 - 2 4 比特位，只有在需赘时才选用。e c s 用于给解密单元 传送控制倍恚。懿镬赣应豹标惠完成对燕密数爨豹解燕。 2 2 3 帧同步信号 f a s 占豢了每一簸s c 售逶懿l - 8 比特，窀毽含鸯以下痰签：o 复竣结兹： 帧同步字；a 比特；e 比特和c 比特。如图2 4 所示。 犊鼹步字 帧同步字( f a w ) 分为两部分，第部分是7 比特“0 0 1 1 0 1 l ”，出现在偶帧 s c 信遒豹2 - 8 比特位，第二部分是单比特“1 ”，出现在紧跟其后的资帧的s c 信道第2 比特位。 北京邮电大学硕士论文第二章n - i s d n 可视电话及嵌入式o s p s o s 的介绍 b i tn u m b e r s u c c e s s i v e12345678 f r a m e s e y e n ：曩i 鬃蓉攀蕊，鬟。1+ i 糕。j 黪薄_ 1 f r a m e s ，誊擘誊i 磁飘i 豁嚣嚣凌珏一+。一挪魏瓤”貔+ 薅黪“ ：1 + i i 薹甏翁 f r a m ea l i g n m e n tw o r d 0 d d 圈 aec 1c 2c 3c 4 f r a m e s 图2 4s c 信道1 8 比特的分配 帧同步字 帧同步字( f r o ) 分为两部分，第一部分是7 比特“0 0 1 1 0 1 1 ”，出现在偶帧 s c 信道的2 - 8 比特位，第二部分是单比特“1 ”，出现在紧跟其后的奇帧的s c 信道第2 比特位。 复帧