（生物医学工程专业论文）基于h263协议的视频图像编码技术研究.pdf

皇至巡查兰堕圭兰垡笙壅 基于h 26 3 协议的视频图像编码技术研究 摘要 今天，社会发展的步伐已迈进信息时代，随着超大规模集成电路的飞速发 展，各种数字化技术特别是计算机软硬件及网络技术的日新月异，以数字通信 为代表的各种先进的通信技术已进入普通家庭，多媒体通信业已成为现实，而 国际互联网等各种信息网在全球的迅速扩展，使全世界真正成为个“地球村 “。然而，在以光纤通信为基础的信息高速公路开通以前，我们将面临一个 重大的难题：方面，需要传输的多媒体信息数据十分巨大；另方面，现有 的数字通信信道带宽有限。随着信息的多样化，复杂化及实时性要求的加强， 巨大的数据量和狭窄的通信信道之间的矛盾日益突出。过去几年中，数字视频 方面的应用引起了人们极大的兴趣，并出现了几种成功的标准，如：i t u t h 2 6 1 ，h 2 6 3 ，i s o i e cm p e g l 和m p e g - 2 。这些标准描述了依据比特率，图像 质量，复杂度，抗误码和延迟等方面指标的广泛的应用范围。当前对数字视频 应用的要求日益增加，比如：视频会议，视频邮件，视频电话，远程医疗等等。 然而公众交换电话阿( p s t n 和无线网络的传输码率仍然十分有限，这就需要优 良的压缩性能和健壮的信道抗误码性，以前的基于块的视频编码标准( 如 h 2 6 1 ) 是无法做到这一点的。“低码率通信视频编码标准“i t u th 26 3 ， 描述了上述要求，成为新一代低码率视频编码标准。尽管h 2 6 3 的编码结构是 基于h 2 6 1 的，它却提供了低码率下更好的图像质量，而运算复杂度只有些微 增加，并且增加了改进压缩性能的四个可选模式。在几种视频电话终端标准中， 也采用了h 2 6 3 ，应用比较广泛的有：i t u th 3 2 4 ( p s t n ) ，h 3 2 0 ( i s d n ) 和 h 3 1 0c b i s d n ) 。所以，在现有的有限信道资源范围内，利用先进的编码技术 进行数据压缩，实现视频信息传输，有着重要的经济和社会效益。这是当前研 究的热点，也是本文的出发点。 本文的目标是实现一个高效率的具有良好抗误码性的视频图像编锵码系 统，该系统以h 2 6 3 协议为基础，考虑到系统的编解码均用软件实现，因此系 统设计的出发点是降低算法复杂度，提高编码效率同时改进抗误码性能。文中 对视频处理的运动预测部分进行了改进，提高了预测的准确性并提高了错误恢 电子科技大学硕士学位论文 复能力。针对互联网的不稳定，易拥挤等特点，提出了一种新的传输策略，即 将一个图像帧用两个压缩分组进行传送，提高了错误恢复的可能性与可靠性。 关键词：视频编解码器，运动估计，运动补偿，多帧参考，编码效率。 论文类型：应用基础。 电子科技大学硕士学位论文 r e s e a r c ho fv i d e oi m a g ec o d i n gt e c h n o l o g yb a s e do nh 2 6 3 p r o t o c o l a b s t r a c t i nt h ep a s tf e wy e a r s ，t h e r eh a sb e e ns i g n i f i c a n ti n t e r e s ti nd i g i t a l v i d e oa p p l i c a t i o n s c o n s e q u e n t l y ，a c a d e m i ca n di n d u s t r yh a v ew o r k e d t o w a r dd e v e l o p i n gv i d e oc o m p r e s s i o nt e c h n i q u e s ，a n ds e v e r a ls u c c e s s f u l s t a n d a r d sh a v ee m e r g e d ，e g ，i t u th 2 6 1 ，h 2 6 3 ，i s o i e cm p e g - 1a n d m p e g - 2 w h i l et h ed e m a n df o rd i g i t a lv i d e oc o m m u n i c a t i o na p p l i c a t i o n s s u c ha sv i d e oc o n f e r e n c i n g ，v i d e oe - m a i l i n g ，t e l e m e d i c i n e ，a n dv i d e o t e l e p h o n yh a si n c r e a s e dc o n s i d e r a b l y ，七r a n s m i s g i o nr a t e so v e rp u b l i c s w i t c h e dt e l e p h o n en e t w o r k s ( p s t n ) a n dw i r e l e s sn e t w o r k sa r es t ii iv e r y l i m i t e d t h i sr e q u i r e sc o m p r e s s i o np e r f o r m a n c ea n dc h a n n e le r r o r r o b u s t n e s sl e v e l s i t u th 2 6 3 ，e n t i t l e d “v i d e oc o d i n gf o rl o wb i tr a t e c o m m u n i c a t i o n s “，p r o v i d e sb e t t e rp i c t u r eq u a l i t ya tl o wh i tr a t e sw i t h 1 i t t l ea d d i t i o n a lc o m p l e x i t y i ta l s oi n c l u d e sf o u ro p t i o n a lm o d e sa i m e d a ti m p r o v i n gc o m p r e s s i o np e r f o r m a n c e i n t h i s t h e s i s ，t h eh 2 6 3s t a n d a r d s p e c i a l l ys u i t a b l ef o rl o wb i t r a t et r a n s m i s s i o n ，i sa d o p t e df o rd i g i t a l v i d e oc o m p r e s s i o n t h eg o a lo ft h i st h e s i si s t od e v e l o pae f f i c i e n tv i d e o c o d i n g d e c o d i n gs y s t e mh a v i n gg o o d e r r o rr e s i l i e n c e s p e c i a l l y ，t h e c o n c r e t ej o b so ft h et h e s i sa r e ： 0 0 i t i m i z e sm o t i o ne s t i m a t i o n t h em o d i f i e d m o t i o ne s t i m a t i o n a l g o r i t h mu s ea d j a c e n ts e v e r a lf r a m e sa sr e f e r e n c eo t h e rt h a ns i n g l e f r a m e s i m p l i f i e st h ea l g o r i t h mo fe n h a n c e dr e f e r e n c ef r a m em o d ei nh 2 6 3 + o p t i n a lm o d e t h e r e f o r e ，m u l t i f r a m e s r e f e r e n c ea d o p t“s l i d i n g w i n d o w s ”m e t h o d p r o p o s e san e ws t r a t e g yo fv i d e ot r a n s m i s s i o na i m i n ga ts p e c i a l i t y o fi n t e r n e t ，w h i c hi si n s t a b l ea n de a s i l yc o n g e s t e d t h es t r a t e g y i m p r o v e sr e l i a b i l i t y o ft h ee r r o rc o n c e a l m e n tm e t h o d 。a n dm a k e s m 电子科技大学硕士学位论文 b r e a k i n gi m a g eg e tc o r r e c t l yr e c o v e r e d k e yw o r d s ：v i d e oc o d e c ，m o t i o ne s t i m a t i o n ，m o t i o nc o m p l i m e n t ， m u l t i f r a m e sr e f e r e n c e ，c o d i n ge f f i c i e n c y t h e s i st y p e ：a p p l i c a t i o n 电子科技大学硕士学位论文 第一章绪论 近年来，随着计算机和网络的迅速普及以及人们对各种视频信息的迫切 需求，使得更多的视频业务将通过网络来传输。视频通信和多媒体通信正在 逐步成为数字通信网络的主要业务，如：实时监控、远程医疗、会议电视、 可视电话等。在这些系统中，视频图像的压缩编码以及网络传输是两项关键 技术。视频图像的压缩编码可以有效地减少图像的数据量，从而降低对网络 带宽的要求，但经压缩的图像数据对误码相当敏感，并且误码可能会在空间 域和时间域上扩散，这将引起图像质量的急剧下降。对于不压缩的视频数据， 用户可接受的误码率约为l o ，而对于压缩编码视频通信，用户可接受的误 码率约为l o 一，且压缩倍数越高，其对误码率的要求就越高，同时码流速率 越高，错误平均时间间隔越短。有些网络，即使没有抗误码措施，也能够提 供满意的视频质量。而有些网络，如无线网络，其信道误码率一般在l o5 以 上，有些可高达1 0 ，例如无线a t m 信元丢弃引起的误码率可达1 0 一，同样， 由于拥塞，超时延迟引起包的丢弃，i n t e r n e t 网络无重传的包丢弃率可高达 l o ，在这样的信道传送视频信号，如果没有有效的抗误码措施，恢复的视频 质量是无法接受的。 f a ) 无误码恢复图像( b ，有误码恢复图像 图11 信道噪声对误码的影响 我们用实例来说明，图1 1 a 是在信道没有误码时译码器恢复的图像；图 i - ( b ) 是当信道平均误码率达到l o 。时译码器恢复的图像( 此时没有使用纠错 电子科技大学硕士学位论文 方法) ，人眼当然无法忍受这样的恢复图像。 如何能在低码率的传输条件下，获得高质量的，动态连续的图像，是视频 处理技术研究的热点。近1 0 年问，国际标准化组织( i s o ) 和国际电信联盟( i t u ) 制定了一系列用于运动图像压缩的国际标准，如m p e g 一1 ，m p e g - 2 ，m p e g 一4 ，h 2 6 1 和h 2 6 3 等，极大地推动了图像通信的发展。 m p e g 标准系列是由运动图片专家组m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 针对数字存储媒体上的活动图像及伴音的编码而制定的压缩标准。m p e g - i 于 1 9 9 2 年推出，主要针对1 5 m b p s 数据传输率的数字存储媒体运动图像及其伴音 编码的国际标准，广泛应用于v c d 。m p e g 一2 于1 9 9 4 年推出，主要针对2 m b p s 3 0 m b p s 范围内的数字视频传输，现已广泛应用于高清晰度电视( h d t v ) ，还可 用于卫星，电缆和其它广播信道的数字视频传输。m p e g 一4 是在1 9 9 9 年初公布 的新一代动态图像压缩标准。m p e g 一4 较之m p e g l ，m p e g - 2 压缩标准而言，具 有较强的交互性，较高的压缩率，并且支持实时性与非实时性于一体，同时与 h 2 6 3 兼容。m p e g 一4 支持码率处于5 k b p s 1 5 m b p s 的视频压缩，主要应用于交 互性多媒体通信。 h 2 6 1 于1 9 9 0 年推出，是为了满足各个领域对综合业务数字网( i s d n ) 提 供电视服务需求的不断增长而制定的运动图像编码标准，可用于传输在 p * 6 4 k b p s ( p = 1 ，2 ，3 0 ) 的视听服务的视频编码器，该标准主要用于可视电 话和电视会议。 h 2 6 3 是i t u _ t 在1 9 9 6 年制定的专门用于低码率通信的运动视频编码标 准，它是在改进h 2 6 1 编码算法的基础上并在以下几方面做了扩展：首先，它 不仅仅使用两种图像格式，而是支持五种图像格式；第二，h 2 6 3 用半像素运 动补偿取代了h 2 6 1 的全像素循环滤波，从而改善了图像质量；第三，增加了 4 种编码可选项，提高了编码效率，改善了图像质量。h 2 6 3 是许多多媒体终 端协议中指定的视频压缩标准，如：基于公用电话网的多媒体传输系统h 3 2 4 ， 基于局域网的多媒体传输系统h 3 2 3 ，基于i s d n 的多媒体传输系统h 3 2 0 等， 而且h 2 6 3 压缩效果较好，满足视频传输的要求，因此本文采用h 2 6 3 协议。 h 2 6 3 视频编码标准适用于窄带信道，如p s t n 或移动信道，这些信道容易 发生误码，而传输误码对经过压缩编码的图像质量影响很大。包括h 2 6 3 标准 在内的许多视频压缩标准都采用可变字长编码( v l c ) 的方法来减少传输码率。 皇王盟盔堂堡圭堂垡堡茎 正是v l c 的采用大大削弱了码流的抗误码能力：任意的一个比特误码都有可能 造成解码器的误码扩散，导致同步丢失，从而使得重建图像质量恶化。所以， 研究如何克服信道误码对重建图像造成的影响，对h 26 3 标准的成功应用就显 得非常重要。 视频通信中抗误码技术的研究主要面临两个大的困难： 1 、往往是可利用的信道越窄，信道噪声也越高，例如v h f 信道和h f 信道。 信道越窄，要求视频编码的压缩比越高，视频压缩比越高对误码的敏感性则越 强。如果想获得较为满意的视频恢复质量，哪怕是可以接受的视频质量，就要 有好的抗误码技术。 2 、视频通信数据往往是经过压缩编码以后的数据。压缩编码一般都使用 去除视频空间和时间相关性的技术，在收端恢复时，恰恰又利用这些相关性恢 复原来的视频数据。从中可以看出，视频编码数据在传送时如果发生误码，就 不只是影响本数据的恢复，而且还影响了与它有相关性( 包括时间和空间相关 性) 的数据的恢复，这一现象，我们通常称为误码扩散。即使误码对图像质量 影响不大，经过以上的误码扩散，也会使恢复图像面目全非。 通过以上分析，不难看出研究抗误码能力在视频通信中的重要性和困难 性。 在国际上，移动视频通信已成为许多大公司追求的未来电信市场目标，而 抗误码能力研究又是多媒体通信特别是移动视频通信的研究热点之一。因此， 本论文所做的工作是非常有远见和实用价值的。 本文主要从信源编码压缩的方法出发，研究低比特率码流的编码技术与抗 误码技术，对信道的抗误码方法提出了一些观点。 根据论文工作，全文内容安排如下： 第一章引入在有误码的窄带信道下实现视频通信的意义和途径； 第二章介绍h 2 6 3 的编码系统原理并有针对性的分析其码流结构； 第三章提出h 26 3 的附加协议u 选项的原理及论文工作中对它进行实现的 方案和设计； 第四章对u 选项进行实验测试并分析结果； 第五章对高误码条件下传输视频的方法进行了讨论： 第六章简要探讨了该附加协议在医学图像处理领域的应用。 3 电子科技大学硕士学位论文 第二章h 2 6 3 低码率视频信源编码系统 2 1h 2 6 3 视频编解码结构及原理 h 2 6 3 视频编码标准是基于目前视频编码标准中为人们所熟悉的技术 首先描述h 2 6 3 协议的视频源编码结构及流程。 2 1 1h 2 6 3 视频编码基本原理 图2 1 显示了h 2 6 3 基本编码器的原理框图。其编码过程可分为：变换 ( 采用离散余弦变换d c t ) ，量化和熵编码( 采用v l c 变长编码) 。编码方式 有两种，即帧内编码和帧间编码。帧间编码利用运动估计和运动补偿原理： 首先，进行运动补偿预测，利用帧问预测来消除时间冗余度。然后，对运动 补偿预测的差值帧采用基于d c t 的算法进行变换，消除空间冗余度。最后， 把系数加以量化，量化过后的d c t 系数，运动向量和附加信息进行熵编码， h 2 6 3 采用可变长编码。 4 1 h 1 越m m h 船d n 杜 1 协岬h o i 州恤n 0 1 m # 一j 姐i t h ，i i _ “_ l “” q i j l l l l l i 1r 啦xj i 咖s 如n n 吼* i * a 搴1 1 m 电子科技大学硕二学位论文 图2 一i h 2 6 3 编码器原理框图 1 视频图像结构 h 2 6 3 采用五种标准的图像格式：s u b q c i f ，q c i f ，c i f ，4 c i f 和1 6 c i f 。 如表2 1 所示。 l q c t u r en u m b e ru f p l x e l s h u m l e rn fl i n e s n u m h e ro fp i l e l sf u rn u m b e ro fi t n e sf t l r r o i r m a tf o rl u m i n a n c e ( d x lt b rl u m i n a n c e 闷y j c h r o m | u a n c e ( d x 2 ) c l l r o m i n h h 。eq d ) 2 s i m - 0 ( 1 1 7 12 8b 44 h q c i i i 17 6 i “ 8 87 2 c i f3 5 22 8 #1 7 61 4 4 4 c i f7 0 45 7 63 5 2 2 8 8 1 6 c i f1 4 0 85 27 0 45 7 6 表2 1 h 2 6 3 信源图像格式 c i f 为公共中间格式，可以实现不同制式的数字视频信号的相互转换和 互通( 如n t s c 和p a l ) 。h 2 6 3 采用的是y u v 彩色空间，y 为图像像素的亮度 分量，u ，v 为图像像素的色度分量，它们与r g b 彩色空间的转换关系如下： i y = 0 3 r + 0 5 9 g + 0 1 l 口 j u = r y i v = b y 公式( 2 1 ) 原始图像数据采样数字化后通常为y ：u ：v = 8 ：2 ：2 格式，如图2 - 2 所示， 即原始图像中每一个像素点的y 分量用8 比特表示，而u ，v 分量，每4 个分 量用一个8 比特表示。4 ：1 ：1 的格式利用了视觉系统对色度分量不敏感的特 点，从而进一步提高了图像的压缩率。 - xx 0 i o 0 菇一爻j 页；。更一爻 x o x i x o xx o x x o x ；x o xx o x i xx l n m i n a n c cs a m p l e 0c h n l m l m n c es a r n p l e 。b l o c k e a t e s 电子科技大学硕士学位论文 图2 2 亮度及色度样本的分布( 4 ：1 ：l 格式) 各种格式的分辨率分为亮度信号的分辨率和色度信号的分辨率，色度分 量u 和v 在水平和垂直方向上的采样率都只有亮度分量的一半，其分辨率为 亮度的1 4 。c i f 格式的亮度分辨率为3 5 2 * 2 8 8 ，即，图像分为2 8 8 行，每行 有3 5 2 个像素。下面以q c i f ( 1 1 4 c i f ) 为例，来说明图像结构，如图2 - 3 所示。 _ 一i m ”。 g o 喜2 g o b 3 b 4 1 g o 日5 l s a 0 日b i ， g 凸目f 靠o b 嚣 0 0 日q m b lm b 2m b3m b 4e 5m b 6m b 7略b 8 m e 。h e ，”州l v 1y 2 b v - e bc r 呻 弘：| 图2 - 3q c i f 分辨率时的图像结构 输入视频序列的每帧图像分为多个宏块( 皿) ，每个1 6 + 1 6 像素的宏块由 四个8 * 8 像素的亮度块和紧随其后的8 * 8 的c b 色度块以及8 * 8 的c r 色度块 组成。块组 定义为整数行的宏块，行数由图像分辨率决定。例如，在 q c i f 分辨率时，一个g o b 由一行m b 构成。 2 视频编码工具 电子科技大学硕：上学位论文 h 26 3 协议支持基于运动估计和运动补偿的帧间预测( i n t e r p i c t u r e p r e d i c t i o n ) ，时域预测的编码模式使用帧问模式( i n t e rm o d e ) 。在此模式 中，只需对原始帧和运动补偿预测帧之间的差值( 即预测差错帧) 进行编码。 如果不采用时域预测，相应的编码模式为帧内模式( i n t r am o d e ) ，即不对图 像做运动估计，直接进行变换，量化和熵编码。 运动估计与运动补偿 运动补偿预测基于以下原理：假设当前帧内的像素可以以前一帧内的像 素为模型预测出来，如图2 4 所示。 图2 4h 2 6 3 信源编码算法：运动补偿 在基本的h 2 6 3 协议中，当前帧的每一个宏块都是由前一帧预测得到的， 预测量由运动信息来描述，即，由一个二维的替换向量运动向量( m o t i o n v e c t o r ) 来代表。由于图像的描述是基于块的，故许多运动估计算法均使用 块匹配技术，通过对当前宏块和预测宏块之间误差度的开销函数求最小值来 得到相应的运动向量，使用最为广泛的开销函数是“绝对差值和“( s a d ) ，定 义为： 】61 6 s a d = i b ( 七，f ) 一b 小，( 七，z ) l 公式( 2 _ 2 ) 这里，b 。( k ，1 ) 代表当前图像的1 6 1 6 宏块在空间位置为( i ，j ) 处的第 ( k ，1 ) 个像素，b ；。，( k ，1 ) 代表参考图像的1 6 1 6 预测宏块在空间位置为 ( i ，j ) 处偏移向量( u ，v ) 后的第( k ，1 ) 个像素。为找到使误差最小的宏块， 需要计算位于搜索窗口内的几个位置的s a d 值。最简单但也是计算密集度最 高的搜索方法就是全搜索法，该方法计算位于搜索区内的每个可能的像素位 电子科技大学硕士学位论文 置的s a d 值，为了降低计算复杂度，在一些算法中把搜索点限制于少数几个 点，以加快搜索速度，如三步搜索法。在基本的h 2 6 3 协议中，每个宏块用 一个运动向量来进行运动补偿，运动向量的水平与垂直分量都可以是半像素 精度，但其值必须限制于 一1 6 ，1 5 5 】的范围，从而限制运动估计的搜索窗的 大小。运动向量中的正值代表宏块在空间上位于被预测的宏块的右下方。 变换 h 2 6 3 协议使用8 * 8 d c t 变换，其目的是：一，去除原始8 * 8 像素之间或 运动补偿差值像素之间的相关性；二，将图像能量紧缩到尽可能少的几个系 数。此外，8 * 8 d c t 变换简单高效且易于用软硬件执行。最简单的8 * 8 d c t 变 换由8 个点的行d c t 变换和列d c t 变换构成。定义如下： c 。= 甜) 卢( 栉) 7 7 占u c ( 三! 铲f ( 三坐) 公式( 2 - 3 ) i = j = o 圭中， 口( o ) = f l ( o ) = ；口( m ) = 卢( n ) = ，1 m ，n 7 。 这里，b 。表示8 * 8 源块的第( i j ) 像素值，矗。表示经8 + 8 d c t 变换后的 系数。 原始的8 * 8 像素块可以用8 * 8 i d c t ( 反离散余弦变换) 恢复。定义如下 77 b u = c 。口( m ) c ( 兰等竽) 卢( n ) c ( 三絮业) ，o - i ，j 7 公式( 2 4 ) 珥0 巾 尽管在理论上可以实现完全准确的重建，但进行算术运算时常常不能使 用无限精度计算，实际中d c t 仍会带来误差。 量化 从人眼视觉的角度来说，人对于图像低频区的重建误差比对高频区的误 差更为敏感。强度或色彩的缓慢线性变化( 低频信息) 对于眼睛来说更重要 一些。快速的高频变化常常感觉不到，甚至视而不见。对于d c t 变换输出矩 阵的每个位置上的系数，使用以下公式计算其相应的量化值： 繇。= 鲁，0 ，一旦被指定为“不使用“状态，在码流中就不会包含把这 些“不使用“区域作为后续帧的参考进行预测的数据信息，这些区域将不被 用于运动补偿预测。通过这种方法，编码器能够确信解码器可以对用于运动 补偿预测的数据进行高效的存储。整个缓冲区的大小及结构都包含在码流里 面，传送给解码器，而编码器能够对缓冲区加以控制。但是，“不使用“状态 区域和缓冲区结构的确定是较为困难的，且运算比较复杂。 3 1 3 视频码流语法数据结构 e r p s 模式下，码流数据结构将在图像层和块组层发生变动，当参数m r p a 置为“1 ”时，宏块层也要发生变动。在图像层和块组层，将插入“增强的参 考帧选择“层( e r p sl a y e r ) 。而在宏块层，于一定条件下插入一些图像参考 参数，就可以进行多帧运动补偿。 增强的参考帧选择模式将改变图像层的p l u s h e a d e r 的数据结构，如图 3 4 所示。插入p l u s h e a d e r 中的码字有r p s m f ，p n 和e r p sl a y e r 。e r p s 模式 下的g o b 层数据结构如图3 - 5 所示。增加的码字有p n i ，p n ，n o e r p s l 和e r p s l a y e r 。e r p sl a y e r 层的数据结构如图3 - 6 所示。 苣玉正丑正二 ：1 5 电子科技大学硕士学位论文 图3 - 4e r p s 模式下的图像层p l u s h e a d e r 数据结构 图3 - 6e r p sl a y e r 层的数据结构 2 6 电子科技大学硕士学位论文 参考帧选择模式标志( r p s m f ) r p s m f 是一个3 比特定长码字，标识编码器使用e r p s 模式。 图像帧数量标识器( p n i ) p n i 是位于g o b 层的l 比特定长码字，标识其后是否紧跟p n 码字，若p n i ： “0 ”，表示不使用p n ，若p n i = “l ”，表示使用p n 。 图像帧数量( p n ) 编码器使用e r p s 模式时，在p l u s h e a d e r 里添加p n l 0 比特定长码字。而 且只有当p n i = “1 ”时，它才出现在g o b 层。每编码并传送一帧图像，p n 就 加l ，当p n 达到1 0 2 3 时，又重新返回值0 开始计数，它执行模1 0 2 4 操作。 p n 作为存储在多帧缓存区里的图像帧的唯一标示符，使得一帧图像保存在缓 存区的时间不能超过缓存区里存满1 0 2 4 个帧时的时间，也就是说，当存满 1 0 2 4 帧时，必须进行刷新，将最先存储的帧换掉。除非是把某个帧指定为“长 期存储帧“，才能一直保存于缓存区。 无增强的参考帧选择层( n o e r p s i ，) n o e r p s l 时e r p s 模式下位于图像层的1 比特定长码字。若n o e r p s l ：0 ， 表示发送e r p sl a y e r 码字，若n o e r p s l = “l ”，表示不发送e r p sl a y e r 码 字。 增强的参考帧选择层( e r p sl a y e r ) 在e r p s 模式下，e r p sl a y e r 码宇位于图像层，当n o e r p s l = “0 ”时， 在g o b 层也要加入该变长码字。它指定用于解码当前图像以及g o b 块组的缓 存索引，并控制图像缓存的内容。 多参考帧激活( m r p a ) m r p a 是1 比特定长码字，只有当图像编码类型为p 帧，e p 帧，改进的 p b 帧或b 帧时，该码字才有效。m r p a 指示是否用于解码当前图像以及g o b 块组的前向预测或后向预测激活参考帧的数目大于l 帧。若m r p a = “1 ”，表 示用于运动补偿的参考帧数目大于l ：若m r p a = 0 ，表示用于运动补偿的参 考帧只有一帧( 即正常模式) ，此时m b 层的语法数据结构不做改动。对于不 同的g o b 块组，m r p a 的值可能不一致。 图像帧编号重映射指示器( r m p n i ) 只有当图像编码类型为p 帧，e p 帧改进的p b 帧或b 帧时，r m p n i 变长 皇量i 燮拦堡主堂堡垒塞 码字才有效，r m p n i 指示是否默认的图像帧索引值被重映射用于运动补偿当 前图像以及g o b 块组，并且指示索引值如何被重映射人多帧缓存区。 图像帧编号绝对差值( a d p n ) 只有由r m p n i 加以指示，a d p n 变长码字才有效，a d p n 指示当前重映射 帧的帧号与该帧编号的预测值的绝对差值。如果在当前的e r p sl a y e r 层没有 前一个a d p n 值，则当前帧编号的预测值为当前帧的帧编号。 重映射长期帧索引( l p i r ) 只有由r m p n i 加以指示，l p i r 变长码字才有效，它指示需映射的长期存 储帧的帧编号索引值。a d p n 不受l p i r 的影响。 b 帧两帧预测子模式( b t p s m ) b t p s m 是1 比特定长码字，只有当m r p a 为“1 ”且编码帧为b 帧时才有 效。它指示是否使用两帧后向预测子模式。若b t p s m = “0 ”，表示使用单帧后 向预测；若b t p s m = “1 ”，表示使用两帧后向预测。 参考帧缓存类型( r p b t ) r p b t 为1 比特定长码字，指定当前已解码帧的缓存类型，如果编码类型 为b 帧，r p b t 无效。若r p b t ：“1 ”，表示缓存类型为滑动窗口；若r p b t = 0 ， 表示缓存类型为自适应存储控制。当采用“滑动窗口“缓存类型时，当前已 解码的图像帧将加入缓存区，其编号索引值默认为0 ，标识为“不使用“的 帧将按照先进先出的方式自动加入缓存区。在滑动窗口类型下，无需传送附 加信息来控制缓存区的内容。当采用“自适应存储控制”类型时，编码器必须 明确指定缓存区的附加信息或者缓存里标识为“不使用“的数据。并可能将 短期存储帧指定为长期存储帧。当前图像帧和其他帧有可能在解码端缓存区 明确标识为“不使用“。这一缓存类型需要进一步的信息，这些信息由存储 管理操作的参数加以控制。 存储管理控制操作( m m c 0 ) m m c o 为变长码字，只有当r p b t 指定为“自适应存储控制“时它才有效。 m m c o 用于指定多帧缓存存储的控制操作。具体操作方式请参见协议部分，此 处不做叙述。 宏块层的数据结构如图3 7 所示。 2 8 电子科技大学硕士学位论文 一c o d p r 0m e p b om c b i cm o d bc b p bc b p y f 。q u a n t + 卜f 脚b | m v 。 p r 2n m p b 2m ：、r d 2 p r 3m 】 p b 3 m v 。3 fp r m b p b n r v d 。 0 一m e p b bm v d bb l o c kd a t a l 图3 7 宏块层的数据结构 当e r p sl a y e r 层的m r p a 码字的值为“1 ”时，e r p s 模式下的船宏块层 的语法数据结构将发生变化，而且只有在p 帧和改进的p b 帧编码方式且前向 参考帧的数目大于1 时其增加的码字才有效。 宏块编码指示( c o d ) 如果c o d 的值为“l ”，宏块就没有进一步的信息要传送，此时该宏块不 编码。在这种情况下，解码器将该宏块看作运动向量等于零的帧间编码宏块， 图像参数等于零，没有系数数据。如果c o d 的值为0 ，表示该宏块将进行 编码，其语法数据结构发生变化，p r ，p r o ，p r 2 ，p r 3 p r 4 和p r b 都是变长码字。 图像参考参数零( p r o ) 当c o d 的值为“0 ”时，p r o 有效。如果p r o 的解码值为0 ，表示在宏块 后面紧跟有进一步的附加信息；如果p r o 的解码值非0 ，表示宏块的编码仅 使用一帧参考帧。如果p r o 的解码值非( j ，没有进一步的信息要传送，解码 器将该宏块看作运动向量等于零的帧间编码宏块，图像参数等于零，没有系 数数据；如果p r o 的解码值为0 ，m c b p c c b p b ，c b p y 和d q u a n t 字段的意义与 用法不变，同时为所有帧间宏块加入p r 和m v d 字段。 宏块仿真防止比特零( m e p b 0 ) m e p b 0 为1 比特定长码字，当且仅当p r o 有效且有解码值1 时，还要满 足以下条件，m e p b 0 才有效且值为1 。 条件1 ：前一个宏块的p r o 码字后面没有紧跟m e p b 0 码字： 条件2 ：当前宏块的c o d 码字紧跟于前一个c o d = 0 且p r o = ”1 ”的宏 块后。 2 9 电子科技大学硕士学位论文 m e p b 0 的目的是为了防止起始码仿真( 避免与图像层起始码字混淆) 。 宏块图像参考参数( p r ，p r 2 4 及p r b ) p r 是基本的图像参考参数，当m v d 有效时p r 才有效。只有在高级预测 模式或去块滤波模式下，且由p t y p e 和m c b p c 码字指定为i n t e r 4 v 或 i n t e r 4 v + q 宏块时，p r 2 4 才与m v d 2 4 一起使用。只有在改进的p b 帧模式下， 且由m o d b 指示m v d b 有效时p r b 才有效。p r ，p r 2 4 及p r b 指示一个图像参考 帧在多帧缓存区内的相对索引值。 宏块仿真防止比特( m e p b ，m e p b 2 4 及m e p b b ) m e p b ，m e p b 2 4 及m e p b b 均为l 比特定长码字且有效时值为“l “。当且 仅当无限制运动向量模式不使用时，同时相关的p r ，p r 2 4 及p r b 有效且解码 值为1 它们才有效，它们的目的是防止起始码仿真。 3 1 4 解码过程 e r p s 模式的解码器在多帧缓存区内存储帧问图像解码所用的参考帧，相 对于基本的h 2 6 3 协议，e r p s 解码器需要额外的存储能力来存储多个已经解 码的图像帧，按照由比特流指定的参考帧缓存类型和存储管理控制操作，解 码器将复制编码器的多帧缓冲区，当部分错误图像被解码时，将运行缓存方 案。每个被传送和解码的图像帧都指定一个帧编号( p n ) ，p n 和图像一起存 人多帧缓存区。p n 代表一个序列图像的存储帧的计数标识器，它是有限制的， 使用模1 0 2 4 的算术运算。对于首先被传送的帧，p n 值为0 ，而对于每个后续 的被传送用于存储的帧，p n 值加1 ，如果两个连续的图像帧之间的p n 值之差 不为1 ，解码器就会推断出图像序列发生了丢帧或有坏掉的数据。这时，标 识丢帧情况的后向信道消息就会发送给编码器。除了p n ，存储于多帧缓存器 图像帧都有一个相关的索引编号，叫做默认相对索引编号。当一幅图像被首 先加入多帧缓存器时，它被赋予默认相对索引编号值0 。当加入或被移出多 帧缓存器时，或者指定短期存储帧为长期存储帧时图像的默认相对索引编号 将进行调整。存储于多帧缓存器的图像被划分为两种类型，短期存储帧和长 期存储帧。长期存储帧将在多帧缓存器里保存很长一段时间( 超过1 0 2 3 的图 像间隔) 。当前帧最开始被看作短期存储帧( 保存时间不超过1 0 2 3 的图像间 3 0 电子科技大学硕= t 学位论文 隔) ，任何一个短期存储帧都可以根据码流信息改变为长期存储帧，长期存储 帧将被加以标识l p i n 。p n 和l p i n 用于把图像重映射为重映射相对索引以便 进行高效的参考帧搜索。 对于非b 帧图像，当前已解码图像的缓存由r p b t 码字指定，缓存机制可 以采取先进先出的“滑动窗口“模式，也可以采取自定义的自适应缓存模式。 “滑动窗口“缓存类型工作方式如下： 首先，解码器决定图像是否可以存入“不使用“缓存区，如果没有足够 的“不使用”缓存能力，具有最大默认相对编号的短期存储帧( 比如缓存器 里存储最久的短期存储帧) 将被标识为“不使用“，这一过程将不断重复直 到有足够的存储能力来保存已解码帧。当前已解码帧将存入缓存器并置默认 相对索引值为0 。而所有其他短期存储帧的默认相对索引依次加1 ，长期存储 帧的默认相对索引加1 再减去被移走的短期存储帧的数目。 “自适应存储控制“缓存类型工作方式如下： 指定的帧或子图像区域可以明确地从多帧缓存器移走，当前已解码的帧， 最初被看作短期存储帧，可以插入缓存器，其默认相对索引为0 ；也可以指 定为长期存储帧；或者由编码器指定为“不使用”帧。其他的短期存储帧也 可以指定为长期存储帧。缓存过程如下： 首先，当前帧加人多帧缓存器，其相对索引值为0 ，其他短期存储帧的 相对索引值依次加l ，接着，进行i v i m c o 操作，对存储管理加以控制。 如果m r p a 指示使用一个以上的参考帧，将启动多帧运动补偿，否则，按 基本的h 2 6 3 方法进行运动补偿。对于多帧运动补偿，当前帧的每个宏块都 将由解码器在多个参考帧的范围内分别选择参考帧( 不一定是最近那个已解 码的帧) 进行运动补偿。 其他解码过程，如每个宏块的运动补偿，反量化以及反d c t 变换与基本 的h 2 6 3 编码器一致，这里不再赘述。 3 2 协议的实现方案 h 2 6 3 第二版包含三个附加协议，分别是u 、v 和w 。其中协议u 指的是” 增强的参考帧选择模式”( e r p s ) ，该协议通过对运动估计和补偿的改进来提 电子科技大学硕士学位论文 高预测精度，从而提高编码效率，同时也增强了抗误码性能。 协议u 的改进主要在于它在运动估计时不是在最近的一帧恢复帧中进行 搜索，而是将搜索范围扩展到若干帧参考帧，其编码器框图如图3 - 3 所示， 参考帧