（信号与信息处理专业论文）h264视频码流时域误码掩盖技术研究.pdf

南京邮电火学硕十研究生学位论文 摘要 摘要 在第三代移动通信中，视频通信业务成为3 g 应用的一个亮点，如何提供低比特率传 输的高质量视频是众多学者研究的新课题。在低比特率无线视频通信中传输的视频流，通 常采用h 2 6 4 a v c 进行高效压缩，丽高效压缩后的视频流对传输中产生的误码非常敏感， 一旦传输中出现误码，则解码重建的图像质量将严重下降。其误码不仅影响当前帧的恢复， 还会影响后续帧的恢复，造成误码扩散。由于在无线视频通信中需要节省传输带宽，本文 将q c i f 图像打成两个r t p 包模拟在第三代移动通信网络中进行视频传输，以便充分利用 网络的带宽资源。但由于无线信道的突发误码、丢包等特性，在传输过程中往往会发生一 个或连续两个包的丢失，从而导致半帧或者整帧视频数掘的丢失。为了恢复高质量的解码 重建图像，本文提出了整帧图像和半帧图像丢失情况下的误码掩盖算法，即采用改进的基 于光流方程掩盖丢失的整帧图像和采用基于4 4 子块时域方法掩盖丢失的半帧图像。 h 2 6 4 作为新一代视频压缩编码标准，不仅在压缩性能上得到显著提高，其网络亲和 性与抗误码能力也更显优势。本文在简要介绍h 2 6 4 标准之后，重点研究基于解码端的误 码掩盖算法。首先，回顾了视频编码技术的发展以及国内外误码掩盖技术的研究成果，总 结了时域、空域以及自适应时空结合误码掩盖技术；其次，深入分析了h 2 6 4 标准草案测 试模型j m 8 6 中的时域误码掩盖算法，并对测试模型j m 8 6 中的时域误码掩盖算法进行改 进，提出了整帧图像和半帧图像丢失情况下的时域误码掩盖算法：最后，在3 g 通用测试 环境下验证本文提出算法的可行性。 实验表明，本文提出的算法比传统的时域误码掩盖方法有较好的图像重建质量，主观 视觉效果较好，在平均丢包率为3 时，p s n r 比j m 8 6 掩盖方法平均提高2 d b ，且算法复 杂度不高。本文提出的算法能应用于低比特率实时无线视频通信中，如移动、固定i p 网络 等。 关键词时域误码掩盖h 2 6 4 视频编码光流方程 a b s t r a c t i n3 gm o b i l ec o m m u n i c a t i o n s ，v i d e oc o m m u n i c a t i o n sh a sb e c o m eab r i g h ts p o tf o r3 g a p p l i c a t i o n s ，h o wt op r o v i d eh i g h q u a l i t yl o w b i t r a t ev i d e ot r a n s m i s s i o ni san e wt a s kt om a n y s c h o l a r s i nl o wb i t r a t et r a n s m i s s i o no ft h ew i r e l e s sv i d e oc o m m u n i c a t i o n ，h 2 6 4 a v ci s u s u a l l yu s e df o rt h ee f f i c i e n tc o m p r e s s i o n ，h o w e v e rc o m p r e s s e dv i d e os t r e a m sa r em u c hm o r e v u l n e r a b l et ot r a n s m i s s i o ne r r o r s o n c et r a n s m i s s i o ne r r o ra p p e a r , t h er e c o n s t r u c t e di m a g ew i l l g e tw o r s e ，n o to n l yc o r r u p tt h ec u r r e n tf l a m e ，b u ta l s op r o p a g a t et os u b s e q u e n tf r a m e s i no r d e r t os a v et h eb a n d w i d t ho fw i r e l e s sv i d e ot r a n s m i s s i o na n db e t t e ru s et h er e s o u r c eo fn e t w o r k ， p a c k e tt h eq c i ft y p ei m a g ei n t ot w or t pp a c k a g e d u et ou n e x p e c t e dw i r e l e s sc h a n n e le r r o ra n d p a c k e tl o s s ，d u r i n gt r a n s m i s s i o nw i l lo c c u ro n e o rt w oc o n s e c u t i v ep a c k e tl o s s ，w h i c hl e a dt oh a l f o rw h o l ef r a m el o s s i no r d e rt or e s t o r et h eh i g hv i d e oq u a l i t y , t h i sp a p e rp r e s e n t st h en e we r r o r c o n c e a l m e n tt e c h n i q u e ，t h a ti st h ea m e l i o r a t e db a s eo no p t i c a lf l o we q u a t i o nt oc o n c e a lt h e w h o l ef l a m e 1 0 s s e sa n db a s e do n4 4b l o c kt oc o n c e a lt h eh a l ff r a m e 1 0 s s e s h 2 6 4i st h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d ，w h i c hn o to n l ye n h a n c e si t s c o m p r e s sp e r f o r m a n c e ，b u ta l s og e t se m i n e n tp r e d o m i n a n c ei nn e t w o r kf r i e n d s h i pa n de r r o r r e s i l i e n c e i nt h i sp a p e r ，m a k ead e e p l yr e s e a r c ho ne r r o rc o n c e a l m e n tb a s e do nd e c o d e ra f t e r d e t a i l e di n t r o d u c eh 2 6 4 f i r s t ，r e v i e wt h ed e v e l o p m e n to fv i d e oc o d i n gs t a n d a r da n dr e s e a r c h a b o u te r r o rc o n c e a l m e n to fi n l a n da n do v e r s e a s ，s u m m a r i z i n gt h et e m p o r a l ，s p a t i a la n dt h e c o m b i n a t i o no fs p a t i a la n dt e m p o r a le r r o rc o n c e a l m e n ta l g o r i t h m s e c o n d l y , a n a l y z i n gt h e t e m p o r a le r r o rc o n c e a l m e n to nt h et e s tm o d e lj m 8 6o fh 2 6 4 ，a n dp r o p o s i n gt h en e ws c h e m et o c o n c e a lt h ew h o l ef r a m e l o s s e sa n dh a l ff l a m e l o s s e s f i n a l l y , v e r i f y i n gt h ep r o p o s e da l g o r i t h m u n d e rt h e3 gt e s t i n ge n v i r o n m e n t e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dy i e l d sb e t t e rv i d e oq u a l i t ya n d s u b j e c t i v ev i s u a le f f e c tt h a nc o n v e n t i o n a la p p r o a c h e s w h e nt h ea v e r a g ep a c k e tl o s sr a t ei s3 ， t h ep r o p o s e dm e t h o ds i g n i f i c a n t l yo u t p e r f o r m st e s tm o d e lj m 8 6w i t ha b o u t2 d bi np s n l la n d t h ec o m p u t a t i o n a lc o m p l e x i t yi s l o w , t h u si tc a nb eu s e di nl o wb i t r a t ew i r e l e s sv i d e o c o m m u n i c a t i o n s ，s u c ha sm o b i l en e t w o r ka n df i x e di pn e t w o r k k e yw o r d s ：t e m p o r a le r r o rc o n c e a l m e n t h 。2 6 4v i d e oc o d i n g o p t i c a lf l o we q u a t i o n 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：释日期：五鲤地 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：辑导师签名： 南京邮电人学硕j ：r o f 究生学位论文 前占 、厶j l 刚i吾 3 g 标准w c d m a 、c d m a 2 0 0 0 与t d s c d m a 都属于宽带c d m a 技术，宽带c d m a 进一步拓展了标准的c d m a 概念，在一个相对更宽的频带上扩展信号，从丽减少出多径 和衰减带来的传播问题，具有更大的容量，这使得在无线环境下传输多媒体信息成为可能。 h 2 6 4 以优异的压缩性能和网络适应能力得到人们的重视，因此在无线通信中进行低比特 率视频传输时，通常采用h 2 6 4 视频编码标准进行高效压缩，而高效压缩后的视频流对传 输中产生的误码非常敏感，一旦传输中出现误码，误码不仅影响该字段误码数据的恢复， 还会影响与之相关的其他字段数据的恢复，造成误码扩散，最终导致重建图像的质量严重 下降。为了提高重建图像的视觉质量，同时为了实现无线视频通信的实时性，在解码端引 入误码掩盖技术。本文在回顾介绍国内外时域、空域以及自适应时空结合误码掩盖技术的 基础上，重点研究基于解码端的时域误码掩盖技术。 在低比特率无线视频通信中，以每秒1 0 帧的速率传输q c i f 图像序列，在码率6 4 k b p 时，每帧图大小约为8 0 0 b y t e s ，而网络最大传输单元为6 4 k b y t e s ，因此可以将帧q c i f 图像打成一个r t p 包，本文为了充分利用网络的带宽资源，将q c i f 图像打成两个r t p 包。 由于无线网络的突发误码、丢包等特性，在传输中往往会发生一个或连续两个包的丢失， 从而导致半帧或整帧视频数据的丢失。因此，研究半帧或整帧图像受损的恢复就显得十分 重要。 传统误码掩盖算法可在空域、时域和频域实现，空域误码掩盖主要利用受损块周围有 效信息来恢复当前块；时域误码掩盖主要利用可靠相邻块的m v 在前帧根据边界匹配准 则确定丢失块的m v ：频域误码掩盖主要利用周围有效宏块的d c t 系数来恢复受损块。在 半帧图像或整帧图像丢失时，周围可用的有效信息较少甚至根本没有，如果只采用简单的 时域替代掩盖方法，将会导致误码扩散、延迟，传统的误码掩盖方法对半帧图像或整帧图 像丢失的情况都难以达到较好的掩盖效果。因此本文在h 2 6 4 视频编码标准的基础上，研 究无线视频通信应用中的误码掩盖技术，提出了改进的基于光流方程掩盖丢失整帧图像和 基于4 4 子块时域掩盖丢失半帧图像的掩盖算法。 本文结构安排如下：第章扼要介绍了视频编码技术的发展和国内外误码掩盖技术的 研究成果；第二章分析了目前最新的视频编码标准h 2 6 4 的核心技术：第三章深入研究了 h 2 6 4 标准草案测试模型j m 8 6 中的时域误码掩盖算法：第四章对测试模型j m 8 6 中的时域 南京邮电人学硕 ：研究生学位论文 前言 掩盖算法进行改进，提出了整i 帧图像和半帧图像丢失情况下的误码掩盖方法，即改进的基 于光流方程掩盖丢失整帧图像和基于4 4 子块时域掩盖丢失半帧图像的掩盖方法；第五 章分别对改进的基于光流方程掩盖丢失整帧图像和基于4 4 子块掩盖丢失半帧图像的掩 盖方法进行测试分析，并在3 g 通用测试环境下综合测试提出的两种误码掩盖方法。实验 表明，本文提出的算法比传统的时域误码掩盖算法有较好的主观视觉效果，当平均丢包率 为3 时，p s n r 比j m 8 6 掩盖方法平均提高2 d b 。最后，对整个研究工作进行了总结，并 提出了将来努力的方向。 南京邮电大学硕l ：研究生学位论文 笫章绪论 第一章绪论 i t u t 视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o i e c 运动图像专 家组m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 在2 0 0 1 年成立了联合视频小组j v t ( j o i n tv i d e o t e a m ) 着手制定了新的视频压缩标准，并于2 0 0 3 年3 月颁布了新标准的正式版本h 2 6 4 。 h 2 6 4 的颁布是视频压缩编码发展史上的一件大事，其优异的压缩性能在数字电视广播、 视频实时通信、网络视频流媒体传递以及手机电视等各个方面有着重要的作用。h 2 6 4 标 准在技术上有多处闪光点，如熵编码，高精度、多模式的运动估计，基于4 4 的整数变 换，分层的编码语法等，这些措施使得h 2 6 4 算法具有很高的编码效率。h 2 6 4 的码流结 构对网络的适应性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。 低码率的视频传输要求对视频信号进行高效压缩，而高效压缩后的视频码流在 i n t e m e t ，特别是无线信道上的传输仍然存在着一些棘手的问题，比较突出的是：一方面， 这些压缩后的码流对信道比特误码非常敏感；而另一方面，无线信道由于多径反射和衰落 引入了大量的随机误码和突发误码，影响了码流的正常传输。尤其是h 2 6 4 视频编码标准 中采用了v l c 方案，码流更加容易受到误码的影响，结果在解码端将失去与编码端的同 步，导致在遇到下一个同步码字之前无法对v l c 码字进行正确的解码。同时预测编码技 术会将错误扩散到整个视频序列中，极大地降低重建图像的质量。因此，为了实现良好质 量的视频传输，必须结合实际应用信道的传输特性，采取一定的抗误码措施。由于误码掩 盖技术工作在解码端，并不需要增加额外的码流开销，也不需要增加传输带宽，所以在视 频数据的差错恢复中，误码掩盖技术得到了广泛的应用。 1 1 视频编码技术的发展 从1 9 4 8 年提出电视信号可以数字化以来，图像压缩编码技术已有5 0 多年的历史，不 仅在理论研究上取得了重大进步，而且在实际应用中也获得了很大发展。近l o 年来，图 像编码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志是图像编码的国际标准的 制定。从h 2 6 1 视频编码建议，到h 2 6 2 3 、m p e g 1 2 4 都有一个共同的不断追求的目标， 即在尽可能低的码率下获得尽可能好的图像质量。而且，随之市场对图像传输需求的不断 增加，视频编解码如何适应不同传输网络特性的问题也同益显现。技术的不断发展和需求 的不断提高使得i e o i e c 和i t u t 两大国际标准化组织联手制定了新视频编码标准h 2 6 4 。 南京邮电大学硕 ：研究生学位论文 第章绪论 1 1 1 视频编码技术的发展 h 2 6 1 1 l 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可视电话应 用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余 的d c t 变换的混合编码方法。和i s d n 信道相匹配，其输出码率是p 6 4 k b i t s 。p 取值较 小时，只能传清晰度不太高的图像，适合于面对面的电视电话；p 取值较大时( 如p 6 ) ， 可以传输清晰度较好的会议电视图像。h 2 6 1 主要应用于i s d n 、a t m 等带宽信道上实时 地传输声音和图像信息，不适合在p s t n 和移动通信网等带宽有限的网络上应用，为了满 足低速率视频通信的应用需要，u - t 又推出了适于在速率低于6 4 k b i t s 的信道上传输的 h 2 6 3 2 1 视频编码标准。h 2 6 3 算法所用的基本结构来自h 2 6 1 ，并在h 2 6 1 的基础上做了 许多重要改进。1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 的第二版，它在前一版的基础上提 供了1 2 个新的可选模式和其它特征，迸一步提高了压缩编码性能。i t u t 在对h 2 6 3 标准 进行不断改进和完善时制定了近期目标和远期目标。近期目标是h 2 6 3 + + ( h 2 6 3 第三版， 2 0 0 0 年制定) ，而远期目标就是1 9 9 8 年丌始制定的h 2 6 l 3 j 标准。2 0 0 1 年i s o 的活动图像 专家组( m p e g ) 和i t u 的视频编码专家组( v c e g ) 组成联合视频专家组( j v t ) ，共同 推进视频压缩技术的发展。在2 0 0 1 年9 月j v t 的第一次会议上制定了以h 2 6 l 为基础的 h 2 6 4 1 4 1 标准草案，2 0 0 3 年3 月j v t 形成了最终标准草案，分别提交i t u t 和i s o i e c ， 该标准在i t u t 称为h 2 6 4 a v c ，在i s o i e c 称为i s o i e c1 4 4 9 6 1 0 或m p e g 4 a v c 。但 是，经常提到的仍然是它以前的工作项目名称h 2 6 l 及其i t u 文档号h 2 6 4 ，本文统称为 h 2 6 4 。h 2 6 4 主要目的就是为了提高更高的编码效率和更好的网络适应性。 m p e g 1 标准视频编码部分的基本算法与h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预 测、二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧、预测帧、双向预测帧和直 流帧等概念，进一步提高了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分 辨率、兼容数字电视等方面做了一些改进，例如它的运动矢量为半像素精度，在编码运算 中区分帧和场，引入编码的可分级性技术等。近年推出的m p e g 4 标准引入了基于视听对 象a v o ( a u d i o v i s u a lo b j e c t ) 的编码，大大提高了视频通信的交互能力和编码效率。 m p e g 4 中还采用了一些新的技术，如形状编码、自适应d c t 、任意形状视频对象编码等。 但是m p e g 4 的基本视频编码器还是属于和h 2 6 3 相似的一类混合编码器。 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并逐步在实际上取而代之， 主要应用于通信方面，但h 2 6 3 众多的选项往往令使用者无所适从。m p e g 系列标准从针 对存储媒体的应用发展到适应传输媒体的应用，其核心视频编码的基本框架和h 2 6 1 一致， 4 南京邮电人学硕1 i ：研究生学位论文 筇一苹绪论 其中引入注目的m p e g 4 的“基于对象的编码”部分出于尚有技术障碍，目府妒还难以普遍 应用。因此，发展起来的新的视频编码建议h 2 6 4 克服了两者的弱点，在混合编码的框架 下引入了新的编码方式，提高了编码效率，面向实际应用。同时，它是两大国际标准化组 织共同制定的，其应用前景应是不言而喻的。h 2 6 4 继承了h 2 6 3 和m p e g l 2 4 视频编码 协议的优秀之处，在保留运动补偿和变换编码技术的基础上，加入了如d c t 整数变换、 c a v l c 、c a b a c 等新技术，进一步提高了编码算法的压缩效率和图像回放质量。 1 1 2h 2 6 4 视频编码技术的应用 数字电视的广泛应用是依赖于高效的压缩技术，例如利用m p e g 2 压缩一路高清晰度 电视( h d t v ) ，约需要2 0 m b i t s 的带宽，而采用h 2 6 4 进行一路- d t v 的压缩，大概只 需要5 m b i t s 的带宽。由此可见，在h d t v 制作、播出、传输和存储的过程中采用h 2 6 4 编码技术和调制技术相结合，可将数百m b p s 视频实现1 0 m b p s 以下的低速传输，得到的 回报不仅是节省可观的高速传输设备投入，而且是能节省一半以上的有线带宽资源、无线 频谱资源和存储容量。h 2 6 4 引入了面向i p 包的编码机制，有利于网络中的分组传输，支 持网络中流媒体的视频传输，具有较强的抗误码特性，特别适应丢包率高、干扰严重的无 线视频传输的要求。因此，h 2 6 4 具有广泛的应用前景。 h 2 6 4 标准定义了面向基本档次、主档次和扩展档次三个不同层次的应用。 基本档次：简单版本，无需使用版权，具有开放性，面向复杂度低、传输延迟小的应 用环境。能很好地适应i p 和无线网络，这对目前因特网传输多媒体信息、移动网中传输多 媒体信息等都具有重要意义。可应用于会议电视、可视电话等实时视频通信。 主档次：面向运动特性复杂、快速、传输延迟大的应用环境，采用了多项提高图像质 量和增加压缩比的技术措施，可应用于电视广播。 扩展档次：面向应用要求更高的环境，适用于各种网络的视频流传输。 1 2 国内外误码掩盖技术 进行差错恢复的一种有效方法是在解码端引入误码掩盖技术。所谓误码掩盖技术就是 利用视频信号的时域或者空域相关性，对损坏或者丢失的视频信号进行恢复的种技术， 包括空域、时域以及自适应时空结合误码掩盖算法，下面将介绍各种误码掩盖算法。 南京邮电人学硕1 二研究生学位论文 第一章绪论 1 2 1 空域误码掩盖算法 视频序列或图像组( g o p ) 的第一帧是帧内编码i 帧，它不能利用时间方向上的冗余 信息进行恢复，只能利用当前帧内相邻块的信息进行误码掩盖。i 帧图像的掩盖质量会使 得掩盖误差传播到图像组的其他帧，从而导致视频序列的质量下降，因此空域误码掩盖算 法是不容忽视的。空域误码掩盖算法依据视频图像的空间相关性和平滑性，使得被损坏宏 块的系数与相邻宏块的系数接近，每一个被损坏的宏块都可以由其相邻的宏块近似估计得 到。 目前空域误码掩盖方法主要有平均加权像素内插、方向插值、频域插值和最大平滑度 算法。平均加权像素插值【8 】：即用丢失宏块相邻宏块的一个像素宽度的像素值来插值恢复 丢失像素，如图1 1 所示：四个相邻像素的权值是源点y ( i ，力到目的点像素y ( x ，y ) 距离的倒 数，距离r ( x ，j ，) 越近的像素，权重越大，反之越小。将相邻像素相加并除以各个权重的总 和，最后再将此值插入丢失块中。插值公式为： y ( f ，j ) x 1 s - 4 u m 圳) 】 r ( x ，y ) = v 彳 厶“( 1 ，) ( j ，y ) ( ，) ，= _ ，k ，薯，l ) ，( x ，y ) l o s t i n t r a m b ( 1 1 ) 其中，】， ，力表示插值像素值，坎f ，力是边界相邻像素值，吐u ) 呻( ) 表示源点到目的点 的距离，n 表示相邻像素的个数。该算法的优点是非常简单而易于实现，对视频帧内平滑 区域有较好的掩盖效果。但是它有一个严重的局限，即该算法将受损宏块作为平滑图像来 支持。如果受损宏块具有很多细节和纹理，或者有图像边界穿越宏块时，该误码掩盖算法 将导致图像纹理丢失，画面模糊，因而画面质量显著降低。 因人眼对图像边缘的完整性比较敏感，所以可以利用丢失块周围像素的相关性，根据 周围像素的边缘方向信息恢复出丢失块的边缘信息，即方向插值【9 】。方向插值：可以恢复 相邻连续区域图像的边缘，通过把丢失块周围的块内像素与不同方向模板做卷积，利用梯 度算子计算不同的幅度值和角度值，将最大值的方向作为丢失块内边缘的方向，并在此方 向上进行一维内插，其方法简单。多方向插值【io j 能够恢复丢失块周围高度相关的边界细节， 在空间域利用s o b e l 算子计算丢失块周围8 个块内所有像素的梯度，把梯度方向均匀量化 到0 。至1 8 0 。中八个方向之一，然后根据每个方向的像素个数决定沿1 3 个方向进行一 维内插，这样就得到1 3 个图像块，若得到不止一个图像块就把这些图像块融合成一个图 像块。这种方法可以很好的恢复多个方向的误码块。另外，也可以将梯度方向均匀量化到 0 。至3 6 0 。度中的1 6 个方向之一1 8 】，然后根据选取的方向对丢失像素进行权重插值。 6 南京邮电人学硕t ：研究生学位论文 第一蕈绪论 频域插值算法l l i j ：利用图像内容的相关性，即受损图像块的d c t 系数与相邻图像块 中对应的d c t 系数比较接近。若受损图像块只是个别的d c t 系数受损，则利用相邻块系 数的插值来估计受损块的系数值；若受损图像块所有系数都丢失，则利用受损块周围邻近 块的低频系数平均值来代替受损的低频系数，而高频系数强制为零。 最大平滑度恢复方法【l2 j ：利用视频信号在空域和时域上的平滑特性，使恢复的受损块 图像数据与其邻近的图像数据在空间上保持平滑，同时使受损块与先前帧( 或后续帧) 在 时域上保持平衡。最大平滑度恢复算法中有大量的矩阵运算，计算复杂度高，出于采用单 一特征量最佳化，对平滑区域有较好的恢复效果，但对细节丰富的区域效果欠佳。 1 2 2 时域误码掩盖算法 y l li 椒重距离d 丢失宏块 y ( x ，y ) 图1 1 平均加权像素线性插值 时域误码掩盖算法利用视频序列的时域相关性，首先通过某种算法估计出丢失块的运 动矢量，然后用参考帧中相应的宏块代替当前丢失的宏块。时域误码掩盖算法的难点是运 动矢量估计和边界匹配准则，目前运动矢量估计的方法有： ( 1 ) 零运动矢量f l3 】：由于视频信号具有很强的时间相关性，故可直接将丢失的运动 矢量置为0 ，用参考帧中相应空问位置的块来代替丢失块。优点：计算量最少，对静止图 像较好。缺点：对运动图像掩盖效果很差，重建图像中有方块效应。 ( 2 ) 周围邻近块运动矢量的中值( 平均值) 【1 j 假设运动区域的运动矢量是连续的， 根据损坏块周围邻近块的运动矢量中值( 或平均值) ，在参考帧中进行预测补偿，一般中 值运动矢量方法比平均值运动矢量方法好。优点：对以损坏块为中心的整体平移运动物体， 掩盖效果较好。缺点：对大运动量、非整体平移运动物体( 如旋转或多方向运动等 ，掩 盖效果较差，重建图像中有方块效应。 7 堕室坚鱼盔兰堕：生塑塑竺兰垡笙壅 塑二至堑堡 ( 3 ) 拉格朗日插值方法f m 】：利用空域运动矢量的平滑性和连续性，即假设丢失块的 运动矢量和邻域块的运动矢量有相似的运动趋势，则用多项式描述邻域块的运动趋势，根 据多项式恢复丢失块的运动矢量。优点：拉格朗同插值计算量低。缺点：当邻域块和丢失 块的运动趋势不一致时，拉各朗同插值方法失效。 ( 4 ) 双线性运动矢量插值【”l ：它是最为常用的一种运动场插值m f i ( m o t i o nf i e l d i n t e r p o l a t i o n ) 方法，通过一些已知控制点的运动矢量，用某种内插方法得到未知点的运动 矢量。优点：提供平滑的运动场变化使得方块效应减少，且能补偿多种类型的宏块，如旋 转、缩放和平移。缺点：当控制点的运动矢量丢失时，插值效果差，且计算量大。 边界匹配准则用来在候选运动矢量集中选择最优的运动矢量【l6 。每个候选运动矢量都 用来掩盖丢失块，因视频帧的像素是高度相关的，掩盖的质量可以用块边界的连续性来度 量。这种连续性用边界匹配失真s m d ( s i d em a t h c h i n gd i s t o r t i o n ) 表示，定义为掩盖块边 界的绝对差或平方差，将最小s m d 值的候选运动矢量作为最佳运动矢量。替代估计基于 失真准则，当在不平滑或空间相关性较低的区域时，这种方法失效。边界匹配准则b v i a ( b o u n d a r ym a t c h i n g a l g o r i t h m ) ，定义为当前帧损伤块的外部边缘像素与参考帧补偿块的 内部边缘像素的绝对差和。b m a 应用在丢包率低的条件下，即要求丢失块的邻域块j 下确 接收或正确掩盖。当丢包率较高时，文献【l7 j 提出了选择性运动矢量匹配s m v e ( s e l e c t i v e m o t i o nv e c t o rm a t c h i n g ) 。 由于h 2 6 4 a v c 标准采用多参考帧进行运动估计和补偿，如果对受损宏块的运动矢量 估计还局限于前一帧，势必会使运动补偿产生较大的误差，因此可以利用多参考帧的时域 误码掩盖技术d s , l9 】。参考图像同时被存储在编码端和解码端的帧缓冲器中，宏块的运动矢 量估计除了空间坐标( a x ，砂) 描述外，增加了时间坐标西，出表示指向帧缓冲区的某个参考 帧。 1 2 3 自适应时空结合误码掩盖算法 单纯的使用空域算法会造成图像的钝化，而时域算法则无法处理大运动的图像区域， 因此，建议了一种时域和空域混和的误码掩盖算法，即同时使用两类算法对发生错误的图 像帧进行掩盖。 方法一【2 0 l ：结合多方向边界匹配m d b m ( m u l t i d i r e c t i o n a lb o u n d a r ym a t c h a l g o r i t h m ) 和权重马尔可夫随机场w m r f ( w e i g h t e dm a r k o vr a n d o mf i e l dm o d e l ) 的误码掩盖方法。 首先，用m d b m 确定丢失块的最佳运动矢量，根据最佳m v 在参考帧中进行运动补 8 塑塞坚堕_ 犬兰堡：! ：翌窒皇兰垡堡茎 至二至堡堡 偿预测。然后计算参考帧中补偿块周围边界像素和当日订帧中丢失块周围边界像素的绝对 差。若绝对差值小于域值，则利用m d b m 补偿块作为恢复块，否则用w m r f 得到空域恢 复块。然后根据线性插值把m d b m 和w m r f 恢复块综合起来。该方法对边缘连续性和细 节丰富区域掩盖效果好。 方法- - 1 2 1 】：根据场景切换自适应采用空域和时域误码掩盖方法。 帧内误码掩盖方法只应用在i d r 帧( 即第一个i 帧) 中，因此可以考虑对后续的i 帧 ( 场景没有发生变化时) 采用时域信息进行误码掩盖。帧问误码掩盖没有考虑场景变化， 当场景变化时，时域相关性就破坏，基于运动补偿的运动矢量恢复就变得不可行，此时可 以利用空域信息进行误码掩盖。算法步骤：首先进行场景变化检测，若场景发生变化，说 明是i d r 帧，采用传统的空域误码掩盖算法；否则采用传统的时域误码掩盖算法。 方法三【2 2 】：结合时域和空域平均像素插值或d c t 快速插值的误码掩盖方法。 根据可靠邻近块的数目来决定采用时域或空域误码掩盖方法。若可靠相邻块个数小于 域值，则采用时域直接拷贝的误码掩盖方法：否则采用空域误码掩盖方法。在进行空域误 码掩盖时，根据邻域块的相似性决定采用d c t 快速插值或平均像素插值。 方法四【2 3 j ：根据邻域块的编码模式确定当前宏块的掩盖类型。 基于h 2 6 4 的编码特性，依据八个相邻宏块中j 下确接收块的编码模式来估计丢失区域 的空域与时域活动性，如果邻域块中i n t r a 编码的块多于i n t e r 编码的块，则受损宏块 的编码模式就估计为i n t r a ，采用空域误码掩盖方法；反之，为i n t e r 编码模式，采用 时域误码掩盖方法。 1 3 论文主要工作 在实际视频通信中，通常采用i 、p 、p 、p 编码格式，因网络突发差错，导致大量 的p 帧图像受损，为了提高解码重建图像的质量，本文研究基于解码端的p 帧误码掩盖算 法。基于解码端的误码掩盖算法，不需要增加额外的比特开销，对传输带宽也没有特殊要 求，从而不会引起网络的拥塞和延时。论文主要工作如下： 回顾概述了视频编码技术的发展和国内外误码掩盖技术的研究成果。分别介绍了时 域、空域以及自适应时空结合误码掩盖算法，本文重点研究基于解码端的时域误码掩盖算 法。 分析了h 2 6 4 视频编码及其核心技术。h 2 6 4 采用分层编码结构，提高了编码效率， 增强了网络的适应性，并引入新的核心技术以及抗误码技术。 9 塑窒塑皇叁兰! 鍪! ：型! 壅竺兰笪堡茎笙二至堑堡 深入研究了h 2 6 4 标准草案测试模型j m 8 6 中的时域误码掩盖算法。 在h 2 6 4 视频编码标准的基础上，针对整帧图像和半帧图像丢失的情况分别进行研 究，提出了适合无线视频通信应用中的误码掩盖技术，即改进的基于光流方程掩盖丢失整 帧图像和基于4 4 子块掩盖丢失半帧图像的误码掩盖方法。 以p c 为平台，在不同丢包环境下对提出的时域误码掩盖算法进行实验分析。 对整个研究工作进行总结，并提出将来努力的方向。 南京邮电人学硕 二研究生学位论文 第二章h 2 6 4 视频编码及其核心技术 第二章h 2 6 4 视频编码及其核心技术 随着人们对通过i n t e r n n e t 、无线网获取多媒体服务信息业务的需求与日俱增，很多移 动网络，如g s m g p r s 、u m t s 和c d m a 一2 0 0 0 ，几乎都可以在所有的移动终端上进行基 于i p 的视频数据传输，并给用户提供一个简单灵活的传输界面。受无线带宽资源和传输能 力的限制，目前的用户通常是按流量支付费用的方式使用无线网络的数据服务，提高压缩 效率是无线视频和多媒体应用的主要目标。而视频手持设备受处理器速度和存储容量的限 制，视频编码的设计必须以最高效率和最低复杂度为目标。h 2 6 4 顺应这一趋势，提高压 缩率来提升视频服务，成为目前移动视频通信系统的最佳候选标准。 h 2 6 4 是一个面向未来i p 和无线环境下的新视频压缩编码标准，它在视频压缩效率方 面比目前所有的视频压缩标准都要高，而且算法结构上的分层处理使它能适应不周的传输 环境，提高传输效率。在技术上，h 2 6 4 标准中有多个闪光之处，如基于内容的变长编码， 高精度、多模式的运动估计，基于4 4 块的整数变换等，这些措施使得h 2 6 4 算法具有很 高的编码效率。在相同的重建图像质量下，h 2 6 4 能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，且具有抗误码性能，因此h 2 6 4 增强了差错恢复能力，能够很 好地适应i p 和无线网络的应用。 2 1h 2 6 4 编码器分层结构 在信源编码器中，从视频码流结构上研究其抗误码性能，成为研究的一个热点。 h 2 6 4 a v c 作为最新的视频编码标准，采取了一系列切合实际的技术措旌，提高了网络适 应性，增强了数据抗误码性能，从而保证了视频传输后压缩视频的q o s 。与以往视频编码 标准不同的是，h 2 6 4 a v c 标准从系统层面定义了视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 。其中，视频编码层独立于网络，主要包 括核心压缩引擎和片、宏块和块的语法句法定义。通过引入一系列新特性，不但使h 2 6 4 的编码压缩效率提升了近1 倍，而且多种错误恢复工具又增强了视频流的顽健性。网络提 取层的主要功能是定义数据的封装格式，把v c l 产生的比特字符串适配到各种各样的网 络和多元环境中。 南京邮电人学硕 ：研究生学位论文 第二章h 2 6 4 视频编码及j e 核心技术 2 1 1 分层结构 h 2 6 4 具有广泛的应用领域，为了适应各种应用和网络的多样性，h 2 6 4 在算法上分为 两层：视频编码层负责高效的视频内容表示，网络提取层负责以网络所要求的恰当方式对 数据进行打包和传送。正是这种分层的结构设计，强化了对视频信息的压缩处理、格式封 装和优先级控制，使得h 2 6 4 编码标准可以在众多领域被广泛应用。h 2 6 4 编码器分层结 构如图2 1 所示。为了提高h 2 6 4 的n a l 在不同特性的网络上定制v c l 数据格式的能力， 在v c l 和n a l 之间定义了基于分组方式的接口，打包和相应的信令属于n a l 的一部分， 这样，高编码率和网络友好性的任务分别由v c l 和n a l 完成。 ( 1 ) 视频编码层通过改进各种成熟的压缩技术和先进算法，对数字视频进行高效率 编解码，提供具有高质量、高压缩比、健壮性、可分级等特性的视频编码流。v c l 层主要 功能是视频数据压缩编码和解码，它包括基于块的运动补偿、变换编码、熵编码等压缩单 元。和以往的视频编码标准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这 样可以增加标准的灵活性。 ( 2 ) 网络提取层负责以网络所要求的恰当方式对数据进行打包和传送，正式定义了 视频编解码器和外部网络之间基于i p 包的接口，以便将v c l 层视频流进行协议封装后， 通过n a l 无缝集成到传输层。n a l 层负责使用下层网络的分段格式来封装数据，使其在网 络中传送，采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、 逻辑信道的信令、定时信息的利用或序列结束信号等。例如：n a l 支持视频在电路交换信 道上的传输格式，支持视频在i n t e m e t 上利用r t p u d p i p 传输格式。n a l 包括自己的头 部信息、段结构信息和实际载荷信息，即上层的v c l 数据。n a l 层的引入将编码与信道 隔离，提高了h 2 6 4 适应复杂信道的能力，对目前现存或未来各种不同网络都有很强的网 络友好性。 h 2 6 4 从框架结构上将n a l 与v c l 分离，主要有两个目的：第一，可以定义v c l 视 频压缩处理与n a l 网络传输机制的接口，这样允许视频编码层v c l 的设计可以在不同的 处理器平台进行移植，而与n a l 层的数据封装格式无关；第二，v c l 和n a l 都被设计成 工作于不同的传输环境，异构的网络环境并不需要对v c l 比特流进行重构和重编码。 南京邮电人学硕i ：研究生学位论文第二二章h 2 6 4 桃频编码及j e 核心技术 视频编码层 v c l v c l 编码器解码器 l n a l v c l 接口 网络适配层 r i n a l ll n a l i n a l 编码器接口l 编码器il 解码器f n a l 解码器接口 一一一一一一一一r 一一j 山 传输层 l h 3 2 0jj m p e g - ， j r t p i pih 3 2 3 1 p l e t c 2 1 2h 2 6 4 中的r t p 打包机制 图2 1 编码器分层结构 在编码器输出的比特码流中，数据的基本单位是句法元素