（通信与信息系统专业论文）h264视频流在无线环境下抗误码性能的研究.pdf

摘要 h 2 6 4 a v c 作为新一代视频编码标准，是由i t u t 视频编码专家组和i s o i e c 运动图像专 家组联合提出的视频编码标准。无论从编码的效率方面，还是从有效的适应各种网络和各种应 用领域的灵活性方面，h 2 6 4 a v c 都体现着视频编码技术的很多优势。这些新特性使h 2 6 4 a v c 标准在提供相同视觉效果的同时获得大约5 0 比特率的节省。随着对h 2 6 4 标准的研究和开发， 基于该标准的视频应用和服务正方兴未艾。 多媒体视频通信一个主要的问题是信号的抗误码能力以及信号的差错后处理方法。目前 在h 2 6 4 中最新的抗误码方法有参数集、灵活宏次序和冗余片技术。数据分割作为一种抗误码方 法在h 2 6 4 标准中得到较大的改进，应用得也很广泛。本文首先介绍了几种数据分割抗误码方案， 并对这几种方法的性能进行分析和比较，然后提出一种新的数据分割策略，实验表明该方法没有 过多增加信道负担和运算复杂度，具有较好的实用价值。 在差错后处理方面比较通用的方法是差错隐藏方法。这种方法充分利用了视频信号的时域 和空域相关性，在解码端对信号进行后处理，而不需要在视频码流添加多余的控制信号( 零冗 余) 。在此基础上本文提出一种自适应的错误掩盖方法，根据解码端接受到的数据片的不同，采用 不同的错误掩盖方法。实验结果表明，综合采用这种错误隐藏方法，有效地提高了视频码流的抗 误码能力，恢复视频的质量得到较大的改善。 关键词： l2 6 4 、抗误码、数据分割、错误隐藏 a b s t r a c t h 2 6 4 a v cb e i n gt h el a t e s tv i d e oc o d i n gs t a n d a r d ，i sp r o p o s e db y 忙i t u tv i d e oc o d i n g e x p e r t sg r o u pa n dt h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p h 2 6 4 a v cr e p r e s e n t san u m b e ro f a d v a n c e si nv i d e oc o d i n gt e c h n o l o g y , i nt e r m so fb o t hc o d i n ge f f i c i e n c ya n df l e x i b i l n yf b re f f e c t i v e a s eo v e rab r o a dv a r i e t yo f n e t w o r k sa n da p p l i c a t i o nd o m a i n s 1 1 1 i sn e wf e a t u r e sp r o v i d ea p p r o x i m a t e 5 0 h i tr a t es a v i n gw i t he q u i v a l e n tp e r c e p t u a lq u a l i t yr e l a t i v et ot h ep e r f o r m a n c eo f p o rs t a n d a r d s w i t ht h e d e v e l o p m e n to fh 2 6 4 a p p l i c a t i o n s a n ds e r v i c e sa r e b e i n g u s e di nt h e a c c e l e r a t i o n e r r o rr e s i l i e n c ea n dp o s t p r o c e s s i n go ft h es i g n a la r ei m p o r t a n ti nv i d e oc o m m u n i c a t i o n 1 nh 2 6 4t h e r ea r es o m el a t e s te 仃o rr e s i l i e n c em a t h a d s , s u c ha sp a r a m e t e rs e t ，f l e x i b l e m a c r o - b l o c ko r d e ra n dr e d u n d a n c ys l i c e d a t ap a r t i t i o n i n g , a so n eo fe r r o rr e s i l i e n c e m e t h o d s , h a sb e e ni | l l w o v e di nh 2 6 4a n dh a sb e e nw i d e l yu s e d i nt h i sp a p e r ，s e v e r a le r r o r r e s i l i e n c es c h e m e so v e fd a t ap a r t i t i o n i n ga r ep r e s e n t e da n dt h e s es c h e m e s 撒a n a l y z e da n dc o m p a r e d f u r t h e n n o r e , an e wm e t h o db a s e do nd a t ap a r t i f i o m n gi sp r e s e n t e d 1 1 l i sm e t h o di sc o m p a t i b l ew i t h h 2 6 4 a v cw i t h o u ta n yi n c r e a s i n gc h a n n e lb u r d e na n da r i t h m e t i ce o m p l e x i t ya n d b eu s e di n p r a c t i c e t h ec o m m o nm e t h o do fp o s t - p r o c e s s i n gi se r r o rc o n c e a l m e n t i te x p l o i t st h ec o r r e l a t i o no f p i c t u r ei nt e m p o r a la n ds p a t i a ld o m a i n s t od i m i n a t et h ei n f l u e n c eo f a t o r ohi sn o tn e e d e dt oa d da n y r e d u n d a n c i e si nc o m p r e s s e db i t - s t r e a m t h i sp a p e rp r o p o s e sas e l f - a d a p t i v ee r r o rc o n c e a l m e n t m e t o dw h i c hc a nf i g u r eo u tw h a tk i n do f d a t as l i c et h ed e c o d er e c e i v e sa n dc h o o s et ou t i l i z e d i f 托r e n tt y p eo fe r r o rc o n c e a l m e n t si nh 2 6 4 s i m u l a t i o nr e s u l ts h o w st h a tv i d e oq u a l i t yi s o b v i o u s l yi m p r o v e du s i n gp r o p o s e de r r o r r e s i l i e n c et e c h n o l o g yi nb i t - e r r o re n v i r o n m e n t k e y w o r d s ：h 2 6 4 ，e r r o rr e s i l i e n c e , d a t ap a r t i t i o n i n g , e r r o rc o n c e a l m e n t 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果。与我一同工作的同事对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意。如不实，本人负全部责任 论文作者( 签名) 一 ( 注：手写亲笔签名) 学位论文使用授权说明 年月日 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文档，可以采用影印、缩 印或其他复制手段保存论文本人电子文档的内容和纸质论文的内容相一致。除在 保密期内的保密论文外，允许论文被查阅和借阅论文全部或部分内容的公布( 包 括刊登) 授权河海大学研究生院办理。 论文作者( 签名) ； ( 注：手写亲笔签名) 年月日 第一章绪论 第一章绪论 1 。1h 2 6 4 标准的产生及研究意义 最近几年来，随着通信技术和电信市场的发展，基于i p 的、融合互联网与电信网络的 全新下一代网络( n g n ) 逐渐浮出，这为视频应用的发展创造优越的条件。但是，进一步提高 视频压缩编码效率，在同样带宽的信道中传输更多路视频信号仍是一个亟待解决的技术难 题。而且随着i n t e r n e t 和移动通信的迅猛发展，如何在i p 和无线环境下提高抗误码能力， 保证压缩后视频信号的服务质量( q o s ) ，成为视频通信发展的另一关键技术难题。 t t u - t 在1 9 9 6 年初步完成h 2 6 3 视频编码标准后，制定了短期和长期两个工作目标 短期目标是进一步扩展和增加h 2 6 3 的特色，增强低比特率编码能力，并产生了h 2 6 3 的 增强版，即h 2 6 3 + 、h 2 6 3 + + 。长期目标是制定一种新的视频编码标准，以更好的质量， 更高的压缩比支持视频会议等低比特率应用，由此产生了h 2 6 l 草案。于是运动图像专家 组肝e g 和视频编码专家组v c e g 组成了联合视频专家组j v t ，进一步完善h 2 6 l 模型，共 同发展新的视频编码国际标准。新标准于2 0 0 3 年5 月正式颁布，官方名称分别为：1 1 1 j _ t r e c h 2 6 4 和m p e g 一4p a r t1 0a v c ( 简称为h 2 6 4 ) 。 与以往视频标准相比，h 2 6 4 虽未做出重大改进，但在多编码模式、编码参数自适应 选择、上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误码 能力等方面进行了精益求精，采取了一系列的切合实际的技术措施，较好地实现了预定的 两个主要目标： 1 相对于h 2 6 3 和肝e g 4 视频压缩比提高一倍； 2 对网络特别是i p 和无线网络具有良好的抗误码能力。 i t u l 在发展和制定h 2 6 4 的前身h 2 6 l 时，主要是为降低比特率编码提供一种高性 能的编码国际标准，但随着肝e g 的加入以及更多新技术的采纳，h 2 6 4 以其卓越的压缩性 能在电视、m y r v 、卫星电视、存储媒体、无线多媒体应用等方面显示出了巨大的应用潜力。 显然h 2 6 4 这个新世纪制定的面向高质量到低比特率，从有线到无线各种应用的视频编码 国际标准，有望成为新世纪最为成功的国际标准之一 h 2 6 4 视频流在无线环境下抗误码性能的研究 1 2h 2 6 4 的特点 针对以往提出的视频压缩标准，h 2 6 4 有如下特点。 1 h 2 6 4 对编码算法进行了较大的变革。与h 2 6 3 + 和h p e 6 - 4 同配置相比，在相似的 编码优化级别下，h 2 6 4 平均节省5 0 的码率。 、2 h 2 6 4 采用简洁的设计思路，不采用众多的可选项；在解码器端采用复杂度可分级 设计，在图像质量和解码处理之间可分级，以适应多种复杂性应用，并在各种码率( 特别是 低码率) 下都可以提供高品质视频。 3 i l2 6 4 可以在低延迟模式下操作，以适应于实时通讯应用( 视频会议) ，同时在没有 延迟限制的应用中( 视频存储、基于服务器的视频流应用) 也允许较高的处理延迟。 4 h 2 6 4 标准中引入了网络适配层，其码流结构对网络的适应性强，增加了错误恢复 能力，能够很好地适应i p 和无线网络的应用：h 2 6 4 加强了对误码和丢包的处理，提高抗 误码能力；对不同的业务灵活地采用相应的时延限制 5 新的编码技术使得h 2 6 4 的容错性得到较大的提高。 g 视频编码层( v c l ) 和网络适配层( n a l ) 在概念上的分离，v c l 提供高压缩比的图像编 码，n a l 提供在不同的网络上打包传送，这使得打包和信息优先级控制变锝容易。 1 3 无线网络中的视频通信 视频业务是第三代移动通信的核心应用之一，也是3 g 超越2 g 2 s g 移动通信业务的主 要增长点。随着更多的网络带宽可以利用以及视频编码技术的进步，无线网络中的视频通 信必将得到极大发展。无线视频编码与通信技术也成为当前多媒体通信领域的研究热点。 与一般的数据业务不同，视频的播放有着严格的实时性要求，这就要求网络为视频传 输提供足够的带宽、有保障的时延和误码率。为了获得可接受的重建视频质量，视频传输 至少需要2 8 k p b s 左右带宽。而视频传输对延时也非常敏感，为了保证视频能够连续、流畅 地播放，视频数据必须能及时地到达接收端，否则播放过程会中断，用户对视频业务的满 意度也会直线下降。 通常在无线网络上传输的视频业务，有下载( d o w n l o a d ) 、流式( s t r e a m i n g ) 和对话式 等几种“。通常下载服务采用h t t p 或f t p 等文件传输协议，一次性将视频文件下载到本地 终端上进行播放，其等待的时间可能会很长。从业务的特点上来说，多媒体短信业务也属 于下载式业务的一种。传统的流式服务包括视频点播v o d ( v i d e oo nd e m a n d ) 、视频广播 2 第一章绪论 多播等，其特点是视频文件是预先存储在服务器上或由在服务器端实时压缩的，客户端可 以按照时间先后从服务器端分段下载视频文件，一边下载一边播放，其时延比下载方式要 少得多。对话式视频业务对网络和终端的要求都要高得多，移动终端必须在正反两个方向 同时编码解码视频流，而网络必须同时提供两个实时传输信道，传统的对话式视频业务有 视频电话、视频会议等几种，其时延一般控制在2 5 0 m s 以内。 在移动终端上进行视频传输是3 g 系统的一个重要应用，也是3 g 成功与否的关键之一 根据所需的速率、最大所允许的端到端时延、以及最大的时延抖动，h 2 6 4 定义了三种视 频传输服务：交换会话服务( p c s ) 、流媒体服务( p s s ) 、多媒体信息服务0 棚惦) 以应用于不 同的场合。 对于无线通信来说，无差错传输往往是不现实的。虽然对时延要求不高的应用( 如m i s ) 可以通过重传来实现，但对p c s 和p s s 而言不可能进行大量的数据重传。此外在一个蜂窝 区域内多用户环境下传输能力有限，且数据量也是在不断变化，这就要求视频编解码器能 在有效的时问内随着环境的变化来自适应地改变编码速率以适应变速率( v e r ) 信道。最后 编解码器还要能处理优先级传输、网络封装、同步、反馈等问题。因此，运用于3 g 的h 2 6 4 视频编解码器应满足如下要求。1 ： 1 非常高的压缩率； 2 较少的内存需求、低复杂度，低功耗； 3 对丢包i 帧的鲁棒性； 4 支持在线长期大范围速率转换机制； 5 支持短时小范围内速率变化的信道。 为了适应在无线环境中传输，h 2 6 4 标准中提出了多种抗误码工具和错误掩盖方法， 以提高压缩视频流在误码、丢包的环境中传输的健壮性。 1 4 视频抗误码概述 由于视频信息的数据量巨大。而移动通信信道传输带宽有限，所以要采用高效率的压缩 技术对视频信息进行数据压缩处理。 经过高效压缩后的码流在i n t e r n e t ，特别是无线信道上的传输仍然存在着一些棘手的问 题，其中比较突出的一点是：一方面，这些压缩后的码流对信道比特误码非常敏感，即使接 受端接收到数据包的误码率很低，也会对解码后的视频质量造成很严重的影响；而另一方面， 3 h ，2 6 4 视频流在无线环境下抗误码性能的研究 无线信道由于多径反射和衰落引入了大量的随机误码和突发误码，影响了码流的正常传输。 尤其是采用了变长码( v l c ) 方案后，码流更加容易受到误码的影响，导致在解码端失去同步， 这样在遇到下一个同步码字之前无法对v l c 码字进行正确的解码；同时预测编码技术会将错 误扩散到整个视频序列中，极大地降低重建图像的质量。因此，为了实现良好质量的视频传 输，视频通信的抗误码和错误隐藏技术研究已成为耳前移动视频通信需要解决的关键问题。 h 2 6 4 新标准采用了多种用于提高压缩视频信息抗误码能力的编码技术，这些技术的应 用将可以提高视频信息在移动通信信道中传输的抗误码能力。 与h 2 6 3 标准相比，h 2 6 4 新标准中所采用的抗误码技术可分为3 类“1 ： 1 h 2 6 4 直接采用的旧标准中效率高、技术成熟的抗误码技术，如图像分割、参考图像 选择等技术； 2 经过改进在h 2 6 4 标准中得到更好应用的抗误码技术，如帧内编码、数据分割； 3 基于h 2 6 4 标准的全新的视频压缩抗误码技术。 在错误隐藏方面，h 2 6 4 主要采用下面3 种方法： 1 在进行信源编码及信道编码时，采取措施使比特流具备一定的错误恢复能力： i 帧提取每个宏块的重要数据( 能够表征当前宏块特征的数据) ，嵌入到下一帧。p 帧每 个宏块提取出两种类型的重要数据，第一类是编码模式、参考帧、运动矢量，第二类是最 优差错隐藏方式； 2 在解码端进行错误检测并进行错误隐藏( e r r o rc o n c e a l m e n t ) 处理： 解码端若能够提取出受损宏块的重要数据，则利用提取出的数据进行差错隐藏：若不 能提取出受损宏块的重要数据，则利用周围宏块进行差错隐藏，其缺点是运算复杂度和比 特开销较大； 3 通过信源编码器和解码器之间的相互协作，解码器针对编码器所提供的信道传输特 性等信息自适应地调节编码参数。 以上是总体概括，视频编码中所采用的主要差错隐藏及复原技术可以细分为以下几种： 1 差错检测，通过语法、语义检测出的差错位置，例如非法v l c 码字，运动矢量超过 图像范围或恢复出的d c t 系数超出范围； 2 重同步，重新获得与编码器的同步； 3 数据恢复； 4 差错隐藏； 5 前向非等重f e c ，根据不同的帧编码类型使用相应的时域空域误码掩盖方法； 4 第一章绪论 6 前向纠错f e c 中的分组方法，对k 个分组包生成一个或多个校验包，一帧共n 个包， 只要接收到其中任意k 个即可正确恢复出原始帧； 7 数据分割( d p ) ，对运动矢量和变换系数等编码数据重新捧列，采取不同的保护措施； 8 可逆变长编码( r v l c ，r e v e r s i b l ev a r i a b l el e n g t hc o d e ) ； 9 基于数据嵌入的抗误码。 1 5 主要工作及内容安捧 本论文主要研究了两部分内容： 第一部分：简单介绍了几种典型的数据分割抗误码方法，对它们的性能进行了分析， 总结各自的优缺点，并对基于图像的数据分割方法做了改进； 第二部分：回顾了l l2 6 4 中现有的错误隐藏方法，结合编码器的抗误码方法，提出了 一种自适应的差错隐藏策略，该算法根据解码器是否接受到a 类数据片，灵活的采用不同 的错误掩盖策略。 全文共分六个章节： 第一章：绪论 主要介绍了论文的选题意义及背景，介绍了h 2 6 4 标准的新特点、无线环境中的视频 通信，以及全面概括了h 2 6 4 标准所采用的抗误码技术和错误隐藏技术，同时介绍了论文 完成的主要研究工作 第二章，视频压缩标准h 2 6 4 简介 本章简单介绍了h 2 6 4 视频压缩标准框架，并对一些关键技术进行了详细讨论。 第三章：h 2 6 4 在无线环境中的应用 介绍了无线信道的特点、模型，介绍了h 2 6 4 在无线环境中的应用，重点阐述了无线网 络中h 2 6 4 a v c 嘘用和研究现状。最后详细介绍了h 2 6 4 的几种抗误码技术。 第四章：编码端数据分割抗误码技术的研究 本章回顾了几种典型的数据分割方法，对他们的性能进行分析，对基于图像的数据分 h 2 6 4 视频流在无线环境下抗误码性能的研究 割方法作了改进，该算法简单、运算量小，且能取得较好的抗误码性能，具有很好的实用 价值，最后给出了仿真数据和结果。 第五章：解码端错误隐藏技术的研究 本章全面阐述h 2 6 4 中一些错误掩盖技术，紧扣上一章的数据分害0 抗误码方法，提出 了一种自适应的差错隐藏策略，该算法根据解码器是否接受到a 类数据，灵活的采用不同 的错误掩盏策略，如果a 类数据接受到，则采用空域和时域错误掩盖相结合的错误掩盖方 法，如果a 类数据丢失，则采用整帧错误掩盖方法实验表明采用这种灵活的错误掩盖方 法可行性好，能得到较好的错误掩盖效果，有效的提高图像质量。 第六章：结论与展望 本章总结了论文完成的主要工作，对下一步在无线环境下的抗误码工作进行了总结和 展望。 论文的最后列出了本文的参考文献、致谢。 6 第二章h 2 6 4 标准简介 第二章h 2 6 4 标准简介 2 1h 2 6 4 的产生和应用前景 h 2 6 4 的编解码框架与以前提出的标准如h 2 6 1 、h 2 6 3 及胛e g l 2 4 并无显著变化， 也是基于混合编码的方案：以运动矢量代表图像序列各帧的运动内容，使用前面已编码帧 进行运动估计和补偿或使用帧内预测技术，所得的图像残差值经过变换、量化、熵编码得 到编码流。所以，新标准的性能提升在于编码细节的技术方案改进及新算法的应用 为进一步提高鲁棒性，h 2 6 4 采用分层的结构设计：视频编码层和网络抽象层。其中 视频编码层主要描述要传输的视频数据所承载的视频内容。而网络抽象层则是考虑不同的 网络应用，如视频会议通信、h 3 2 x 连续包的视频传输或髓p i j d p i p 的通信。 本章在分析常用编码技术的基础上介绍了l l2 6 4 的框架结构和核心技术。 2 2i i 2 6 4 a v c 视频编解码器 2 2 1 视频编码器 1 视频编码器的特点 在h 2 6 4 中，不明确规定编码器是如何实现的，而是规定了经过编码后的比特流的句 法和该比特流的解码方法。由于视频内容时刻在变化，有时空间细节很多，有时大面积的 平坦，这种内容的多变性就必须采用相应的自适应技术措施；由于信道在恶劣的环境条件 下是多变的，有时畅通，有时堵塞，特别是在无线网络中，信号传输的不稳定性更加明显， 这些方面带来自适应技术的复杂性，h 2 6 4 就是通过技术的复杂性来提高编码效率的 2 视频编码器的结构 7 1 4 2 6 4 视频流在无线环境下抗误码性能的研究 图2 i 视频编码器结构图 如图2 1 ( 0 1 是编码器结构框架，编码器将输入的场或帧c 以宏块为单位进行处理，采 用的仍是变换编码和预测编码的混合编码。 首先采用帧内或帧间编码方法进行预测，如果采用帧间预测编码，则其预侧值p 是由 当前己经编码的参考帧经过运动补偿后得出的，其中参考帧用t 表示。预测值和当前块 相减产生一个残差值砭，经过变换、量化之后产生一组量化系数x 再经熵编码之后与解 码所需的一些信息如预测模式量化参数、运动矢量一起组成一个压缩码流经网络适应层 ( n a l ) 供传输和存储用。 正如上所述，为了提供进一步预测需要用到的参考图像，编码器必须有重建图像的功能。 因此将变换量化系数x 经过反量化和反变换，得到残差成。利用该比特流解出的头信息产生 预测值p ，它和编码器中的原始p 值是一样的，将p 值和残差砭相加，就产生未经过滤波的预 测块l 幔。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量从而提高压缩图像 的性能，设置一个环路滤波器，滤波后输出的即为重建帧，可用做其他后续图像的参考 帧。 2 2 2i l 2 6 4 a v c 视频解码器 2 2 。 1 4 2 6 4 a v c 在视频编解码过程中通过对比特流和语法的限制，标准化了解码部分，如图 8 第二章h 2 6 4 标准简介 图2 2 视频编码标准的范围 由图2 3 可知，压缩后的比特流经过熵编码和重捧序得到一组量化系数x ，然后经过反量 化和反变换获得残差值成，这个与编码器中的成相同，根据从比特流中解码获得的头信息 产生一个预测宏块值p ，这个p 也与编码器中的p 相同，将p 和d 二相加得到未经滤波前的重建 帧晖，最后经过滤波得到重建帧 2 31 1 2 6 4 a v c 的结构 2 3 1 i l2 6 4 的档次和级 p 图2 3l l2 6 4 视频解码器框架图 h 2 6 4 规定了3 个档次，每个档次支持一组特定的编码功能，并支持一类特定的应用， 如图2 4 是i l2 6 4 的档次。 1 基本档次：利用i 片和p 片支持帧内和帧问编码，支持利用上下文的自适应变长编码( c a v l c ) 进行熵编码，另外也支持冗余帧和f m 0 等容错编码工具。由于它所用的压缩工具最少，降 低了压缩算法的复杂度。它主要是应用在视频电话、视频会议、无线通讯等对时延要求非 常严格的应用领域。 2 主要档次：支持隔行视频，采用b 帧的帧问编码和加权预测的帧内编码，支持利用上下文 9 h 2 6 4 视频流在无线环境下抗误码性能的研究 自适应的算术编码( c a b a c ) 。主要档次采用了许多增加压缩效率的工具，它的特点是能 得到最高的压缩效率，其主要应用领域是数字广播电视和视频存储业务。 3 扩展档次：支持码流问的切换( s p 和s i 片) 以便于在不同的码流数据中切换，另外改进误 码性能( 数据分割) 以增强错误弹性能力，但是不支持隔行视频和c a b a c ，主要用于流媒 体业务中。 主要档次 2 3 2 片和编码组织方式 图2 4l l2 6 4 的档次 h 2 6 4 中将一个编码图像划分成若干个宏块，一个宏块是由一个1 6 x1 6 亮度像素块 和两个8 8 的色度像素块( c b 、c r ) 组成，若干个宏块组成片( s l i c e ) 的形式，在h 2 6 4 中支持以下五种类型的编码片，如表2 1 所示： 1 0 第二章h 2 6 4 标准简介 表2 ih 2 6 4 支持的s l i c e 类型 s l i c e 类型描述 i ( 帧内)只包含帧内预测宏块即i 宏块 p ( 帧间预测) 包含前向预测宏块( p ) 和i 宏块 b ( 双向预测)包含前向、后向预测宏块( b ) 和i 宏块 s p ( 切换p )增加了流间切换的灵活性，包含p 和i 宏块 s i ( 切换i ) 增加了流间切换的灵活性，包含特殊的i 宏块 一个视频图像可以进行灵活的分片，且每片包含的宏块数不固定，这样在一幅图像中 可以包含多个片( s l i c e ) ，每个s l i c e 被独立地编解码，某片的预测不能以其他片中的宏块 为参考图像，这样某一片中的预测误差不会传播到其他片中去，较好的限制了误码的扩散 和传输，片的句法结构如表2 2 所示。 表2 2s l i c e 句法结构图 s 1 i c eh e a d e r 说明了该片的基本特性，包括使用何种参考图像、片所属的类型以及是否 使用去块滤波器等；s l i c ed a t a 描述了宏块的编码信息和跳编码数据：而每个宏块则包含宏 块类型、宏块的预测模式和残差数据，残差数据中主要包含帧内预测或帧间预测的残差值经变 换、量化、熵编码后的系数值，是主要的编码数据信息。 片组( s l i c eg r o u p ) 是一个编码图像中若干宏块的一个子集，它可包含一个或若干个 片，最有代表性的就是“灵活宏块技术”( f 啪) ，将图片中的宏块以不同的组织方式分配到 一个或几个片组中，每个片组被单独传输。若一个片组在传输中丢失，将己正确接收到的 其它片组利用在空间上与其相邻的宏块的相关性来进行有效的错误掩盖。f m o 有多种模式， 如光栅扫描、前景和背景等，图2 5 、图2 6 显示了两种比较简单的交错型片组和散乱型 片组。 h ，2 6 4 视频流在无线环境下抗误码性能的研究 图2 5 交错型片组图2 6 散乱型片组 2 4h 2 6 4 a v c 编码标准新特点 2 4 1 帧内预测 h 2 6 4 a v c 利用相邻像素的相关性，以绝对误差和( a s e ) 为准则选择最佳预测模式，去 除时间冗余，绝对误差和最小的预测就是最佳预测。为了能进一步利用空间相关性，h 2 6 4 a v c 引入了帧内预测以提高压缩效率，帧内预测编码是利用图像中的空间相关性，基于同一图片 内相邻己编码重构的像素块，如利用上边和左边宏块对当前宏块进行预测，然后对预测后的 残差量进行编码来减小帧内编码的数据量。简单地说，帧内预测编码就是用周围邻近的像素 值来预测当前的像素值，然后对预测误差进行编码。在帧内预测中，块或宏块利用已编码并 重建的块作为参考进行预测。 h 2 6 4 h h ，帧内编码包括：i n t r a 4 x 4 ，i n t r a l 6 x 1 6 及i _ p c m 模式”1 。一般来说，图像相 对变化较大的区域，需要更细小的块分割和更多可选的预测模式，以提供足够的预测精度。 4 x 4 亮度块帧内预测采用9 种预测模式；而1 6 1 6 亮度宏块的帧内预测，更适合用在变化较 平坦且面积较大的区域，预测模式也相应有所减少，只有四种；不经过预测和变换的i _ p c m 模式。直接传输编码样点，具有很低的失真度。 对4 x 4 块的帧内编码，总共有9 种可选预测编码模式，这些模式都是根据相邻4 x 4 像素 块的相关性来预测当前4 4 中各象素的值，a m 是当前4 4 相邻的像素点，如图2 7 和图2 8 所示。 3 o l 2 3 o 2 3 o l 2 3 2 3 o ，2 o l 2 3 o l 3 o ，2 3 o 第二章h 2 6 4 标准简介 q a bcde f gh 3 8 l 6 ( a ) 利用像素 q 对方块中a p 像 ( b ) 帧内4 x 4 预测的8 个预测方向 素进行4 x 4 帧内预测 图2 74 x 蛲度预测 图2 84 4 亮度块9 种预测模式 l ( 水平) 图2 91 6 1 6 预测模式 对于1 6 x 1 6 块的帧内编码，有4 种帧内预测模式，分别为垂直、水平、d c ( 求均值) 和平 面预测模式，如图2 9 所示。 上面预测模式都是针对图像块的亮度分量的，而对于宏块的两个8 x 8 色度分量所采用的 预测模式与1 6 x1 6 亮度块类似。 h 2 6 4 视频流在无线环境下抗误码性能的研究 2 4 2 帧间预测 1 树状结构运动补偿 h 2 6 4 支持宏块的7 种分块模式，从1 6 1 6 的大块模式，到8 8 的子宏块模式，再到4 4 的小块模式，需要根据图像内容的不同而进行选择，如图2 1 0 ”1 所示。 1 6 x 88 1 68 8 口目田田 图2 1 0 宏块及子块分割 支持多模式的预测方式可以提高压缩性能，但是也增加了计算复杂度。一般说来对于前 后场景没有显著变化的区域，如同定的背景等适用于大块模式，而对于纹理复杂、运动剧烈 的区域更趋向于选择小块模式，不过在预测时需要和运动矢量综合考虑 实验表明采用不同大小的块可以更好的满足压缩性能的要求，表2 3 是对只使用1 6 x 1 6 、8 8 两种模式的编码器与支持7 种模式的编码器进行了编码比较，格式q c i f 格式的 f o r e m a n 序列，p s n r 表示峰值信噪比，单位d b ，职表示比特率，单位k b i t s ，共3 0 0 帧， 帧率3 0 帧s 。 表2 3 使用多种分块模式的性能比较 p s n l cb r编码时间增加倍数 o y = 2 0 + 0 1 5- 1 5 2 9 62 3 4 q p = 2 4+ 0 1 6 - 1 6 7 2 3 0 q p = 2 8 + o 2 0- 1 7 3 2 1 7 q p = 3 2 + 0 1 8- 1 2 5 1 9 l q p = 3 6+ o 1 3 - 1 2 3 1 7 1 这种树状的分块结构编码器可以根据图像的内容选择最好的预测模式。与单纯使用1 6 1 6 块进行预测相比，使用不同大小和形状的块可以使预测精度大大提高，运动补偿后的残 1 4 田、似田日眦 口一 第二章h 2 6 4 标准简介 羞最小。 2 运动矢量的预测 如果对每个分割块的运动矢量编码，那么需要相当数目的比特数。为减少传输比特数， 可利用空闻相邻的运动矢量具有很强的相关性，肼可由邻近已编码的w 预测得到，预测 得到运动矢量为吖，m r d 表示当前矢量和预测矢量的差值，m v d 被编码和传送。 设e 为当前宏块、宏块分割或者亚宏块分割，h 、b 、c 分别为e 的左、上、右上方的 三个相应块。如果e 的左边多于一个分割，取其中最上的一个为a 上方多于一个分割时， 取最左边一个为b o 图2 1 l 所示为所有分割有相同尺寸时的邻近选择，图2 1 2 所示为不 同尺寸时的临近分割选择。 在e 的预测过程中遵守以下原则： ( 1 ) 传输分割不包括1 6 8 和8 x 1 6 时，m v p 为块a b ，c 运动矢量的中值； ( 2 ) 对于1 6 8 分割，上砸部分m 由b 预测，下面部分m 由a 预测； ( 3 ) 对于8 1 6 分割，左面部分m 由a 预测，右面部分峨由c 预测； ( 4 ) 不编码的跳跃宏块( s k i p p e d 赔) ，1 6 1 6 的嵋如( 1 ) 中的情况。 如果图2 1 2 所示的己传送块不存在时( 如果在当前块外) ， ；的选择需重新进行调 整在解码端，m v p 以相同的方式形成并加到m v d 上对于跳跃宏块而言，由于不存在 m v d ，其运动补偿宏块也由蝌直接生成 嚣e a 黪：蠲 b | | c 1 6 x 8 l 。4 e 1 6 x 1 6 图2 1 1 块尺寸相同的当前块和邻近块图2 1 2 块尺寸不同的当前块和邻近块 3 多参考帧 在编码的缓存中存有多个刚编好的参考帧，这些参考帧是当前帧过去的多个参考帧，编 码器从中选择一个能给出更好的编码效果的作为参数帧，并指出哪个帧被用于预测，这样就 获得比只用一个刚编码好的作为预测有更好的编码效果。 1 5 h 2 6 4 视频流在无线环境下抗误码性能的研究 寻找出当前编码宏块的最佳匹配，我们就可以对一个视频序列的运动趋势作出比较准确 的预测，从而得到更准确的运动估计。与使用单一参考帧相比，在使用5 个参考帧的时候， 一般会节约5 1 0 的码率，当然同时带来的就是对于缓存要求的增多以及压缩时间加大。 多参考帧预测的实际效果不是很理想，在绝大多数情况下，它不能有效的提高编码效率，实 时性差，不适合实时编码的场合，但在一些实时性不高的情况下能充分体现采用多参考帧的 优势。 4 采用1 4 像素精度的运动补偿 h 2 6 4 中对亮度采用1 4 象素精度，色度采用1 8 精度的预测，这相对于h 2 6 3 和i d p e g - 2 等标准中使用i z 象素精度的运动估计有了较大的性能改进。h 2 6 4 6 e 利用6 抽头的滤波器产 生1 2 象素，线性插值产生1 4 象素，4 j 由头滤波器产生1 8 分数象素。 h 2 6 4 中采用1 4 像素和1 8 像素的运动估计，即运动矢量的位移是以1 4 或1 8 像素为单 位。显然，运动矢量位移的精度越高，帧间剩余误差越小，传输码率越低，压缩比越高。如 果将运动补偿的精度增加一倍，实验证发现在运动矢量精度超过1 8 像素后，系统基本上就 没有明显增益了，因此在k2 6 4 中，只采用了1 4 像素精度的运动矢量模式，而不采用i 8 像 素的精度。 h 2 6 4 a v c 的1 4 像素精度的运动预测过程主要由以下3 个步骤“构成如图2 1 3 ： 找出最佳整像素位置，最佳整像素位置以解码后重建图像为参考图像； 从最佳整像素位置及周围的8 个i 2 像素位置中找出最佳的1 2 像素位置； 从最佳1 2 像素位置及其周围的8 个1 4 像素位置中找出最佳1 4 像素位置。其中，最佳1 2 像素位置和最佳1 4 像素位置的搜索则要以解码图像作内插后的图像为参考图像。 o 口 图2 1 31 4 像素精度搜索示意图 对于亮度分量，如2 1 4 为例，图中带阴影的大写字母表示整像素位置，小写的为分数 像素位置。 1 6 第二章h 2 6 4 标准简介 囵口三囵囵囵 囵日口囵囵 日日 ：c c j d d 圈口 口曰口 ! hi | | 日 臼囫 e e f f 囵日 目囵巨囵囵目 口日至矗囵 ( a ) 亮度l z 像素位置内插 圆圈圆 ( b ) 亮度l 4 像素位置内插 图2 1 4 亮度像素位置内插 其中b 为1 2 象素位置，a 为其中一个1 4 象素位置，插值公式如下： b = r o u n d ( ( e 一5 ，+ 2 0 g + 2 0 h 一5 1 + ，、3 2 ) ( 2 1 ) a = r o u n d ( ( g + 6 ) ，2 ) ( 2 2 ) 色度分量的内插需要t 8 精度的w ，同样通过整像素线性内插得出，如图2 1 5 所示： 口 国 由 jr d x 8 一d x 8- d y 囡 1 u 圈2 1 5 色度1 8 象素内插 其中d x ，d y 代表像素位置，色度1 8 位置a 的内插： a = r o u n d ( ( 8 一t ) ( 8 一嘭) 爿+ 以( 8 一以) 口+ ( 8 一以) d r c + d ，以d ) 6 4 ) ( 2 3 ) 采用更高像素精度的内插算法使运动搜索更加精确，搜索的像素块之间更加匹配，从 而使要进行变换编码的图像参差值更小，降低了比特率同时也提高了帧间预测编码的性能。 h 2 6 4 采用1 4 像素精度的运动补偿，高精度的运动补偿可以在参考帧中找到与当前块更 匹配的块，从而减少运动预测残差值，提高压缩效率。另外，在得到1 4 像素精度时，由于 1 7 h 2 6 4 视频流在无线环境下抗误码性能的研究 使用了增强内插滤波器可以有效地减少高频噪声，高精度的运动补偿能够提供更高精度的运 动块的预测，显著提高视频压缩效率的同时降低了码率。 2 4 3 整数变换 由于用矩阵形式表示的d c t 变换为，= a 翻7 ，其中4 = ( f ，= o 123 ) ，a 中的每 i 三 f ：0 旷b 华卜 汜4 ) 彳= 口口 b f 口一口 c - b 口口 c 6 - - a口 b- - c 口口 bb 口口 bb 4口 b b 口口 b b 11 1d ll dl ll d一1 一ll ld ( 2 5 ) 其中口= 圭，6 = 压c 。s ( 韵舻后c o s ( 等) ，d = 詈，4 为正交阵，符号“。”表示两个 矩阵中对应元素相乘，则y 可以表示为： 一e 艇 1 8 i 1 1 d 1 、 id 一1 1 | l l 可一l1 ii 。 l l l 卅j j 口2 曲 曲b 2 口2a b 曲6 2 a 2a b 曲b 2 a 2a b 曲b 2 ( 2 6 ) 第二章h 2 6 4 标准简介 其中c 为变换矩阵，而e 为尺度调换矩阵，为了便于移位运算，取d = 三，。= j ；，得到的变 换结果如下： y = r 玛、o e f = lll l 一1 - 2 一l l l - 22 一l i21 i 1 11 1 - 2 i l 一- ：il 。 1 - 2 1 一l j ) ( 2 7 ) 其中c ，称为正变换矩阵，勺称为正变换尺度调整矩阵，形= ( c 哆) 为整数变换的变换核 与传统的d c r 变换相比，l l2 6 4 采用4 4 整数变换为视频编码带来了以下优点： ( 1 ) 有助于减少块斑，提高图像质量。这是因为现有的有损视频编码都对变换后残差系数进 行量化，造成了高频系数丢失，所以恢复的图像中会有块斑。在h 2 6 4 中，采用了更小 的4 x 4 块变换，可以有效抑制块斑。 ( 2 ) 整数变换减小了积累误差。传统的积累误差来自两个方面： 正变换和反变换不匹配造成的误差； 量化造成的误差。 为了达到压缩的目的，第二种误差不可避免。但是由于h 2 6 4 采用了精确的整数变换，所 以正变换和反变换不会产生误差，这样有效地减少了积累误差。 ( 3 ) 运算速度快，h 2 6 4 采用的变换公式是一个简单的整数方程，也就是说计算都是基于整数 的，而不像传统的d c t 变换采用浮点运算。所以它减少了单个变换的计算量，也有利于采 用定点的i ) s p 实现。 2 4 4s p 帧和s i 帧 为了更好的适应各种传输环境，h 2 6 4 a v c 采用切