（信号与信息处理专业论文）基于blackfin系列dsp平台avs解码器解码优化.pdf

中文摘要 视频压缩编码是多媒体领域的关键技术，也是当今技术领域研究的热点。各 种各样的视频压缩编码算法应运而生。作为新一代的多媒体视频标准，相比以前 的m p e g 系列、h 2 6 x 系列来说，针对同样质量的图像，a v s 视频标准能大幅度 地提高视频图像压缩比。a v s 视频标准的应用前景非常广阔，世界上有很多公司 和研究机构都投入了对这个新标准的开发和研究。 本文首先分析了a v s p 2 关键技术原理，如宏块划分、帧问预测与帧内预测、 变换与反变换、量化与反量化、环路滤波等；然后分析了b f 5 3 1 芯片的内核、 总线结构等特点；最后在v i s u a ld s p + + 开发环境下实现了a v s p 2 在b f 5 31 上 的移植与调试，并根据a v s p 2 技术特点以及b f 5 3 1 芯片的特点，进行了在优化 方面的研究与设计。 在优化过程中，首先针对a v s p 2 的技术特点，使用了编译器优化、c 语言 优化等常规优化方法，并重点分析了针对a v s p 2 源代码的c 语言优化，包括宏 的使用、使用内联函数等方法；然后，对耗时较多的函数进行了有针对性的优化； 最后对移植后的解码器进行了功能和性能的测试，测试结果表明，该解码器移植 并优化后，运行稳定可靠，对标清序列可以实现解码播放的要求，虽然优化结果 尚不完善，但总体己达到了设计的预期目标。 论文的最后部分，对全文做了总结，指出了本文的主要研究成果以及下一步 需要完善的不足之处。 关键词：视频压缩编码；宏块；解码器；移植；优化 a b s t r a c t v i d e oc o d i n gi sak e yt e c h n i q u ei nt h em u l t i m e d i aa r e a ，a n da l s oap o p u l a rs t u d y d i r e c t i o ni n t e m p o r a r yt e c h n i q u ef i e l d m e a n w h i l e ，v a r i o u sa l g o r i t h m so fv i d e o c o d i n gh a sc o m eo u t a st h en e wg e n e r a t i o no fm u l t i m e d i av i d e oc o d i n gs t a n d a r d ， a v sv i d e ot a i le n h a n c et h ec o m p r e s s i o nr a t i oo fv i d e oa n di m a g eg r e a t l yi nt h es a m e q u a l i t yl e v e l ，c o m p a r e dw i t hm p e gs e r i e sa n dh 2 6 x i na d d i t i o n ，t h ea v sv i d e o c o d i n gs t a n d a r dh a sa w i d ea p p l i c a t i o n ，a n dn u m e r o u sc o m p a n i e sa n di n s t i t u t e sa le i n v o l v e di nt h ed e v e l o p m e n ta n ds t u d yo ft h i sn e ws t a n d a r d t h i sp a p e r , f i r s t l y , a n a l y z et h ep r i n c i p l eo fk e yt e c h n i q u ei na v s - p 2 ，s u c ha s d i v i d i n gt h em a c r o b l o c k s ，i n t e r - f r a m ep r e d i c t i o na n di n t r o f r a m ep r e d i c t i o n ，i n v e r s e s c a n ，t r a n s f o r ma n di n v e r s et r a n s f o r m ，q u a n t i f ya n di n v e r s eq u a n t i f y ，l o o pf i l t e ra n ds o o n a f t e r w a r d s ，t h i sp a p e ra n a l y z e st h ec h a r a c t e ro fi n n e rc o r ea n dm a i nb u so fb f 5 3 1 c h i p f i n a l l y , t h ep o r t i n ga n dd e b u go fa v s - p 2i sa c c o m p l i s h e do nb f 5 3 1i nt h e d e v e l o p i n ge n v i r o n m e n to fv i s u a ld s p h a n dt h eo p t i m i z a t i o ni s a l s oc a r d e do u t a c c o r d i n gt ot h et e c h n i q u ec h a r a c t e ro f a v s p 2a n dt h ec h a r a c t e ro fb f 5 3 1c h i p d u r i n gt h eo p t i m i z a t i o n ，f i r s t l y , p o i n t i n gt ot h et e c h n i q u ec h a r a c t e ro fa v s p 2 ， o p t i m i z a t i o no ft h ee d i t o ra n dt h ecl a n g u a g ei se m p l o y e d b e s i d e s ，p o i n t i n gt ot h e s o u r c ec o d e co fa v s - p 2 ，t h eo p t i m i z a t i o no fcl a n g u a g ew h i c hi n c l u d e su s eo fm a c r o a n di n l i n ef u n c t i o ni sa n a l y z e d m o r e o v e r ，s e v e r a lf u n c t i o n sw h i c hc o n s u m em o r et i m ea r eo p t i m i z e da sw e l l f i n a l l y , t h ed e c o d e rw h i c hi st r a n s p l a n t e di st e s ti nt e r m so ff u n c t i o na n dp e r f o r m a n c e t h er e s u l t ss h o wt h a tt h ed e c o d e ri ss t a b l ea n dr e l i a b l e ，s a t i s f y i n gt h er e q u i r e m e n to f d e c o d i n gs ds e q u e n c e s a l t h o u g ht h eo p t i m i z i n g r e s u l ti sn o tp e r f e c t ，y e tt h e a n t i c i p a t i n gg o a lh a sb e e na c c o m p l i s h e d i nt h ee n do ft h i sp a p e r ，ac o n c l u s i o ni sg i v e no u tw h i c hi n c l u d e st h em a i n r e s e a r c ha c h i e v e m e n ta n dt h ed e f i c i e n c i e st h a tc a nb ei m p r o v e da tt h en e x ts t e pa r e p o i n t e do u t k e yw o r d s ：v i d e oc o d i n g ；m a c r o b l o c k ；d e c o d e r ；p o r t i n g ；o p t i m i z a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：穆麽恩签字日期：知。7 年舌月v 日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘鲎有关保留、使用学位论文的规定。 特授权丞盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 旌弦，吕 签字日期： 坷年6 月、日 导师签名：裙双玄孓 签字日期：少吗年易月二日 第一章绪论 1 1 课题概述 1 1 1 研究背景和意义 第一章绪论 信息是包括数据、文字、视频图像等在内的多媒体形式。其中最具特点的传 播信息形式是视频信息，其直观性强、信息量大，更易于理解。随着多媒体和网 络通信技术的飞速发展，视频处理处于多媒体通信核心地位的意义日益突出， 而视频信息的巨大数据量在一定程度上抑制了视频技术的发展，成为视频存储和 传输的瓶颈。例如，一个参数为2 m i n ，2 5 帧秒，6 4 0 x 4 8 0 分辨率，2 4 位真彩色 数字视频的不压缩的数据量约为3 5 1 5 6 m b ，这么庞大的数据量对现有的存储和 传输技术来说，都是无法接受的，因此必须对视频信息进行大幅度的压缩。视频 压缩编码就是在保证图像质量的前提下，尽可能去除图像中的冗余信息，用尽可 能少的数据量表示图像，以便视频图像的存储和传输。 多媒体通信的实现主要有两点：一方面需要快速、稳定的处理器作为多媒体 信号处理的平台，另一方面需要适合多媒体通信的协议标准和软件算法，尤其是 对音视频信号的压缩处理算法，两者的结合才能产生高效的多媒体通信设备。 d s p 的出现，满足了上述第一点的要求。d s p 是数字信号处理器的简称， 作为众多电子信息产品的核心引擎，借助其在高速实时信号处理中的优势和数字 时代对大吞吐量数字处理的需求，在通信市场占据主导地位的同时，d s p 的应用 也拓展到数字媒体和数字消费类产品领域，同时更以其软件可编程的灵活性，在 数字视频领域发挥着越来越大的作用。尤其近年来，d s p 的高速发展为实现高效 的视频信息处理提供了可能性。因此，把视频编解码算法在d s p 上实现，对于 多媒体通信的研究具有很高的工程意义和市场价值。 各类视频压缩编码标准的出现，作为多媒体通信实现的第二点要求，很大程 度上加速了多媒体通信的发展。本论文即将研究的a v s 视频标准就是这些视频 压缩编码的标准之一。 1 1 2 常用视频压缩标准 视频压缩编码是多媒体领域的关键技术，也是当今技术领域研究的热点。各 第一章绪论 种各样的视频压缩编码算法应运而生。国际上各标准化组织根据多年来视频压缩 方面的研究成果，制定出了一系列相应的国际标准。现阶段国际两大组织( i s o 和i s t - t ) 分别制订了m p e g 系列标准和h 2 6 x 的标准，伴随着新标准的提出， 新产品、新应用也随之发展。 目前，视频编解码正处于更新换代的又一个关键时刻，国际标准h 2 6 4 以其 各方面较优的质量在很大程度上超越了原有的m p e g 4 ，成为下一阶段视频编解 码的首选国际标准。但是，新的标准仍有一个收费问题，其专利费用并不会比 m p e g 2 的专利费用便宜。 m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ，动态图像专家组) ，1 9 9 1 年1 2 月提出 了m p e g l 标准，以v c d 和m p 3 为代表产品，在c d r o m 上的音视频存储可 达到1 5 - 2 m b i t s ，1 9 9 4 年又推出m p e g 2 ，服务于数字电视、高清电视和d v d 的视频压缩，针对h d t v 应用的编码率为4 9 m b i t s ，1 9 9 8 年又推出m p e g 4 ， 在保证画面质量的情况下有着惊人的数据压缩比，多用于手机等消费电子产品， 在监控设备上也有应用，并在m p e g - 4 中首次提出一种基于内容的视频编码形 式，有别于m p e g 1 中基于矩形块的帧结构。在需要超低比特率的时候使用基于 块的结构，在有比较高要求的场合使用基于内容的结构。m p e g 系列的平均压缩 率为l ：5 0 ，最高可达1 ：2 0 0 。 h 2 6 x 系列是由国际电信联盟( i t u t ) 提出的，i t u t 是国际电信联盟标准化 部f - j 。1 9 9 3 年，i t u 提出h 2 6 1 ，为在综合业务数字网( i s d n ) 上开展双向声像业 务( 可视电话、视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和 q c i f 两种图像格式进行处理。1 9 9 6 年，提出h 2 6 3 ，是最早用于低码率视频编 码的i t u - t 标准，随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其 具有更广泛的适用性，在p s t n 上至少有6 4 k b s 。h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频压缩编码标准，己经被纳入m p e g 4 的第十部分，它具有相当高的数据压缩比，在同等的图像质量条件下，h 2 6 4 的 数据压缩比是m p e g 2 的2 3 倍，比m p e g 4 高1 5 2 倍。正因为如此，经过h 2 6 4 压缩的视频数据，在网络传输过程中所需要的带宽更少。在相同的重建图像质量 下，h 2 6 4 比h 2 6 3 和m p e g - 4 减小5 0 码率，但是h 2 6 4 有着较高的计算复杂 度。 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 是中国自主制订的数字电视、i p t v 等音视 频系统的基础性标准。a v s 标准包括系统、视频、音频、一致性测试、参考软件、 数字版权管理、移动视频、用i p 网络传输a v s 、文件格式等9 个部分，规定了 数字音视频的压缩、解压缩、处理和表示的技术方案，适用于高分辨率和标准分 辨率数字电视广播、激光数字存储媒体1 2 1 、互联网宽带流媒体、多媒体通信等应 2 第一章绪论 用。 a v s 标准的第2 部分“视频”( a v s p 2 ) 已于2 0 0 6 年2 月2 2 日正式公布， 主要针对高清晰度数字电视广播和高密度存储媒体应用。该部分规定了多种比特 率、分辨率和质量的视频压缩方法，适用于数字电视广播、交互式存储媒体、直 播卫星视频业务、多媒体邮件、分组网络的多媒体业务、实时通信业务、远程视 频监控等应用。 1 2 发展现状 1 2 1 视频算法开发现状 m p e g - 2 、m p e g - 4 标准，在软件、d s p 及a s i c 开发应用方面都比较成熟。 关于h 2 6 4 标准，产业化的产品相对比较少，但是对于它的算法和应用的研究却 己经相当广泛。a v s 标准提出时间比较短，在p c 机上的开发研究比较多，而 d s p 和a s i c 的相关研发较少，但其作为我国拥有自主知识产权的国家标准，许 多方面都有着自己的优势，而且也有着国内的产业化联盟，作其尽早实现产业化 的强大后盾。 1 2 2a v s 产业发展现状 a v s 视频标准已经为i p t v 、数字电视广播等应用做好了充分的技术准备。 同时，a v s 标准具有专利许可方式简洁、相关标准配套的优势。 a v s 产业化的主要产品形态包括： 1 ) 芯片：高清晰度标准清晰度a v s 解码芯片和编码芯片，国内需求量在未 来几年的时问内年均将达到4 0 0 0 多万片。 2 ) 软件：a v s 节目制作与管理系统，l i n u x 和w i n d o w 平台上基于a v s 标 准的流媒体播出、点播、回放软件； 3 ) 整机：a v s 机项盒、a v s 硬盘播出服务器、a v s 编码器、a v s 高清晰度 激光视盘机、a v s 高清晰度数字电视机顶盒和接收机、a v s 手机、a v s 便携式 数码产品等。 a v s 产业链：技术一专利一标准_ 芯片与软件_ 整机与系统制造_ 数字媒 体运营与文化产业，参见图1 - 1 。 3 第一章绪论 媒体运营商： 电视台 音像发行 电信运营 内容提供 ( 高清晰) 数字电视 广播电视直播卫星 移动视频通信 宽带网路流媒体 视频会议与视频监控 激光视盘播放机 用户： 电视机 机顶盒 计算机 手机 广电电信设备系统i 家电、p c 、消费电子 i编解码芯片与软件 标准 技术、算法、专利 几蓊丽面羽 图i - 1a v s 产业链示意图 a v s 产业f 3 】由技术研发、知识产权管理和产品开发与产业应用等三大部分构 成，如图1 2 所示。 塑亚困匦堕雯圈 技术研发知识产权管理产品开发与产业应用 图i - 2a v s 产业结构 附注：r f ( r o y a l t yf r e e ，无偿许可) 、i p r ( i n t e l l e c t u a lp r o p e r t yr i g h t s ，知识产权) 、 r a n d ( r e a s o n a b l ea n d n o nd i s c r i m i n a t o r y ，公平合理非歧视) a v s 最直接的产业化成果是未来1 0 年中国需要的3 5 亿颗解码芯片，最直 接效益是节省超过1 0 亿美元的专利费，a v s 最大的应用价值是利用面向标清的 数字电视传输系统直接提供高清业务、利用当前的光盘技术制造出新代高清晰 4 第一章绪论 度激光视盘机，从而为中国数字音视频产业的跨越发展提供难得契机。a v s 将在 标准工作组的基础上，联合家电、i t 、广电、电信、音响等领域的芯片、软件、 整机、媒体运营方面的强势企业，共同打造中国数字音视频产业的光辉未来。 中国a v s 产业联盟于2 0 0 5 年5 月2 5 日在北京人民大会堂宣布成立，它是 由信息产业部牵头，北京海淀区政府、中科院等多家机构共同参与，并由t c l 、 海尔、创维、华为、海信、浪潮、长虹、中兴、上广电、浦东新区移动通信协会、 中关村高新技术企业协会等1 2 家企事业单位共同发起。借助a v s 标准推动相关 产业的发展，a v s 产业联盟的成立是众望所归，它必将带领中国的音视频产业 在全球的产业化浪潮中开辟一个新纪元。 自a v s 视频编码国家标准在2 0 0 6 年3 月颁布实施后，a v s 产业链日趋完整， 包括展讯、龙晶、国芯、意法半导体在内的8 家公司的a v s 芯片已进入市场， 长虹、上广电、海信等数十家企业开发出了a v s 机项盒和电视机。在它们的共 同努力下，a v s 目前已经打造成一条从a v s 编码器、a v s i p t v 系统到a v s 解 码器、a v s 解码芯片的完整产业链，并且拥有完全自主知识产权。 2 0 0 8 年1 1 月4 日a v s 产业联盟1 4 】成员上海广电集团推出支持a v s 的 地面数字电视“双国标”终端一体机，该产品的问世使用户不再需要另外购买机 顶盒，破解了a v s 标准在地面数字电视中的终端瓶颈。采用a v s 和m p e g 2 编 码的数字地面电视“双国标”系统在上海、杭州、四川、山西太原、河北保定、 青岛等地取得了大规模商用的成功，a v s 标准和地面国标的技术实力和成熟性已 得到充分验证，2 0 0 9 年将成a v s 地面电视发生爆炸式增长的一年。 2 0 0 8 年1 2 月上海龙晶微电子有限公司推出了符合a v s 标准的高清影碟机解 决方案，采用自主开发的a v s 高清芯片，直接使用d v d 碟机( 命名为a d 碟机) 和d v d 光盘( 命名为a d 盘) ，通过a v s 高效的高清压缩技术，以d v d 成本实 现了高清播放，为平板电视用户真正进入高清时代提供了一个价廉物美的选择。 目前a v s 工作组和产业联盟正在配合有关部门，组织相关企业，准备在2 0 0 9 年国庆6 0 周年之际，实现全国标清高清电视较大规模化的示范，届时多个省市 的高清频道和十多家厂商的高清电视一体机将集体向千家万户直播国庆庆典，这 将对我国乃至世界数字媒体制作及传播产生深远影响。 1 3 本论文研究内容和组织结构 通过对a v s 视频编解码标准文档的分析和对编解码器参考代码的研究，以 及a v s 视频编解码标准与h 2 6 4 、m p e g 2 等国际主流标准的相关技术作对比， 可以得出，虽然a v s 解码器较之h 2 6 4 在计算复杂度上有很大程度的降低，但 第一章绪论 要想达到理想的播放程度，有必要对编解码器进行相应的优化工作。因此，本课 题选用a d ib l a c k f i nb f 5 3l 芯片、j t a g 仿真器等作为硬件平台，对a v s 视频解 码标准算法进行了相关优化，最终实现了在不降低视频图像质量的情况下，提高 了a v s 解码器的解码速度。 为完成解码器的优化工作，主要进行了以下具体工作： 1 ) 进行文件的查阅，了解a v s p 2 协议以及熟悉b l a c k f i nb f 5 3 1 芯片特点， 熟练运用v i s u a l d s p + + 软件平台。 2 ) 把a v s - p 2 参考源代码中解码器部分移植到d s p 平台上，通过编译与调 试使之成功运行。 3 ) 测试解码器性能，对各软件模块进行分析，找到需要优化的关键模块。 4 ) 利用d s p 常用优化方法进行解码器解码优化，同时测试优化的效果。 论文的组织框架如下： 第一章是绪论部分。主要包括课题概述、视频编解码技术发展状况和本论文 所做的具体工作，以及论文章节安排。 第二章是对a v s p 2 视频协议技术特点的研究。分析a v s p 2 结构，以及关 键的编解码算法。 第三章是关于实验所需硬件和软件平台的分析与介绍，主要介绍a d i 公司 b l a c k f i n 系列d s p 的特点及实验所需a d s p b f 5 3 1 芯片的特性，介绍 a d s p - b f 5 31e z k i t l i t e 评估板和集成调试环境v i s u a l d s p + + 4 0 的使用。 第四章是a v s p 2 解码部分在a d ib l a c k f i n 系列d s p 上的移植及相应优化。 介绍了a v s p 2 在a d s p b f 5 3 1 硬件平台的移植，并针对a d s p b f 5 3 l 硬件平台 的特点，以解码器优化方法为主线，对a v s 解码器进行了一系列的优化工作。 测试结果表明，本文所用优化方法，显著提高了解码器效率，取得了较好的优化 效果，达到了预期的要求。 第五章是总结与展望，对全文进行了总结，并对下一步的研究方向进行了展 望。 6 第二章a v s p 2 标准视频编解码技术特点研究 第二章a v s p 2 标准视频编解码技术特点研究 2 1a v s p 2 视频标准概述 日前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第二部分 钡颇( a v s - p 2 ) ，主要针对高清晰度数字电视广播和高密度存储媒体应用； a v s 第七部分一移动视频( a v s p 7 ) ，主要针对低码率、低复杂度、较低图像 分辨率的移动媒体应用。本文主要研究a v s p 2 视频部分。 2 1 1a v s p 2 系统结构 a v s p 2 视频标准采用的是基于空间和时间的预测和补偿、空域的变换和基 于统计的熵编码【5 】的经典混合编码框架1 6 1 。系统结构如图2 1 所示。 图2 - 1a v s p 2 视频编解码混合编码框架 此框架与以往视频标准相同，但由于不同标准制定时出于对不同应用的考 7 第二章a v s p 2 标准视频编解码技术特点研究 虑，在技术取舍上对复杂度性能的衡量指标各不相同，因而在复杂性、编码效 率上的表现也各不相同。比如，一般认为h 2 6 4 的编码器大概比m p e g 2 复杂9 倍，而a v s 视频标准则由于编码模块中的各项技术复杂度都有所降低，其编码 器复杂度大致为m p e g 2 的6 倍，但编码高清序列a v s 视频标准具有与h 2 6 4 相近的编码效率。 在图2 1 所示框架下，视频编码的基本流程为：将视频序列的每一帧划分为 固定大小的宏块，通常为1 6 x1 6 像素的亮度分量及2 个8 8 像素的色度分量( 对 于4 ：2 ：0 格式视频) ，之后以宏块【7 】为单位进行编码。对视频序列的第一帧及场景 切换帧或者随机读取帧采用l 帧编码方式，i 帧编码只利用当前帧内的像素做空 间预测，类似于j p e g 图像编码方式。其大致过程为，利用帧内先前已经编码块 中的像素对当前块内的像素值做出预测( 对应图2 1 中的帧内预测模块) ，将预测 值与原始视频信号做差运算得到预测残差，再对预测残差进行变换、量化及熵编 码形成编码码流。对其余帧采用帧间编剧8 】方式，包括前向预测p 帧和双向预测 b 帧，帧间编码是对当前帧内的块在先前已编码帧中寻找最相似块( 运动估计) 作 为当前块的预测值( 运动补偿) ，之后如i 帧的编码过程对预测残差进行编码。编 码器中还内含一个解码器，如图2 1 中所示。内嵌解码器模拟解码过程，以获得 解码重构图像，作为编码下一帧或下一块的预测参考。解码步骤包括对变换量化 后的系数进行反量化、反变换，得到预测残差，之后预测残差与预测值相加，经 滤波去除块效应后得到解码重构图像。以上编码框架包含如下关键技术：帧内预 测、多参考帧预测、变块大小运动补偿、1 4 像素插值、整数变换量化【9 1 、高效b 帧编码模式、熵编码、环路滤波。 2 1 2a v s p 2 码流结构 a v s p 2 的码流结构语法层次从高到底依次为：序列、图像、条带、宏块、 块。如图2 2 所示。 视频序列是比特流的最高层语法结构。视频序列从序列头开始，后面跟着一 个或多个编码图像，每帧图像之前应有图像头。标准支持两种序列：逐行序列和 隔行序列。 一幅图像是一帧，一帧包括一个亮度样本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) 。样本矩阵元素的值为整数。标准支持4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 ( y ：c b ：c r ) 的图 像格式。标准定义了三种编码图像：帧内解码图像( i 帧) 、前向帧间解码图像( p 帧) 、双向帧间解码图像( b 帧) 。 条带是按光栅扫描顺序连续的若干宏块行，条带内的宏块行不应重叠，条带 之间也不应重叠。条带内宏块的解码处理不应使用本图像其他条带的数据。 8 第二章a v s p 2 标准视频编解码技术特点研究 序列 图像 条带 宏块 块 图2 - 2a v s p 2 的码流结构层次 s l s n p l p n s l l s l n 。m b i i 条带划分为宏块，宏块有帧内预测和帧间预测两大类。在4 ：2 ：0 的图像格式 下，一个宏块包括4 个8 8 亮度块( y ) 和2 个8 8 色度块( 1 个c b ，一个c o 。块 是空间预测补偿、时间预测补偿和空间变换的单元。在a v s p 2 中块大小为8 x 8 像素。而在h 2 6 4 中，预测补偿和变换的最小单位都是4 x 4 像素块。经专家组 测试表明，在高分辨率情况下，8 8 块的性能比4 x 4 块更优，因此a v s p 2 的 块尺寸固定为8 x 8 。总体来讲，8 x 8 的i d c t 比4 x 4 的i d c t 计算复杂度高一些， 但8 x 8 运动补偿、运动估计和环路滤波的复杂度要比4 x 4 的情况大为降低。 2 1 3a v s p 2 的档次和级别 目前，a v s p 2 定义为标准档次【1 0 】。这个档次又分为4 个级别：用于标清的 4 0 ( 4 ：2 ：o ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及用于高清的6 o ( 4 ：2 ：o ) 级别和6 2 ( 4 ：2 ：2 ) 级别。 支持的图像分辨率从7 2 0 x 5 7 6 - 9 2 0 x1 0 8 0 ，最大比特率1 0 - 3 0 m b p s 。 2 2a v s p 2 关键编解码算法 2 2 1 帧内预测 相同的图像采用不同的预测方式，预测性能差异很大，也就是预测图像与原 9 第二章a v s p 2 标准视频编解码技术特点研究 始图像相减得到的预测残差中的能量差别很大，直接影响变换、熵编解码后的码 率。 a v s 视频编解码标准的帧内预测技术同样沿袭了1 4 2 6 4 a v c 标准帧内预测 的思路，用相邻块的像素预测当前块，采用了代表空间域纹理方向的多种预测模 式。帧内预测可以去除i n t r a 块的空间冗余。以往的编码标准都是在频域内进行 帧内预测，如m p e g 2 的直流系数( d c ) 差分预测、m p e g - 4 的d c 及高频系数( a c ) 预测。a v s 视频标准采用空域内的多方向帧内预测技术，用相邻的象素块预测 当前块，提高了预测精度，从而提高了编码效率，a v s 视频标准的帧内预测基 于8 8 块大小，亮度分量只有5 种预测模式。h 2 6 4 标准也采用了这一技术， 其预测块大小为4 x 4 及1 6 x1 6 ，分别有9 种和4 种预测模式。试验表明，a v s 采用5 种模式大大降低了帧内预测模式的计算复杂度，而图像质量仅比h 2 6 4 采用9 种模式损失0 0 5 d b 的p s n r 。a v s 的帧内预测模式亮度块采用5 种预测 模式，色度块采用4 种预测模式，而色度块4 种模式中又有3 种和亮度块的预测 模式相同，如表2 1 所示。 表2 - 1a v s 视频编解码标准帧内预测模式 寻找最优预测模式的代价是计算量将大增，最优和次优模式的编解码性能可 能差异不大，但计算量的开销对于需要实时传输的视频应用是难以忍受的。在 a v s 的发展历程中，起初采用的也是如h 2 6 4 a v c 标准中的9 种预测模式，甚 至有提案提出采用2 5 种预测模式，其性能有所提高，但是与其带来的计算量相 比较就弊大于利了。最后a v s 接受了减少预测模式的建议，将4 种使用概率较 小的预测模式去掉，只保留5 种常用模式。在编码质量相当的前提下，相对于 h 2 6 4 a v c 标准基于4 4 块帧内预测的9 种模式而言，a v s 采用较少的预测模 式，使方案更加简洁、实现的复杂度也大为降低。 与m p e g - 4 、a v c h 2 6 4 的4 x 4 块的帧内预测相比，8 8 预测块将增加待 预测样本和参考样本间的距离，从而减弱相关性，降低预测精度。因此在a v s p 2 l o 第- 章a v s p 2 标准视频编解码技术特点研究 的d c 、d o w n l e f t ，d o w n _ r i g h t 模式】中，先采用3 抽头的低通滤波器( 1 ，2 ， 1 ) 对参考样本滤波去除噪声。在a v s p 2 的d c 模式中，每个象素值由水平和竖 直位置的相应参考象素值来预测，所以每个象素的预测值都有可能不同。这种 d c 预测较之h 2 6 4 中的d c 模式预测更精确，这对于a v s p 2 尺寸较大的8 x 8 块来讲更有意义。 2 2 2 帧间预测 帧间运动补偿预测编码是混合编码技术框架中最重要的部分之一。a v s 标准 采用了1 6 1 6 ，1 6 x 8 ，8 1 6 和8 8 的块模式进行运动补偿，而去除了h 2 6 4 a v c 标准中的8 4 ，4 x 8 ，4 x 4 的块模式，目的是能更好地刻画物体运动，提高运动 搜索的准确性。 另外，a v s 视频编解码标准对于运动矢量同样采用了预测编码，即由相邻块 的运动矢量经过预测得到当前块的运动矢量。在运动矢量预测样本的获得上， a v s 采用了不同于h 2 6 4 a v c 标准的运动矢量缩放技术【1 2 】，该方法将参考周围 不同的已编码块的运动矢量进行缩放，使得运动矢量预测更有效。 a v s 视频编解码标准支持p 帧和b 帧两种帧间预测图像。在传统的视频编 解码标准中，双向预测帧b 帧都只有一个前向参考帧和一个后向参考帧，而前 向预测帧p 帧则只有一个前向参考帧。h 2 6 4 a v c 标准充分地利用视频图像之间 的时域相关性，允许p 帧和b 帧有多个参考帧，最多可以有3 1 个参考帧。多参 考帧技术在提高压缩效率的同时也将极大地增加存储空间与数据存取的开销。 a v s 视频编解码标准与h 2 6 4 a v c 标准一样采用了多参考帧技术。所不同的是， a v s 标准中p 帧可以利用至多2 帧的前向参考帧，而b 帧采用前后各一个参考 帧。 a v s 的p 帧有5 种预测模式：p is k i p ( 1 6 x1 6 ) 、p i1 6 x 1 6 、p i1 6 8 、p i8 1 6 和p l8 8 。对于后4 种预测模式的p 帧，每个宏块由2 个候选参考帧中的1 个 来预测，候选参考帧为最近解码的i 帧或p 帧。对于后4 种预测模式的p 场，每 个宏块由最近解码的4 个场来预测。 a v s 的b 帧的双向预测使用了对称模式( s y m m e t r i cm o d e ) 、直接模式( d i r e c t m o d e ) 和跳过模式( s k i pm o d e ) 。使用对称模式时，码流只需要传送前向运动矢量， 后向运动矢量可由前向运动矢量导出，从而节省后向运动矢量的编码开销。对于 直接模式，当前块的前、后向运动矢量都由后向参考图像相应位置块的运动矢量 导出，无需传输运动矢量，因此也可以节省运动矢量的编码开销。跳过模式的运 动矢量的导出方法和直接模式的相同。采用该模式编码的块，其运动补偿的残差 也均为零，即该模式下宏块只需要传输模式信号，而不需要传输运动矢量、补偿 第二章a v s - p 2 标准视频编解码技术特点研究 残差等附加信息1 1 3 】。 具体介绍a v s 采用的多项帧间预测技术： 1 ) 变块大小运动补偿：变块大小运动补偿是提高运动预测精确度的重要手 段之一，对提高编码效率起重要作用。块小则块内残差能量小，编码残差块的 码量小，但是确定参考块模式和运动矢量的信息量大，这部分码量大；相反，块 大则块内残差能量大，编码残差块的能量大，但确定参考块模式和运动矢量的信 息量小。同时块小计算复杂度也高。在m p e g 2 中，运动预测都是基于1 6 x1 6 的宏块进行的，在m p e g - 4 中添加了8 x 8 块划分模式，在h 2 6 4 中则进一步添 加1 6 x 8 、8 x1 6 、8 x 4 、4 x 8 、4 x 4 等划分模式。但实验数据表明小于8 8 块的 划分模式对低分辨率编码效率影响较大，而对于高分辨率编码则影响甚微。在高 清序列上的大量实验数据表明，去掉8 x 8 以下大小块的运动预测模式，整体性 能降低2 - 4 ，但其编码复杂度则可降低3 0 4 0 。因此在a v s p 2 中将最小 宏块划分限制为8 8 ，也在一定程度上降低了编解码器的复杂度。 2 ) 多参考帧预测：多参考帧预测使得当前块可以从前面几帧图像中寻找更 好的匹配块，因此能够提高编码效率。但一般来讲2 3 个参考帧基本上能达到最 高的性能，更多的参考图像对性能提升影响甚微，复杂度却会成倍增加。a v s 视频标准限定最多采用两个参考帧。因为b 帧进行双向运动补偿预测，需要两 帧参考图像。因此，a v s 解码器需要能存储两帧图像的参考图像缓冲区。考虑到 这一点，a v s 视频标准允许使用在其之前的连续两个i 帧p 帧作为参考图像， 在不增加缓冲区大小的前提下提高了编码效率。 3 ) b 帧宏块编码模式：在a v c h 。2 6 4 标准中，时域直接模式与空域直接模 式是相互独立的。而a v s 视频标准采用了更加高效的空域时域相结合的直接模 式，并在此基础上使用了运动矢量舍入控制技术，a v s 标准b 帧的性能比h 2 6 4 中b 帧性能有所提高。此外，a v s 标准还提出了对称模式，在对称模式中，只 对前向运动矢量编码。后向运动矢量根据前向运动矢量计算得到，从而实现双向 预测。 4 ) 加权预测：a v s 还定义了加权预测，加权预测在场景变换，照度变化等 情况下能显著提高编码效率。a v s 视频标准的加权预测采用了简单的线性模型， 模型参数在图像头中传送。每一个宏块都可以单独选择是否使用加权预测。 2 2 3 亚象素插值 a v s 视频编解码标准帧间预测与补偿中，亮度和色度的运动矢量精度分别为 1 4 和1 8 像素，因此需要相应的亚像素插值【1 4 】。 虽然a v s 视频与h 2 6 4 a v c 标准都采用了l 4 像素精度的运动补偿技术， 1 2 第二章a v s p 2 标准视频编解码技术特点研究 但h 2 6 4 a v c 标准采用6 抽头滤波器进行1 2 像素插值并采用双线性滤波器进行 1 4 像素插值。而a v s 采用4 抽头滤波器进行1 2 像素插值和1 4 像素插值，在 不降低性能的情况下减少插值所需要的参考像素点，减小了数据存取带宽需求， 这在高分辨率视频压缩应用中是非常有意义的。同时，采用这种滤波器也避开了 h 2 6 4 a v c 的专利技术。 与m p e g - 4 、a v c h 2 6 4 的亚像素插值相比，a v s p 2 的数据带宽减小1 1 ， 而计算复杂度并未提高。 2 2 4 整数变换量化 a v s 设计了自己的变换和量化过程，其变换和量化过程配套，性能接近 8 8 d c t 变换，且精确定义到每一位的运算，避免了不同反变换之间的失配。 a v s 视频编解码标准采用了总共6 4 级近似8 阶非完全周期性的量化，可以 完全适应不同的应用和业务对码率和质量的要求。 a v s 视频编解码标准的8 8 变换与量化方案，克服了采用8 x 8 d c t 变换l l 5 】 而失配的固有问题，比h 2 6 4 a v c 的4 x 4 整数变换的去相关性能更强、更有效， 而且既适用于1 6 位最新一代芯片封装技术与其他软件方式的快速实现，也适用 于专用集成电路( a s i c ) 的优化实现。 a v s p 2 采用的8 8 二维整数余弦变换( i n t e g e rc o s i n et r a n s f o i 1 1 1 ，i c t ) ，性 能接近8 8d c t ，i c t 可用加法和移位直接实现。8 8 变换比4 x 4 变换的去相 关性能强，专家组实验表明，a v s p 2 的变换相对于h 2 6 4 的4 x 4i c t 变换有 0 0 5 d b 的p s n r 增益。 由于采用i c t 编码，各变换矢量的模大小不一，因此必须对变换系数进行不 同程度的缩放以达到归一化程度。为了减少乘法的次数，在h 2 6 4 中将正向缩放 和量化结合在一起操作，反向缩放和反量化结合在一起操作，如图2 3 所示。在 a v s 中，采用带p i t ( p r e s c a l e di n t e g e rt r a n s f o r m ) 的8 x8 整数余弦变换技术， 如图2 _ 4 所示，即正向缩放、量化、反向缩放结合在一起p 6 】，而解码端只进行反 量化，不再需要反缩放，从而节省解码反变换所需的缩放表，降低解码器的复杂 程度。 整数变换 正向缩放和反向缩放和 反整数变换 量化反量化 图2 - 3 传统i c t 编码 第二章a v s p 2 标准视频编解码技术特点研究 联合缩放和 整数变换 量化 - - - - 反量化 反整数变换 图2 _ 4p i t 编码 a v s p 2 的变换矩阵r 如图2 5 所示。 五= 81 01 098 6 4 8942 8 一1 0 一1 0 86- 4 一1 0 821 0 82 1 0 - - - 689_ 4 8 - 2 1 068-9_4 8-6_ 41 08 - 21 0 89 42 一81 0一1 0 8 一1 01 0 98_64 图2 - 58 8 整数变换矩