（无线电物理专业论文）基于dm642的avs视频解码器的实现与优化.pdf

摘要 摘要 a v s ( 数字音视频编解码技术标准) 是我国具备自主知识产权的第二代信源 编码标准。作为与国外标准相抗衡的主要力量，a v s 在如何让数字音视频产业 获得自主权方面起着重要的作用。a v s 视频部分于2 0 0 6 年3 月1 日起开始实施 并正式成为国家标准，2 0 0 7 年该部分被国际电联组织( i t u ) 列为i p t v 国际标 准框架中的重要组成部分。与其它现有的国际标准如m p e g 2 和h 2 6 4 a v c 相 比，a v s 具有专利费用低，计算复杂度低，定义明确的优点。随着国家对高新 技术产业的大力支持，a v s 产业链逐渐成熟，有着很好的发展和应用前景。 由于数字视频的编码复杂度高，同时考虑带宽的要求，基于硬件实现的视频 编解码器开发难度很大，因此本课题基于d s p 平台进行研究和分析，提出一系 列针对视频解码的优化方法，为进一步实现硬件开发提供理论依据。本课题以 a v s l - p 2 视频解码为研究对象，通过参考联合信源公司开放的普及性源代码，在 t i 公司的一款适合于多媒体应用的可编程的定点d s p 平台t m s 3 2 0 d m 6 4 2 上进 行a v s 视频解码器的实现与优化。 本文首先介绍了a v s 视频标准的原理与关键技术，完成了a v s 视频解码器 的设计与d s p 移植。然后对解码器进行复杂度分析，找出解码耗时的关键部分 分别为运动补偿、反变换、环路滤波等模块。除采用针对d s p 平台的多种优化 方法进行综合优化外，本文还重点针对这些模块分别进行优化，大量使用t i 提 供的内联函数，从代码结构、算法、内存分配使用等方面进行优化，大幅提高了 解码速度。实验结果表明，通过这些优化方法，该解码器的执行速度获得了大幅 的提高，最终在d m 6 4 2 开发平台上实现了a v s 标清视频的实时解码。 关键词：a v s l p 2 解码器；d m 6 4 2 ；优化 a b s t r a c t a b s t r a c t a v si st h es e c o n dn a t i o n a la u d i o v i d e o c o d i n gs t a n d a r d o fc h i n aw i t h i n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t s a st h ep r i m a r yp a r tt oc o m p e t ew i t ho t h e r i n t e r n a t i o n a ls t a n d a r d s ，a v sp l a y sak e yr o l ei no b t a i n n i n gt h ei n d e p e n d e n c ei nd i g i t a l a u d i ov i d e oi n d u s t r i a l i tc a m ei n t oe f f e c ti n1 或m a r c h 2 0 0 6 勰n a t i o n a ls t a n d a r da n d b e c a m eo n eo ft h ei n t e r n a t i o n a lp t vs t a n d a r d si n2 0 0 7 c o m p a r i n gt oo t h e r i n t e r n a t i o n a lc o d i n gs t a n d a r d ss u c ha sm p e g - 2a n dh 2 6 4 a v c ，a v sh a sm a n y a d v a n t a g e ss u c ha st r i v i a lp a t e n tc o s t ，l o w e rc o m p l e x i t ya n dw e l l - d e f i n e da p p l i c a t i o n s w i t ht h eg o v e r n m e n t ss t r o n gs u p p o r to fh i g h - t e c hi n d u s t r i e s ，a v si n d u s t r yc h a i n b e c o m e sm a t u r ea n dh a sag o o dp r o s p e c t i v ef u t u r e i ti sd i f f i c u l tt oi m p l e m e n tt h er e a l - t i m ev i d e oc o d i n go nh a r d w a r eb e c a u s eo ft h e c o m p l e x i t yo fd i g i t a lv i d e oc o d i n ga n di t sh i 曲n e e d sa b o u tb a n d w i d t h s ot h e r e s e a r c ho ft h i sp a p e rb a s e do nd s p , v a r i o u st e c h n i q u e sa n dm e t h o d su s e dt oo p t i m i z e a v sd e c o d e ra l ep r e s e n t e da n dp r o v i d e df o r t h ef u r t h e rh a r d w a r ei m p l e m e n t a t i o n i n t h i sp a p e r , t h er e s e a r c ho fa v sv i d e oi sb a s e do nt h eo p e ns o u r c ec o d e cp r o v i d e db y u n i o ns o u r c ec o m p a n y w ei m p l e m e n ta n do p t i m i z et h ea v sv i d e od e c o d e ro na g e n e r a t i o n a lm u l t i m e d i ap r o g r a m m i n ga n df i x e d - p o i n tp r o c e s s o rt m s 3 2 0 d m 6 4 2 p r o v i d e db yt ic o m p a n y t h ep a p e rd e s c r i b e st h ep r i n c i p l ea n dk e yt e c h n o l o g i e so fa v sc o d i n gs t a n d a r d , a n di n t r o d u c e st h es c h e m eo ft h ea v sd e c o d e ra n di t sp o r t i n gt od s et h e na n a l y s e s t h ec o m p l e x i t yo fa v sd e c o d e ra n df i n d so u tt h et h ec r i t i c a lm o d u l e sa l em o t i o n c o m p e n s a t i o n , i n t e g e rt r a n s f o r m ，q u a n t i z a t i o na n dl o o pf i l t e r i na d d i t i o nt ov a r i o u s o p t i m i z a t i o nm e t h o d sw h i c ha l eu s e dt oi m p l e m e n tt h ed e c o d e ro nd s pp l a t f o r ma l e p r e s e n t e d ，m a n yt e c h n i q u e sf o c u s e do nt h e s em o d u l e st oo p t i m i z et h ed e c o d e ra r e a l s od i s c u s s e di nd e t a i l ，s u c ha su s i n gi n t r i n s i c s ，a l g o r i t h m s ，c o d es t r u c t u r e sa n d m e m o r yo p t i m i z a t i o nm e t h o d s t h ee x p e r i m e n tr e s u l t ss h o wt h a to u t d e s i g ni m p r o v e s t h ep e r f o r m a n c ee f f i c i e n c y , a n dt h ed e c o d e ri s s i g n i f i c a n t l ys p e e d e du pa f t e r i i i a b s t r a c t o p t i m i z i n ga v sd e c o d e r a n df i n a l l yt h eo p t i m i z e dd e c o d e rc a nr e a l i z et h er e a l t i m e d e c o d i n g ( j i z h u np r o f i l e ) o nd m 6 4 2p l a t f o r m k e yw o r d s ：a v s 1 - p 2d e c o d e r ；, d m 6 4 2 ；o p t i m i z a t i o n i v 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本人 在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方式标 明。本人依法享有和承担由此论文产生的权利和责任。 声明入( 签名) ：王秘臣 蝇年i 月歹6 日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学有权保留 并向国家主管部门或其指定机构送交论文的纸质版和电子版，有权将学位论文用 于非赢利目的的少量复制并允许论文进入学校图书馆被查阅，有权将学位论文的 内容编入有关数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密的 学位论文在解密后适用本规定。 本学位论文属于 1 保密( ) ，在年解密后适用本授权书。 2 不保密( ) ( 请在以上相应括号内打“) 作者签名： 导师签名： 王拯 日期：刎g 年5 月 e l 红瓤矾年州彩日 第一章绪论 第一章绪论 1 1 背景及课题意义 本论文的研究内容来源于厦门华侨电子股份有限公司的预研项目，研究a v s 算法特点及其在d s p 上优化实现方法。我们都知道，音视频技术是基础性、共 性的信息技术，广泛应用于计算机、通信、广播、电视、娱乐等各个领域，在推 进国家信息化进程中具有举足轻重的作用。中国音视频产业的发展正在受到世界 瞩目。由于以前我国自主知识产权标准的缺失，国外的标准已经在中国市场长驱 直入，给用户带来先入为主的印象，这极大地阻碍了自主知识产权标准的推广应 用。a v s ( 数字音视频编解码技术标准) 是我国自主制定的信源编码标准，作为 对我国数字化音视频相关产业发展影响巨大的自主知识产权技术标准，a v s 在 音视频领域承担着“自主与“自卫 的重任，正在蓄势成为下一代标准的领跑 者。因此对a v s 视频标准在不同条件下的实现研究，具有十分重要的理论与现 实意义1 。2 1 。 a v s 视频实时处理的方案有多种，大体上可以分为基于软件、硬件、软硬结 合三类，根据不同的应用采用不同的方案。基于软件的实现方式大多是在p c 或 嵌入式处理器上完成，软件的升级十分方便，但由于非专用于视频处理，实现效 率不高。对p c 机来说，一般系统要求较高，系统利用率低。也有a r m 等嵌入 式通用处理器被用于视频应用，由于大多数通用处理器上能够运行实时操作系 统，因此很适合于在需要复杂控制功能的场合中进行使用，但是通用处理器的计 算能力有限，很难担负起多媒体处理平台的任务。全硬件实现是基于专用的a s i c 芯片实现，这种方法成本低廉，编解码速度快。但专用芯片一般不可编程，当一 个标准被替换或更新后，原来的专用芯片不再可用，要重新设计新的硬件系统， 无法灵活升级和应用修改，对特殊环境缺乏应变力。当然现在也可以采用基于现 场可编程逻辑器件( f p g a ) 实现来弥补灵活性的问题，但因其开发的难度大， 费时费力，一般都用作a s i c 芯片的前端设计和验证。 一种性价比较高的方式是使用视频专用d s p 即多媒体d s p 处理器f 3 】。多媒 体d s p 处理器针对视频压缩的应用进行了体系结构的优化，集成了丰富的多媒 体信号接口，针对多媒体信号的特点优化了处理器结构，甚至内嵌了特殊协处理 基于d m 6 4 2 的a v s 视频解码器的实现与优化 器用于进行专门操作，以缓解通用处理器的压力，完全可以独立胜任专用小型化 媒体处理平台的任务。另外d s p 处理器的核心工作都是基于软件平台，可以方 便的通过增加删除或者增强一些功能模块来对系统进行改进，开发周期短，可实 现快速技术更新和产品换代。 目前多媒体d s p 处理器主要有p h i l i p s 公司的t r i m e d i a 系列， a d i 公司的 b l a c k f m 系列，p i x e l w o r k s 公司( 原为e q u a t o r 公司，现己被p i x e l w o r k s 公司收购) 的b s p 1 5 ，p w b s p 1 6 系列等。全球最大的d s p 制造商德州仪器( t i ) 推出了一 款高性能多媒体处理器t m s 3 2 0 d m 6 4 2 ，它基于c 6 4 xd s p 内核，采用二级缓 存，并提供了丰富的外围接1 2 1 ，且功耗比t r i m e d i a 和e q u a t o r 等处理器要低。 因此本文选用t i 的媒体处理器d m 6 4 2 来实现a v s 标清视频解码。 基于上述背景，本课题以a v s 视频标准为研究对象，选用t m s 3 2 0 d m 6 4 2 为开发平台进行a v s 视频解码器的设计与实现，并根据d s p 平台的结构特点对 解码器进行优化，大大提高了解码器的执行效率。本课题研究的意义主要在于掌 握了a v s 视频标准的主要算法，提出了一系列移植方法和解码器优化技术，且 可适用于其它专用d s p 平台上，为进一步研究a v s 视频实时编解码奠定基础， 从而推动我国数字音视频标准a v s 的推广和应用。 1 2 国际信源编码标准的简况 音视频技术主要有传输技术和信源编码技术两大部分，国际上音视频信源编 解码标准主要有两大系列：国际标准化组织i s o i e cj t c l 制定的m p e g 系列标 准；国际电信联盟( n u ) 针对多媒体通信制定的h 2 6 x 系列视频编码标准和g 7 系列音频编码标准。2 0 世纪9 0 年代以来，玎u 和i s o 推出的一系列针对不同应 用领域的数字视频编码标准极大地推动了多媒体技术的实用化和产业化。众所周 知，视频信息具有一系列优点，如直观性，确切性，高效性，广泛性等等，但是 视频信息的信息量太大，要使视频得到有效的应用，首先必须解决视频编码的问 题。为此，人们付出了巨大的辛勤劳动，现在已结出丰硕的成果。目前音视频产 业可以选择的信源编码标准有5 个：m p e g 2 、m p e g - 4 、h 2 6 4 、a v s 、v c 1 。 从制定者分，前三个标准是由i s o m p e 伽t u - v c e g 专家组完成的，a v s 是我 国自主制定的，v c 1 是由微软提出并开发的基于微软w i n d o w sm e d i av i d e o 9 ( w m v 9 ) 格式的视频编码标准。从发展阶段分，1 9 9 4 年由m p e g 和i t u 合作制 2 第一章绪论 定的m p e g 2 【4 】是第一代音视频编解码标准的代表，也是目前国际上最为通行的 音视频标准，广泛应用于数字电视和h d t v 领域。m p e g 4 【5 】可以算一代半， 是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体( w w w 、资料 撷取与分散) 等整合及压缩技术的需求而制定的国际标准，支持低比特率下的多 媒体通信。与m p e g 2 相比，m p e g 4 更适于交互a v ( a u d i o v i d e o ) 服务以及 远程监控。第二代信源标准代表着新兴的视频编码技术，必将是未来发展的主流 方向。h 2 6 4 a v c 6 】是m p e g 联合v c e g 成立的联合视频组( j v t ) 制定的最新 一代的视频编码标准，适应于低码率传输的视频压缩标准。它的主要目标是提高 压缩效率，发展一种简单直接的高压缩性能视频编码设计，并针对“会话”服务 ( 可视电话) 和“非会话服务( 视频的存储、广播及流媒体) 提供更加适于网 络传输的方案。a v s 是我国具备自主知识产权的第二代信源编码标准，为数字音 视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度 激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应 用。w i n d o w sm e d i a 是提供网上音乐与视频预订服务视频流的主要格式，w m v 9 格式现在已经成为v c 1 标准的实际执行部分。从主要技术指标编码效率比 较：m p e g 4 是m p e g 2 的1 4 倍，h 2 6 4 和a v s 相当，都是m p e g 2 两倍以上。 v c 1 在性能方面与m p e g 一2 和m p e g - 4 简单类柜比有显著提高，在高分辨率影 片上表现出色，但在低码率下，压缩效果不及h 2 6 4 。 对于有线电视传输来说，由于带宽比较大，压缩比不算太高可以容忍。但是 对于基于口网络、卫星广播以及地面广播的音视频传输来说，由于带宽所限， 编码效率比较高的a v s 和h 2 6 4 就能显示出优势了，因为它们可以比m p e g - 2 节省一半以上的带宽或频谱资源。同其它国际编码标准相比，a v s 由于起步最晚， 产业化程度还不足，但却有它的主要优势，具体表现在：( 1 ) 技术性能领先。a v s 的编码效率比m p e g - 4 高，与h 2 6 4 相当，但实现复杂度低于h 2 6 4 ：( 2 ) 专利 收费更为公正。只对编解码设备收取每台1 元钱的专利费，不对节目内容收费； ( 3 ) 知识产权归属清晰。a v s 融合了新技术和公开知识，必要专利数量不到相 应国际标准的一半。根据数据统计，口t v 运营商如果使用m p e g - 4 标准，平均 每户每年需支出8 0 元人民币左右的专利费用，如果使用h 2 6 4 标准，平均每户 每年需支出4 0 元人民币左右的专利费用。目前我国有3 7 亿户的固定电话用户， 3 基于d m 6 4 2 的a v s 视频解码器的实现与优化 假设将来全部转化为i p t v 用户，i p t v 运营商每年需要向国外标准支付的专利 费将高达1 5 0 亿到3 0 0 亿元人民币。通过使用a v s 标准，将使运营商节省掉这 笔巨额的专利费用，为我国i p t v 产业的发展大大节省成本 7 1 。这些特点也使a v s 成为第二代信源标准的上选。 1 3a v s 研究现状 目前a v s 的产业链已初步形成，联合信源和上广电已经推出基于a v s 标准 的编码器，解码芯片已经可以量产。在今年的c c b n 2 0 0 8 展会中，a v s 芯片和 终端产品集体亮相。展讯公司去年推出商用高清a v s m p e g 2 系统级解码核芯 片s v 6 1 1 1 ，今年又推出的低成本的标清a v s m p e g 2 解码核芯片s v 6 1 0 0 。博 通公司展出了支持中国a v s 标准的高清单芯片b c m 7 4 0 5 ，以及基于该芯片的数 字机项盒样机。上海龙晶公司展出了高清和标清芯片产品，以及基于这些芯片的 数字电视、移动便携式终端样机等。另也有多家机顶盒厂商可以提供支持a v s 标准的m t v 机顶盒，a v s 产业链正在逐渐成熟。今后随着a v s 标准产业化的 快速发展，a v s 标准将在不远的时间内实现大规模商用，必然将在我国的音视频 解码标准竞争中占据主导地位。2 0 0 7 年5 月，a v s 标准中的视频部分获得国际 电联i t u t 批准，正式成为i p t v 国际标准4 个可选视频编码格式之一【8 】。在自 主创新战略意义凸显和奥运临近的背景下，a v s 广阔的应用前景使其成为研究和 应用领域关注的焦点，国内许多高校及研究机构均在此方面做了大量研究。如浙 江大学胡骥炜等人在h h a r m 2 4 4 0 开发板上实现c i f 格式图像的a v s m 解码器， 解码速度为1 5 f p s t 9 | ；北京交通大学张欣佑等人在d m 6 4 2 平台上实现了a v s 视 频c i f 格式图像的实时编码，在设置q p 为3 6 时，码率9 5 2 7 7 k b p s ，编码速度为 3 6 f p s 【1 0 】等一系列关于a v s 在嵌入式平台上实现的研究。 1 4 课题的研究工作和论文主要内容 本课题前期阶段首先对a v s 视频解码标准和关键技术进行研究分析，通过参 考北京联合信源公司的a v s 解码器开源代码，设计完成针对d s p 平台的a v s 视频解码器。接着根据d s p 平台的特性，研究了基于平台的优化策略，主要从 编译器选项的设置，程序指令和关键字的使用，内联函数优化，软件流水优化和 存储器优化等方面对解码器进行了综合优化。通过对解码程序进行复杂度分析， 找出解码耗时的关键模块分别为插值模块，环路滤波模块，离散余弦反变换模块 4 第一章绪论 等。在对插值模块进行边界判定优化的过程中，通过对两种优化方法的比较，选 择边界预判断方法，并结合滤波器优化和样本的分类和复用等技术对该模块进行 优化。对于环路滤波模块，在函数调用等算法结构上做了一些改进，极大地提高 了解码速度。对于离散余弦变换模块，通过对各种算法的研究，针对d s p 平台 的特点选择奇偶分解算法，并使用内联函数对程序进行优化，取得了很好的效果。 对于其它模块的优化，从减少程序中的判断条件和跳转分支等方面考虑，利用软 件流水进行优化，提高程序执行的并行度，进一步提高解码效率。在优化的过程 中，我们发现对于单个子模块，编译器对其单独优化的效果比放在整个系统中的 优化效果要好，因此本论文对今后的优化工作提出了一点建议：可以先对单个子 模块进行优化，将优化好的代码封装在函数库中供程序调用，这样可以进一步提 高解码效率。最后本文对整个解码系统进行测试，实验证明优化后解码器的性能 得到了很大的提高。 本章主要阐述课题研究的背景和意义，各种标准介绍和国内外研究现状，以 及论文的主要内容。论文全文共分五个章节，各章的内容具体安排如下： 第一章是绪论，介绍了视频压缩技术的发展状况，阐述了本课题的研究背景 和意义，并概括了论文的主要工作。 第二章介绍了a v s 视频标准的关键技术，对a v s 视频解码器的设计流程进 行了简要的研究分析。 第三章以t i 公司的d m s 3 2 0 d m 6 4 2 开发平台为研究对象，介绍了开发平台 的软硬件资源及开发模式，以及a v s 视频解码器在d m 6 4 2 上的移植，同时对 a v s 视频解码器复杂度进行分析。 第四章是本文的重点内容，详细介绍a v s 视频解码器在d m 6 4 2 平台上的优 化与实现。首先讨论了针对d s p 平台的各种优化技术。然后对解码器各个模块 的优化实现进行了详细介绍，并给出优化结果。 第五章总结与展望，总结主要工作内容及本文的研究成果，并对下一步工作 提出了建议和设想。 5 第二章a v s 视频编码标准 第二章a v s 视频编码标准 本章主要介绍先进数字音视频编码标准a v s 的第二部分视频编码标准 a v s l p 2 。首先介绍a v s l 一p 2 视频编码标准的发展和现状。然后描述a v s l - p 2 标准的基本结构框架。最后介绍a v s l p 2 中采用的各项编解码技术。 2 1a v s 进展与应用 数字音视频编解码技术标准工作组由国家信息产业部科学技术司于2 0 0 2 年 6 月批准成立。a v s 标准是信息技术先进音视频编码系列标准的简称，a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等 支撑标准。a v s 标准进展如图2 1 所裂1 1 】。 邵分小组覃秉工作组草案最蟹覃粟标准透审福 ( w d ) ( c d )( f c d ) f d n s ) a v s l - p 1 ( 系统j 广播)2 0 0 3 1 02 0 0 3 1 22 d 0 4 42 0 0 4 8 a v s l p 2 ( 视频、标浯基准) 2 0 0 3 1 02 0 0 3 1 22 0 0 4 42 0 0 4 8 a v s l - p 2 ( 视频赢标洁- 增强) 2 0 0 5 32 0 0 5 92 0 0 5 1 22 0 0 6 3 a v s l - p 3 ( 音频- 双声道)2 0 0 4 1 22 0 0 5 32 0 0 5 72 0 0 5 9 a v s l 一p 3 ( 音频一5 1 声道 2 0 0 5 92 0 0 5 1 22 0 0 6 32 0 0 6 6 a v s l - p 4 ( 一致性测试)2 0 0 4 82 0 0 4 82 0 0 5 62 0 0 5 9 a v s l - p 5 ( 参考软件) 2 0 0 3 i 22 0 0 5 62 0 0 5 9 a v s l - p 6 ( 数字版权管理)2 0 0 5 32 0 0 5 72 0 0 5 92 0 0 5 1 2 a v s1 一p 7 ( 移动视频一s t a g e1 ) 2 0 0 5 32 0 0 5 62 0 0 5 62 0 0 5 9 a v s1 - p 7 ( 移动视频- s t a g e 2 )2 0 0 6 32 0 0 6 92 0 0 6 1 22 0 0 7 3 a v s1 - p 8 ( 用i p 网络传输a v s )2 0 0 5 32 0 0 5 62 0 0 5 92 0 0 6 1 2 a 、，s l - p 9 ( 系统- 文件格式) 2 0 0 5 32 0 0 5 62 0 0 5 92 0 0 5 1 2 图2 - 1 a v s 标准进展 a v s l p 2 是a v s 标准的第二部分视频标准，2 0 0 3 年1 2 月工作组完成了a v s 标准的第一部分( 系统) 和第二部分( 视频) 的草案最终稿( f c d ) 和报批稿配 套的验证软件。2 0 0 4 年1 2 月，全国信息技术标准化技术委员会组织评审并通过 了a v s 标准视频草案。2 0 0 5 年4 月，a v s 标准视频部分通过公示，在标准道路 上迈出决定性一步。2 0 0 6 年2 月，国家标准化管理委员会颁布通知：信息技术 先进音视频编码第二部分视频于2 0 0 6 年3 月1 日起开始实施并正式成为国家 标准，成为震动业内外的一件大事。2 0 0 7 年5 月，a v s l - p 2 已经进入i t u tf g 6 基于d m 6 4 2 的a v s 视频解码器的实现与优化 i p t v 工作组第四次会议w g 6 的输出文档，成为四个可选视频编码格式之一， 进一步促进了我国音视频产业的发展。a v s l p 2 标准是为了适应数字电视广播、 数字存储媒体、网络流媒体、多媒体通信等应用中对运动图像压缩技术的需要而 制定的。a v s l p 2 标准规定了能支持多种比特率、分辨率和质量的视频压缩方法， 适用于数字电视广播、交互式存储媒体、直播卫星视频业务、多媒体邮件、分组 网络的多媒体业务、实时通信业务、远程视频监控等应用【1 2 】。 2 2a v s l p 2 视频标准 a v s1 - p 2 视频标准【1 3 j 5 】采用混合编码框架，如图2 2 所示，包括变换、量化、 熵编码、帧内预测、帧间预测、环路滤波等技术模块，这是当前主流的技术路线。 帧间预测使用基于块的运动矢量来消除图像间的冗余：帧内预测使用空间预测模 式来消除图像内的冗余，图中s 0 是预测模式选择开关。再通过对预测残差进行 变换和量化消除图像内的视觉冗余。预测残差进行8 x 8 整数变换( i c t ) 和量化， 然后对量化系数进行z i g - z a g 扫描( 隔行编码块使用另一种扫描方式) ，得到一维 排列的量化系数。a v s i p 2 视频标准的变换和量化用1 6 位精度即可完成。最后， 运动矢量、预测模式、量化参数和变换系数用熵编码进行压缩。a v s l p 2 视频标 准使用环路滤波器对重建图像滤波，滤波强度可以自适应调整，一方面可以消除 方块效应，改善重建图像的主观质量；另一方面能够提高编码效率。 图2 - 2a v s 视频编码器框架 a v s 的主要创新在于提出了一批具体的优化技术，在较低的复杂度下实现 了与国际标准相当的技术性能，但并未使用国际标准背后的大量复杂的专利。 a v s i p 2 当中具有特征性的核心技术如下表2 1 所示，包括8 x 8 整数变换、量化、 7 第二章a v s 视频编码标准 帧内预测、1 4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效 应环内滤波等。 表2 - 1a v s 视频标准使用的主要技术 帧内预测基于8 x 8 块，5 种亮度预测模式，4 种色度预测模式 多参考帧预测 最多2 帧参考图像 宏块划分 1 6 x1 6 、1 6 x 8 、8 x1 6 、8 x 8 b 帧宏块直接编码时域空域相结合，当时域内后向参考帧中用于导出运动矢量的块为帧内 模式编码时，使用空域相邻块的运动矢量进行预测 b 帧宏块双向预测称为对称预测模式，只编码一个前向运动矢量，后向运动矢量由前向导 模式 出 像素位置采用4 拍滤波f l ( 一l ，5 ，5 ，1 ) ， 像素运动补偿 像素位置采用4 拍滤波f 2 ( 1 ，7 ，7 ，1 ) 、线性插值 8 x 8 整数变换，编码端进行变换归一化，量化与变换归一化相结合，通 变换与量化 过乘法、移位实现 熵编码上下文自适应2 d ，编码块系数过程中进行多码表切换 基于8 x 8 块边缘进行，简单的滤波强度分类，滤波较少的像素，计算复 环路滤波 杂度低 容错编码简单的条带划分机制足以满足广播应用中的错误隐藏、恢复需求 2 3a v s 视频编码比特流结构 a v s 标准支持多种视频业务，考虑到不同业务之间的互操作性，a v s 标准 定义了档次( p r o f i l e ) 和级别( 1 e v e l ) 。档次是a v s 定义的语法、语义及算法的 子集；级别是在某一档次下对语法元素和语法元素参数值的限定集合。为了满足 高清晰度标准清晰度数字电视广播、数字存储媒体等业务的需要，a v s 视频标 准定义了基准档次( j i z h u ap r o f i l e ) 和4 个级别( 4 0 、4 2 、6 0 和6 2 ) ，支持的 最大图像分辨率从7 2 0 x 5 7 6 到1 9 2 0 x 1 0 8 0 ，最大比特率从1 0m b i t s 到3 0m b i t s 。 本文研究采用基准档次，4 0 级别，图像分辨率为7 2 0 x 5 7 6 的a v s 视频格式码流。 下面将会介绍编码后比特流的结构及其层次关系和处理顺序。 2 3 1 视频序列 视频序列是比特流的最高层语法结构。视频序列由序列头开始，后面跟着一 个或多个编码图像，每帧图像之前应有图像头。编码图像在比特流中按比特流顺 8 基于d m 6 4 2 的a v s 视频解码器的实现与优化 序排列，比特流顺序应与解码顺序相同。解码顺序可与显示顺序不相同。序列结 束码表明了一个视频序列的结束。根据a v s 视频标准中对视频序列的定义得到 视频序列比特流的结构框图如图2 3 所示： 图2 3 视频序列比特流结构框图 a v s l p 2 支持两种序列：逐行序列和隔行序列。解码器的输出是一系列帧或 场，两帧之间存在着一个帧时间间隔。对隔行序列而言，每帧图像的两场之间存 在着一个场时间间隔。对逐行序列面言，每帧图像的两场之间时间间隔为0 。本 文中所选用的a v s l p 2 视频流为逐行扫描序列。 2 3 2 图像 图像由三个样本矩阵构成，包括一个亮度样本矩阵( y ) 和两个色度样本矩 阵( c b 和c r ) 。样本矩阵元素的值为整数。一幅图像是一帧，其编码数据由图 像起始码开始，到序列起始码、序列结束码或下一个图像起始码结束。 a v s l p 2 标准中图像数据结构框图如图2 - 4 所示：图像是由条带组成，两条 第二章a v s 视频编码标准 带中又包含了若干的宏块。 厂东浃数据、 lm c m 渤喇 l 残及衍舄 m b 蛔t o 专 冷 另2 争块数撬m o c l t ) 图2 - 4 图像数据( p i c t u r ed a t a ) 结构框图 图像格式主要有三种，如图2 5 所示，圆圈代表亮度样本，叉号代表色度样 本。对于4 ：2 ：0 格式，c b 和c r 矩阵水平和垂直方向的尺寸都只有y 矩阵的一半； 对于4 ：2 ：2 格式，c b 和c r 矩阵在水平方向的尺寸只有y 矩阵的一半，在垂直方 向的尺寸和y 相同；对于4 ：4 ：4 格式，c b 和c r 矩阵在水平和垂直方向的尺寸都 和y 矩阵一样。在本论文中，主要针对4 ：2 ：0 图像格式的视频进行分析和研究。 ool o i o ii q g 旦旦里一q 一 0o ：0o ： o 0o ： o ：0o ： oio0io i 旦一列旦旦里9 0o ：圆o ：oo q ：oo ：o0 ： 4 ：2 ：0 4 ：2 ：2 4 ：4 ：4 o 代表亮度样本x 代表色度样本 图2 5 三种图像格式 a v s l p 2 视频标准定义了i 帧、p 帧和b 帧三种不同类型的图像，i 帧中的 宏块只进行帧内预测，p 帧和b 帧的宏块则需要进行帧内预测或帧间预测。通常 一个图像组中包含一个i 帧，若干个p 帧和若干个b 帧。p 帧或b 帧最多可有两 l o o o o oo o o o o o o oo o o o o o o oo o o o 基于d m 6 4 2 的a v $ m 频解日g 的实现2 _ 优化 帧参考图像。p 帧可参考前向的两帧，对隔行扫描编码格式，后解码的场还可参考 当前帧的另外一场。b 帧可参考一前一后的两帧。 2 3 3 条带 图像可以分为若干条带，其结构如图2 - 6 所示，条带是按光栅扫描顺序连续 的若干宏块行，条带内的宏块行不应重叠，条带之】训也不应重叠。条带内宏块的 解码处理不应使用本图像其他条带的数据。 韫茸穗一j ；摹嚣；| 霎黼 图2 - 6 条带结构 2 3 4 宏块 a v s l p 2 标准中国像划分为宏块，宏块的划分如图2 - 7 所示，图中矩形里的 数字表示宏块划分后运动矢量和参考索引在码流中的顺序。 女# “# 箍爝嚣淼黼l 黩翥i 罐毖箍箍髅 口目田田 图2 7 宏块的划分 在4 ：2 ：0 格式下一个宏块包括4 个8 x 8 亮度块( y ) 和2 个8 x 8 色度块( 个c b 1 个c r ) 。如图2 - 8 所示，图中数字为宏块中8 x 8 块的顺序号。 第二章a v s 视频编码标准 田田田 yc b c r 图2 - 8 宏块划分为8 x 8 块( 4 ：2 ：o 格式) 在4 ：2 ：2 格式下，一个宏块包括4 个8 8 亮度块( y ) 和4 个8 x 8 色度块( 2 个c b ，2 个c r ) 。如图2 - 9 所示，图中数字为宏块中8 x 8 块的顺序号。 田曰囝 yc bc r 图2 - 9 宏块划分为8 x 8 块( 4 ：2 ：2 格式) 在4 ：4 ：4 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和8 个8 x 8 色度块( 4 个c b ，4 个c r ) 。宏块中的各个8 x 8 块在比特流中出现的顺序由图2 1 0 中的数 字规定。 田田田 yc bc r 图2 1 0 宏块划分为8 x 8 块( 4 ：4 ：4 格式) 2 4a v s l p 2 视频标准的关键技术 a v s l p 2 标准为了在相同的编码框架下实现更高的视频压缩性能，在每一个 功能模块中都引入了新的技术【1 6 i 。下面就对这些关键技术进行详细的论述。 2 4 1 熵编码 a v s l p 2 采用了基于上下文的2 d - v l c ( v a r i a b l el e n g t hc o d e ) 对变换系数 进行编码。基于上下文的意思是用已编码的系数来确定v l c 码表的切换。 a v s l p 2 充分利用上下文信息，在不同的统计编码情况下编码变换块用到了多 张不同的2 d v l c 表。编码当前( 1 e v e l ，r u n ) 的码表由最近编码的l e v e l 值来决 1 2 基于d m 6 4 2 的a v s 视频解码器的实现与优化 定。这种编码方法总共用到1 9 张2 d v l c 表。帧内亮度采用8 张码表，帧间 亮度采用7 张码表，色度采用4 张码表，以便于编码过程中自适应切换，提高 编码效率。这些表需要约1 k 字节的存储空间。该方法较之每种块类型一张码表 的编码方法有0 2 3 d b 的p s n r 增益【1 刀。 采用指数哥伦布码的优势在于：一方面，它的硬件复杂度比较低，可以根据 闭合公式解析码字，无需查表；另一方面，它可以根据编码元素的概率分布灵活 地确定以k 阶指数哥伦布码编码，如果k 选得恰当，则编码效率可以逼近信息熵。 2 4 2 变换量化 a v s 1 p 2 采用8 x 8 二维整数余弦变换( i n t e g e rc o s i n et r a n s f o r m ，i c t ) ，其性 能接近d c t ，但精确定义到每一位的运算避免了不同反变换之间的失配。 a v s l p 2 的变换与量化可以在1 6 位处理器上无失配地实现，从而克服了m p e g - 4 a v c h 2 6 4 之前所有视频压缩编码国际标准中采用的8 x 8d c t 变换存在失配的 固有问题。a v s l 。p 2 采用6 4 级量化，可以完全适应不同的应用和业务对码率和 质量的要求。 2 a 3 帧内预测 a v s l 1 2 采用基于8 x 8 块的帧内预测，沿袭了m p e g - 4a v c h 2 6 4 帧内预 测的思路，相邻已解码块在环路滤波前的重建像素值可以用来给当前块作参考， 采用代表空间域纹理方向的多种预测模式。亮度块采用5 种预测模式，如图2 1 l 所示，色度块采用4 种预测模式，而这4 种模式中又有3 种和亮度块的预测模式 相同。 图2 1 18x8 亮度块帧内预测模式 1 3 第二章a v s 视频编码标准 与m p e g 4a v c h 2 6 4 的4 x 4 块的帧内预测相比，大的预测块将增加待预测 样本和参考样本间的距离，从而减弱相关性，降低预测精确度。因此在a v s l p 2 的d c 模式，d i a g o n a ld o w nl e f t 模式和d i a g o n a ld o w nr i g h t 模式中先用3 抽 头低通滤波器( 1 ，2 ，1 ) 对参考样本滤波【1 8 】。另外，在a v s l p 2 的d c 模式中，每 个像素值由水平和垂直位置的相应参考像素值来预测，所以每个像素的预测值都 可能不同。这种d c 预测较之h 2 6 4 中的d c 预测更精确，这对于较大的8 x 8 块 尺寸来讲更有意义。r m 4 0 ( a v s l p 2 的参考软件) 上的实验表明，a v s 采用5 种模式仅比m p e g - 4 a v c h 2 6 4 采用9 种模式损失0 0 5 d b 的p s n r 1 9 1 。 2 4 4 帧问预测 a v s l p 2 支持p 帧和b 帧两种帧间预测图像。p 帧至多采用2 个前向参考帧 如图2 1 2 ，p 帧有5 种宏块类型：ps k i p ，p1 6 x 1 6 ，p1 6 x 8 ，p8 x 1 6 和p8 x 8 。 1 0 图2 1 2p 帧参考索引标记方法 b 帧采用前后各一个参考帧，如图2 1 3 所示。b 帧有2 5 种宏块类型，另外 还有4 个8 x 8 子模式。 d l d 2 图2 1 3b 帧参考索引标记方法 a v s l p 2 的b 帧的双向预测使用了直接模式( d i r e c tm o d e ) 、对称模式 ( s