（信号与信息处理专业论文）基于dsp的avs实时解码器的研究与实现.pdfVIP

基于d s p 的a v s 实时解码器的研究与实现 捅望 a v s 是我国自主研发的音视频标准，其中第二部分：视频( a v s ip 2 ) 已获批 成为国家标准。它有性能高，计算复杂度低，专利授权费用低等优点。但目前依 然没有成熟的a v s 编解码器解决方案，不利于a v s 向新一代数字音视频产业的应 用，因此a v s i p 2 解码器实时播放的研究与实现，就成为a v s 产业化的重要内容。 论文研究的目的就是在d s p 平台上对a v s i p 2 解码器进行解码速度的优化，提高 输出帧率，达到实时播放的要求。 首先，研究了a v s l 一p 2 的主要编解码算法和d s p 平台t m s 3 2 0 d m 6 4 2 的特点 以及常用的d s p 优化方法，为解码器的优化打下基础。 解码器解码速度的提高，关键是各核心解码模块的效率提高，因此论文的重 点内容是针对解码器各功能模块的特点，提出核心模块专门的优化方案，以使解 码器的解码速度提高。主要研究了以下模块： 亚象素插值模块，简化了四分之一样本插值算法，提出了共享样本复用的方 法，在此基础上从采用i ) m a 并行预取参考样本提高存取效率和采用内联指令提高 计算效率两个方面来提高插值模块的效率。对该模块的优化使解码速度提高了7 帧秒，是各模块种优化效果最好的。 帧内预测、重建、环路滤波三模块，建屯了三模块共用存储系统，以减少三 个模块间的冗余存取操作，提高三模块的运行效率。为此打破了传统环路滤波的 滤波方式，提出了一种新的环路滤波模式，创新的调整了环路滤波的滤波顺序以 及解码器的结构。 哥伦布码解析模块，提出了按字( 3 2 位) 读取比特流的方法，并简化了哥 伦布码前缀和后缀解析的方法。 另外，对a v s 解码程序还普遍采用了如下优化策略：c a c h e 优化、数据传输 管理( 采用d m a ) 、内联指令，排循环流水等。 通过验证实现证明，采用以上优化方案后，a v s 卜p 2 解码器可以达到实时解 码播放的要求。 关键词：a v s ，d s p ，实时解码器，优化 r e s e a r c ha n dr e a l i z a t i o no f 斟sr e a l t i m ed e c o d e r b a s e do i ld s p a b s t r a c t a v s ( a u d i oa n dv i d e oc o d i n gs t a n d a r d ) ，t h es e c o n dp a r to fw h i c hh a s b e e na u t h o r i z e d ，i st h es t a n d a r d o fv i d e ea n da u d i od e v e l o p e db yo a r c o u n t r yi n d e p e n d e n t l y i th a st h es u p e r i o r i t yo fs i m p l ec o m p u t a t i o n a l c o m p l e x i t ya n dl o wp a t e n tl i c e n s i n gf e e s a tp r e s e n t ，t h ea p p l i c a t i o no f a v si n t h ef i e l do fv i d e oa n da u d i od o m a i nh a se n c o u n t e r e d o b s t a c l e ，b e c a u s eo fs h o r to ff e a s i b l ee n c o d e ra n dd e c o d e rs o l u t i o n s ，s o t h er e s e a r c ho ea v s i p 2h a sb e c o m en e c e s s a r yt os o l v et h ep r o b l e m t h e p u r p o s eo ft h et h e s i si st oi m p r o v et h es p e e do ff r a m et om e e tt h er e q u e s t o fr e a l t i m ev i d e od i s p l a y i n g a tf i r s t ，t h ea l g o r i t h m so fa v s i p 2i ss t u d i e d ，t h ec h a r a c t e r i s t i c so f t m s 3 2 0 d m 6 4 2i sa n a l y z e dt h e t h em e t h o d so fd s pt oo p t i m i z ev i d e ea r e r e s e a r c h e d ，e s t a b l i s h i n gt h ef o u n d a t i o nf o ro p t i m i z i n gd e c o d e r t h es p e e do fe v e r ym o d u l e si st h ek e yf a c t o ri nt h ep r o c e s so f o p t i m i z i n gt h ed e c o d e r t h ei m p r o v e m e n to ft h es p e e do fd e c o d e rs o t h e k e y s t o n ei st op r o v i d es o l u t i o n sf o rt h ek e r n e ls p e c i a l l yw i t ht h ep u r p o s e o fi m p r o v i n gt h ef r a m er a t eo fd e c o d e r s u b - p i x e lm o t i o ni n t e r p o l a t i o nf i l t e r m o d u l er e u s i n g s h a r e a b l e s a m p l e sn o to n l ys i m p l i f i e st h e1 4s a m p l ei n t e r p o l a t i o na l g o r i t h m ，b u t a l s oi m p r o v e si n t e r p 0 1 a t i o nf i l t e re f f i c i e n c yt h r o u g hu s i n gd w ap a r a l l e l p r e f e t c h i n gf r o mt h er e f e r e n c es a m p l e st oi m p r o v ea c c e s se f f i c i e n c ya n d u s i n gi n t r i n s t i c st oe n h a n c ec o u n t i n ge f f i c i e n c y t h eo p t i m i z a t i o nf o rt h e s u b p i x e li n t e r p 0 1 a t i o nf i l t e rm o d u l eh a si n c r e a s e d7f r a m e s e c o n df o r t h ed e c o d e r 。w h i c hi sb e s ta m o n ga l lt h em o d u l e s t h ee s t a b l i s h m e n to fs h a r e d m e m o r ys y s t e m b e t w e e n i n t r a - p r e d i c t i o n r e c o n s t r u c t i o n 。a n di n l o o pf i l t e rh a sr e d u c e dt h er e d u n d a n c y b e t w e e nt h et h r e ef u n c t i o n a lm o d u l e sa n di m p r o v e do p e r a t i n gf r e q u e n c y d i f f e r e n tf r o mt h et r a d i t i o n an e wm e t h o d so fa d j u s t i n gt h es e q u e n c eo f i n l o o pf i l t e ra n da r c h i t e c t u r eo fd e c o d e rh a sc o m eo u ti n n o v a t l y t h ep a r s i n gg o l o m bm o d u l ea d v i s i n gt or e a daw o r d ( 3 2 b i t ) b u tn o ta b y t es i m p l i f i e st h em e t h o do fp a r s ep r e f i xa n ds u f f i xo fg e l o b mc o d e i na d d i t i o n t h ef o l l o w i n gm e h o d sa r ea l s oa p p l i e dt ot h ep r o g r a mo f i i t h ed e c o d e r ：c a c h eo p t i m i z i n g d a t at r a n s m i s s i o nm a n a g i n g ( a d o p td m a ) ， u s i n gi n t r i n s t i e s ，a n do p t i m i z i n gs o f t w a r ep i p e t i n i n g t h er e s u l to ft h et e s tp r o v e st h a ta v s l 一p 2c o u l dm e e tt h er e q u i r e m e n t s o ft e a l t i m ed e c o d i n gt h r o u g ht h eo p t i m i z i n gm e t h o d sa b o v e k e y w o r d s ：a v s ，d s p ，r e a l t i m ed e c o d e r ，o p t i m i z a t i o n i n 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研冤成果，也不包青未获得( 洼；塑翌直基丝孟蔓挂型直盟 鲍! 奎拦亘窒2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名= 羟确签字隅b 7 年多月jr 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保帮并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 繇袋伤 签字f 1 期：_ 刃年5 月r 学位论文作者毕业后去向 工作单位： 通讯地址： 导师签字 签字闩期：岬年石月f 同 电话 邮编 基y - d s p 的h v s 实时解码器的研究与实现 o 前言 0 1 课题研究背景和意义 信源编码技术是数字电视系统的关键技术之一，是基础性的核心标准，它有 可能解决数字电视半数以上的技术问题。而视频编解码技术是信源编码重要部 分，也是较复杂的部分。当前国际国内视频领域主要有以下视频标准： 押e g2 制定于1 9 9 4 年，视频部分面向高级工业标准的图象质量以及更高 的传输率，能提供的传输率在3 - 1 0 m b i t s 之间，在n t s c 制式下的分辨率可达 7 2 0 x 4 8 0 ，能提供广播级的视频图像。包括数字电视在内的数字音视频产业目前 广泛采用的信源编码标准是m p e g 一2 。 m p e g - 4 于1 9 9 8 年公布，面向低码率的有线、无线网络传输。目前己应用于 i n t e r n e z ，并开始支持当前标准尚未全面支持的那些应用，例如移动通信和个人 通信中的声像业务，以及各种基于无线网络环境的手持式电子产品。 h 2 6 4 标准是v c e g 和i i p e g 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发 的标准，为m p e 64p a r t1 0 。h 2 6 4 有更高的压缩比、更好的i p 和无线网络信 道适应性，在相同的重建图像质量下h 2 6 4 能够比h 2 6 3 节约5 0 左右的码 率。但同时，h 2 6 4 计算复杂度高，据估计，编码的计算复杂度大约相当于h 2 6 3 的三倍，解码复杂度大约相当于 l2 6 3 的两倍。 a v s 是我国自主研发的音视频标准，2 0 0 6 年2 月2 2 日，信息技术先进音 视频编码第2 部分：视频已经获得批准成为国家标准，国家标准号g b t 2 0 0 9 0 2 - 2 0 0 6 。至此“十一五”期间重点培育数字化音视频产业已经有标可循。 a v s 视频标准的提出，使中国拥有了6 己的核心技术标准，满足了我国数字 视频产业发展的急需。a v s 最直接的产业化成果是未来1 0 年我国需要的数亿颗 解码芯片。晟直接效益是节省超过每年数十亿美元的专利费。但是出于“s 在 时间上相对于h 2 6 4 和m p e g - 4 等其它新标准要晚，还不成熟、不完善，目前 依然没有成熟的编解码器解决方案，不利于a v s 向新一代数字音视频产业的应 用。目前，虽然有些厂商已经宣布生产出a v s 解码芯片，例如宏景微电子有限 公司的基于a v s 标准的数字音视频核心技术芯片；龙晶公司已经完成a v s 解码 芯片的f p g a 验证：联合信源公司推出了a v s l 0 1 解码芯片；芯晟科技丌发出一 款a v ss o c , 中科院计算所和宁波中科集成电路设计中心合作推出的风芯2 号； 深圳弘景公司将推出同时兼容m p e g 2 和a v s 的高清解码s o c 芯片；国际上， 博通科技计划在某些芯片上也将实现a v s 的高清解码。但产业化的还不多，有 许多处于实验室阶段，且生产成本比较高。这样，在a v s 产业成熟之前，软件 实现a v s 的编解码功能就显得尤为重要。而d s p 平台具有的如下优点，很适合 目前a v s 解码器软件实现：1 ) 能够快速制造原理样机和进行验证，加快产品上 基丁：d s p 的a v s 实时解码器的研究与实现 市时间；2 ) 高度可编程性使产品能够迅速应用新算法、新标准或新协议；3 ) 可 以通过软件更新，快速进行产品升级。 本课题将针对a v s 的目前的情况和其特点，着力与a v s 编解码的实际应用的 研究，优化a v s 的解码算法，提高a v s 解码速度，在此基础上提出并实现基于t i 公司的通用多媒体处理器t m s 3 2 0 d m 6 4 2d s p 平台的a v s 视频实时解码器方案。 通过开展此课题的研究，可以实现基于数字信号处理器d s p 平台上的a v s 解码 器的应用，并在将来应用到i p t v 及其它终端上，从而推动我国数字音视频标准 a v s 的推广和应用。 o 2 本文的主要内容和安排 本课题一方面要对 v s 视频标准熟悉，了解a v s 采用的关键技术，另方面 也要熟悉开发平台的特点，然后综合发挥两者的优点避免其缺陷，采用一系列优 化方法才能最终实现a v s 解码器的实时播放。因此本文的研究分为三个部分： a v s i - - p 2 视频标准关键编解码算法的研究，t m s 3 2 0 d m 6 4 2 平台的特点分析和a v s 解码器基于t m s 3 2 0 d m 6 4 2 平台的优化。而a v s 核心模块的优化是实现解码器实时 播放的关键，是本文的重点内容。 本文将在研究a v s 解码关键模块算法和d s p 平台特点的基础上，提出基于 t m s 3 2 0 d m 6 4 2 平台的亚象素插值、帧内预测、环路滤波以及哥伦布码解码等关键 模块的优化方案，以实现a v s 实时解码器。 本文内容分为五章，安排如下： 第0 章：概述课题研究的国内外发展现状，本课题的研究意义。 第l 章：研究a v s i - - p 2 视频标准编解码器的整体框架和关键算法。研究a v s l - p 2 视频标准编解码器的整体框架，分析核心编解码算法的技术特点，并将a v s 和其他视频标准进行了比较。 第2 章：分析t m s 3 2 0 d m 6 4 2 平台的特点以及常用的基于d s p 的优化方法。 第3 章：a v s 实时解码器的实现与研究。a v s 解码器的实时解码的实现，主要 研究的问题是解码速度的提高，因此本章主要研究内容为根据a v s 和平台特点对 a v s 解码器进行整体优化和对关键模块进行针对性的优化，提出了对亚象素插 值、帧内预测、环路滤波以及哥伦布码解码等的优化方案。 第4 章：对全文进行了总结，并提出了下一步的研究方向和应用i j 景。 1a v s i - p 2 标准视频编解码技术特点研究 1 i a v s i p 2 视频标准概述 目前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第二部分视 频( a v s i p 2 ) ，主要针对高清晰度数字电视广播和高密度存储媒体应用 1 ；a v s 第七部分移动视频( a v s i 一7 ) ，主要针对低码率、低复杂度、较低图像分辨率的 2 基t - 1 ) s p 的a v s 实时解码器的研究与实现 移动媒体应用 2 。本文主要研究第二部分。 1 1 1a v s 卜p 2 系统结构 a v s i p 2 视频标准采用的是基于空问和时问的预测和补偿、空域的变换和基 于统计的熵编码的经典混合编码干匡架。系统结构如图卜1 4 所示。 图卜1a v s l 一p 2 视频标准的混合编码框架 在图1 - 1 所示框架下，视频编码的基本流程为：将视频序列的每一帧划分 为固定大小的宏块，通常为1 6 1 6 像素的亮度分量及2 个8 x 8 像素的色度分量 ( 对于4 ：2 ：0 格式视频) ，之后以宏块为单位进行编码。对视频序列的第一帧及 场景切换帧或者随机读取帧采用i 帧编码方式，i 帧编码只用帧内预测码方式， 利用当前帧内的像素作空间预测。其大致过程为利用帧内先前已经编码块中的 像素对当前块内的像素值作出预测，将预测值与原始视频信号作差运算得到预 测残差，再对预测残差进行变换、量化及熵编码形成编码码流。对其余帧采用帧 内预测和帧问编码方式，帧问编码是对当日“帧内的块在先前已编码帧中寻找最相 似块( 运动估计) 作为当前块的预测值( 运动补偿) 之后如i 帧的编码过程对预 测残差进行编码。编码器中还内吉一个解码器，如图1 - 1 所示。内嵌解码器模拟 解码过程，以获得解码蕈构图像，作为编码下一帧或下一块的预测参考。解码步 骤包括对变换量化后的系数进行反量化、反变换得到预测残差，之后预测残差 与预测值相加，经滤波去除块效应后得到解码重构图像。 1 1 2a v s l 一p 2 的码流结构 a v s 卜p 2 的码流结构语法层次从高到低依次为：序列、图像、条带、宏块、 块，如图1 - 2 所示。 基丁d s p 的a v s 实时解码器的研究与实现 序列 条带 宏块 蛱 圈曰霸阶勘 图1 2a v sp 2 的码流结构层次 视频序列是比特流的最高层语法结构。视频序列由序列头开始，后面跟着一 个或多个编码图像，每帧图像之前应有图像头。标准支持两种序列：逐行序列和 隔行序列。 一幅图像是一帧，一帧包括一个亮度样本矩阵( y ) 和两个色度样奉矩阵( c b 和c r ) 。样本矩阵元素的值为整数。标准支持4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 ( y ：c b ： c r ) 的图像格式。标准定义了三种解码图像：帧内解码图像( i 帧) ，前向帧间 解码图像( p 帧) ，双向帧问解码图像( b 帧) 。 条带是按光栅扫描顺序连续的若干宏块行，条带内的宏块行不应重叠，条带 之自j 也不应重叠。条带内宏块的解码处理不应使用木图像其它条带的数据。 图象划分为宏块，宏块有帧内预测和帧间预测两大类。在4 ：2 ：0 的图像格式 下，一个宏块包括4 个8 x 8 亮度块( y ) 和2 个8 x 8 色度块( 1 个c b ，1 个c r ) ： 块是空问预测补偿、时倒预测补偿和空间变换的单元。在a v s ip 2 中块大小为 8 x 8 像素。而在h 2 6 4 中，预测补偿和，变换的最小单元都是4 x 4 像素块。实验 表明 5 ，在高分辨事情况下，8 x 8 块的性能比4 x 4 块更优，因此a v s i p 2 的块 尺寸固定为8 x 8 。总体来讲，8 x 8 的i p , c t 比4 个1 1 ) c t 的计算复杂度略高一些， 但8 x 8 运动补偿，运动估计和环路滤波的复杂度比4 x 4 要大为降低。 1 1 3a v s l 一p 2 档次和级别 目前，a v s l - p 2 定义为基准档次。这个档次又分为4 个缴别，用于标清的4 0 ( 4 ：2 ：0 ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及用于高清的6 0 ( 4 ：2 ：0 ) 级别和 6 2 ( 4 ：2 ：2 ) 级别。支持的图象分辨率从7 2 0 x 5 7 6 9 2 0 x 1 0 8 0 ，最大比特率1 0 3 0 m b p s 。 4 基丁d s p 的a v s 实时解码器的研究与实现 1 2a v s l - p 2 关键编解码算法 1 2 1 帧内预测 帧内预测可以去除i n t r a 块的空问冗余。以往的编码标准都是在频域内进行 帧内预测，如m p e g 一2 的直流系数( d c ) 差分预测、m p e g - 4 的d c 及高频系数( a c ) 预测 6 。a v s 视频标准采用空域内的多方向帧内预测技术 7 ，用相邻的象素块预 测当前块，提高了预测精度，从而提高了编码效率，a v s 视频标准的帧内预测基 于8 x 8 块大小，亮度分量只有5 种预测模式。h 2 6 4 标准也采用了这一技术， 其预测块大小为4 x 4 及1 6 1 6 ，分别有9 种和4 种预测模式。试验表明，a v s 采用5 种模式大大降低了帧内预测模式决策的计算复杂度，而图像质量仅l l h 2 6 4 采用9 种模式损失0 0 5 d b 的p s n r 9 。a v s 的帧内预测模式( 亮度) 2 如下： 表卜18 x 8 亮度块帧内预测模式 i n t r a l u m a p r e d m o d e名称 0 i n t r a _ b x 8 一v e r t i c a l 1i n t r as x 8 o r i z o n t a l 2 i n t r a _ s x 8 一d c 3 i n t r as x 8 - d o o m _ l e f t 4 i n t r a _ b x s _ d o w n r i g h t 与m p e g - 4 、a v c h 2 6 4 的4 x 4 块的帧内预测相比，8 x 8 预测块将增加待预测样 本和参考样本问的距离，从而减弱相关性，降低预测精度。因此在在a v s i p 2 的 d c 、d o w n _ l e f t 、d o w n _ r i g h t 模式中先采用3 抽头的低通滤波器( 1 ，2 ，1 ) 对参 考样本滤波来去除噪声 1 0 。在a v s l 一p 2 的d c 模式中，每个象素值由水平和竖直 位置的相应参考象素值束预测，所以每个象素的预测值都有可能不同。这种d c 预测较之h 2 6 4 中的d c 模式预测更精确，这对于较大的8 x 8 块尺寸来讲更有意义。 1 2 2 帧间预测 帧问运动补偿编码时混合编码技术框架中最重要的部分之一，a v s 采用了多 项帧问预测技术束提高编解码效率。 1 变块大小运动补偿：变块大小运动补偿是提高运动预测精确度的重要手段 之一，对提高编码效率起重要作用。块小则块内钱差能量小，编码残差块的码 量小，但是确定参考块模式和运动矢量的信息量大，这部分码量大；相反，块大 则块内残差能量大，编码残差块的能量大，但确定参考块模式和运动矢量的信息 量小。同时块小计算复杂度也高 2 0 。在m p e g - 2 中，运动预测都是基于1 6 x 1 6 的 宏块进行的，在m p e g - 4 中添加了8 x 8 块划分模式，在h 2 6 4 中则进一步添加 基丁：d s p 的a v s 实时解码器的研究与实现 1 6 x 8 、8 x 1 6 、8 x 4 、4 x 8 、4 x 4 等划分模式。但实验数据表明小于8 x 8 块的划分模 式对低分辨率编码效率影响较大，而对于高分辨率编码则影响甚微。在高清序列 上的大量实验数据表明，去掉8 x 8 以下大小块的运动预测模式，整体性能降低 2 4 ，但其编码复杂度则可降低3 0 4 0 ，因此在a v s i p 2 中将最小宏块划分 限制为8 x 8 ，这一限制大大降低了编解码器的复杂度。 2 多参考帧预测：多参考帧预测使得当时块可以从前面几帧图像中寻找更好 的匹配块，因此能够提高编码效率。但一般来讲2 3 个参考帧基本上能达到最 高的性能，更多的参考图像对性能提升影响甚微，复杂度却会成倍增加。a v s 视 频标准限定最多采用两个参考帧。因为b 帧进行双向运动补偿预测，需要两帧参 考图像。因此，a v s 解码器需要能存储两帧图像的参考图像缓冲区。考虑到这一 点，a v s 视频标准允许p 帧使用在其之前的连续两个i 帧p 帧作为参考图像，在不 增加缓冲区大小的前提下提高了编码效率。 3 b 帧宏块编码模式：在a v c h 2 6 4 标准中，时域直接模式与空域直接模式 是相互独立的。而a v s 视频标准采用了更加高效的空域时域相结合的直接模式， 并在此基础上使用了运动矢量舍入控制技术 i i a v s 标准b 帧的性能比h 2 6 4 中b 帧性能有所提高。此外，a v s 标准还提出了对称模式 1 2 ，在对称模式中，只 对前向运动矢量编码。后向运动矢量根据前向运动矢量计算得到，从而实现双向 预测。 4 加权预测：a v s 还定义了加权预测，加权预测在场景变换、照度变化等 情况下能显著提高编码效率。a v s 视频标准的加权预测采用了简单的线性模型， 模型参数在图像头中传送。每一个宏块都可以单独选择是否使用加权预测。 1 2 3 亚象素插值 运动矢量的精度是提高预测准确度的重要手段之一。a v s 帧问预测与补偿中， 亮度和色度的运动矢量精度分别为i 4 和l 8 像素，因此需要相应的亚像素 插值。影响高精度运动补偿性能的一个核心技术是插值滤波器的选择。a v c h 2 6 4 亚像素插值半像素位置采用6 拍滤波，这个方案对低分辨率图像效果显著。由 于高清视频的特性，a v s 视频标准对i 2 像素位置插值采用4 拍滤波器 1 3 m ( 一i 8 ，5 s ，5 8 ，一i 8 ) ， 其效果与6 拍滤波器相同，优点是大大降低了 访问存取带宽，是一个对硬件实现非常有价值的特性。m p e g 一4a v c h 2 6 4 的亚 像素插值艄比a v s i p 2 的数掘带宽减小1 1 ，而计算复杂度没有提高 1 2 ，此 插值方法在高清序列上略有增益。 1 2 4 整数变换量化 a v s i p 2 采用了8 x 8 二维整数余弦变换( i n t e g e rc o s i n et r a n s f o r m ，i c t ) ， 其性能接近8 x 8d c t ，i c t 可用加法和移位直接实现。8 x 8 变换比4 x 4 变换的去 相关性能强，实验表明，a v s i p 2 的变换相对于h 2 6 4h i g hj p r o f i l e 的4 x 4i c t 基rd s p 的a v s 实时解码器的研究与实现 有0 0 5 d b 的p s n 增益 5 。 囡圆圈圜 图卜3 传统i c t 编码 图圜曰困 图卜4p i t 编码 出于采用i c t ，各变换基矢量的模大小不一，因此必须对变换系数进行不同 程度的缩放以达到归一化。为了减少乘法的次数，在h 2 6 4 中将正向缩放和量化结 合在一起操作，反向缩放和反量化结合在一起操作，如图卜3 5 3 。在a t s 中，采 用带p i t ( p r e - s c a l e di n t e g e rt r a n s f o r m ) 的8 x 8 整数余弦变换技术 1 6 如图卜4 5 即正向缩放、量化、反向缩放结合在一起。而解码端只进行反量化， 不再需要反缩放，从而节省解码反变换所需的缩放表，降低解码器的复杂 1 5 。 五= 8l o1 098642 8 ，94- 2 8 - 1 0 - 1 0 - 6 86- 4 - 1 0 821 09 82- 1 0 - 689_ 4 1 0 8-2-1068 9 - 4 1 0 8 6 - 410-8-2 l o _ 9 8 9428l o- 1 0 6 8 - 1 01 098 64_ 2 图卜58 x 8 整数变换矩阵 a v s l 一p 2 的变换矩阵t 如图卜6 1 所示。解码时，水平和垂直方向的反变换公 式 1 如下： y = c o e f f m a t r i x 矗11 一l b = 矗xh 1 - 2 其中，r 8 是8 x 8 反变换矩阵，c o e f f u a t r i x 是8 x 8 变换系数矩阵，丁s 7 是兀的转置 矩阵，表示水平反变换后的中间结果；为保证1 6 位精度的操作，对矩阵胂的 每个系数加4 再右移3 位，得到矩阵j 表示反变换后的8 x 8 矩阵。 最后残差样值矩阵r e s i d u e m a t r i x 的元素计算如下 1 ： r ? ，= t ，i + 2 “) ) 7i ，j = 0 1 3 其中 ，是 矩阵的元素。 一a v s l 一p 2 的量化、反量化过程如下： 量化：将| 下变换输出系数矩阵先与尺度缩放矩阵e 8 的元素对应相乘，结果右 移1 9 位，再通过量化参数q p 查找量化表得到q _ t a b l e q p ，与尺度缩放后的 基丁d s p 的a 、r s 实时解码器的研究与实现 结果相乘，再右移1 5 位，保证量化输出结果在1 6 位以内。不考虑近似取整处 理，量化可以表示为： y q ( i ，j ) = ( y ( i ，j ) e 8 ( i ，j ) ) 1 9 q _ t a b l e q p 1 5 l 一4 输出矩阵为y q 。其中e 8 是变换系数的尺度调整矩阵。 反量化：设反量化的输出矩阵为y ， y ( i ，j ) = ( y q ( i ，j ) i qt a b l e q p ) s h i f t 0 p l 一5 其中i q _ t a b l e 为反量化表，s h i f t 为q p 对应的位移表。 l ，2 ，5 熵编码 熵编码是视频编码器的重要组成部分，用于去除数据的统计冗余。a v s i p 2 采用基于上下文的自适应变长编码器2 d _ v l c ( v a r i a b l el e n g t hc o d e ) 1 7 对变 换量化后预测残差进行编码。a v s i p 2 充分利用上下文信息对不同类型的变换块 分别用不同的2 d _ v l c 表编码例如有帧内块的码表、帧州块的码表等。 a v s l 一p 2 所有语法元素的码字基于指数哥伦布码或定长码而构造。定长码用来 编码具有均匀分布的语法元素，指数哥伦布码用来编码可变概率分可变分布的语 法元素。a v s i p 2 使用k 阶( k = o ，l ，2 ，3 ) 指数哥伦布码。c b p 、宏块模式、运动矢量 等用0 阶指数哥伦布码编码。量化系数使用全部4 种指数哥伦布码。a v s 标准中 规定了4 种映射方式：u e ( v ) ，s e ( v ) ，m e ( v ) ，以及c e ( v ) 。出指数哥伦布码映射到 码流，并从码流中解析的语法元素，具体如表1 2 。 表1 2a v s 的指数哥伦韶码映射关系 u e ( v ) 无符号栏数语法元素，包括宏块类犁等变量 b b v c h e c k t i m e s ，m bs k i pr u n ， m bt y p e ， i n t r a _ c h r o m a a d r e d _ m o d e s e ( v ) 有符号 4 c 数语法元素，包括运动灭量，量化参数增量等 a l p h a - c o f f s e t ，b e t a _ o f f s e t ，m v _ d i f f _ x ，m v _ d i f f _ y ， m b q pd e l t a m el v j 川指数哥伦布码编码的诰法元素，包括了4 ：2 ：0 和4 ：2 ：2 两种 y u v 幽像格式f 的宏块c b p 标，gc b p ，c b p 一4 2 2 c e ( v ) 变k 编码的语法元素，包括变换系数扫描后对应的( f u l l ，l e v e l ) 通过变k 编码表映射的系数值和不能卉表时对l e v e l 的单独编 码值 t r a n t c o c f f i c i e n t ，e s c a p pl e v e 一d i f f 其中，e ( v ) ，s e ( v ) 和m e ( v ) 描述的语法元索使用0 阶指数哥伦却码，c e ( v ) 描述的残差数据采用0 阶1 阶2 阶或3 阶指数哥伦布码进行编码和解析 1 8 。 1 2 6 环路滤波 块效应是在视频编码中人眼察觉到的小块边界处的不连续，出现块斑的现象。 块效应的产生是由于视频编码中图像的分块处理造成的 1 9 ，当f j i 视频编码都 采用了基于块的d c t 变换。即将图像分成8 8 或者4 4 像素块，由于不同幽像 基y - i ) s p 的a v s 实时解码器的研究与实现 块做了不同的量化处坪，有时是量化步长不同，有时是舍入的高频分不一样，这 样就造成图像块之间的相关性被破坏，在块的边界处就出现不连续或整块的块斑 现象。块效应也可以由时域的运动估计补偿产生。如果相邻两个块的参考帧不同、 运动矢量或者参考块的差距过大，都会或多或少的引起块效应的出现。 基于块边缘处的滤波方法仍然是最为传统和常用的消除块效应的方法。它又 分为环路滤波 2 3 和后续滤波 2 4 。后滤波在编解码后对帧存储器中用于显示的 帧进行滤波，在视频标准化过程中不予以标准化，对于解码实现有很大的设计自 由度。环路滤波用于编码环内，滤波后的图像在运动补偿中用作后续图像的参考 帧，这就需要确保编码器和解码器执行同样的滤波。环路滤波的优势是：环路滤 波不需要额外的帧存储器，节省了帧存储空间；环路滤波采用滤波后的图像进行 运动补偿预测，可以提供更精确的预测块，减少残差块的信息量，使参考帧及后 续帧的图像质量提高，运算复杂度降低：在编码过程中就进行消除块效应处理 使解码器接收的编码图像有较高的质量，从而解码图像质量提高 2 0 】。因此此环 路滤波可以同时提高图像的主观质量和编码效率。 a v s 标准去块效应环路滤波是基于8 x 8 块边界。h 2 6 4 标准去块效应环路滤波 是基于4 x 4 块边界。这是两个标准环路滤波存在的主要差异，这导致在滤波速度 上两者存在差距；h 2 5 4 需要进行滤波的像素点较多，几乎图像中的每个像素点 都会送入滤波器，有些像素点甚至需要多次送入滤波器，滤波速度较慢：而a v s 的滤波边界较少，而且每次滤波只需要往滤波器中送入6 个像素点，所以并不是 每个像素点都会送入滤波器，滤波速度较h 2 6 4 快。 环路滤波是有条件的，滤波后的输出取决于当前边界的滤波强度和边界两边 像素值的梯度。为了最大限度地去除块效应，针对边界两边块的编码特性，a v s 提出3 种滤波模式：强滤波，标准滤波和不滤波。r v s 用边界滤波强度b s ( b o u n d a r y s t r e n g t h ) 来选择滤波模式。每个8 8 亮度块之间的边界有一个“边界强度”b s ， 色度块的边界强度用对应位置亮度块边界的b s 代替。如果b s 等于o 则不要对边界 滤波，否则根据局部样本值的特性和b s 值对边界滤波。b s 判决规则如图1 - 6 。 视频图像中有存在两种边界，一种是图像中物体本身存在的真实边界；另外 一种是基于块的预测、变换和量化后产生的虚假边界。在去块效应滤波过程中， 不能对图像的所有边界一味的加以平滑，这样会造成图像的失真，使视觉效果变 差。a v s 给出两个边界闭值和b ，用柬区分真实边界和虚假边界，像素点之 间的梯度差高于这两个阙值的边界就被判定为真实边界。如果下式为真，对边界 样本滤波： 魔! = 0 8 & a b s ( p o 一面 盯& f , a b s ( 助一 8 m s a b s ( 吼一曲 卢 卜6 基丁二d s p 的a v s 实时解码器的研究与实现 其中研u 母为块边界闽值，可以根据两个块的班平均值q p a v , 以及滤波偏移参 数a l p h a c o f f s e t 和b e t a o f r s e 卅算查表索引j n d e x a 和i n d e x & 然后按索引查表得 到。 图l 一6a v s 基准档次边界滤波强度判决树 a v s 的去块效应环路滤波是一种自适应环路滤波，其自适应性分别体现在条 带级( s 1 i c e - i ，e v e ) 、边界缴( e d g e l e v e l ) 和像素级( s a m p l el e v e l ) 2 5 三个 层次上。条带级的白适应性主要体现在滤波阏值的推导上。边界级的白适应性主 要体现在b s 的推导上。像素级的自适应性在滤波过程中有明显体现。 a v s 具体的滤波算法将在第3 章中详细介绍。 1 3a v s i - p 2 与其他视频标准比较 以上介绍了a v s i p 2 各关键技术，从中不难看出a 弱视频标准对每项技术都进 行了复杂性与效率的权衡，a v s i p 2 具有3 大特点 3 ：1 性能高，编码效率比 m p e g 一2 高2 3 倍以上，与h ，2 6 4 的编码效率相当，如果以a v s 视频标准进行标清视 频广播应用，可以将m p e p2 标准所需的5 6m b s 传输带宽降低到1 5 3 m b s 。2 算法复杂度低，兼容现有的m p e g - - 2 系统。一般认为h 2 6 4 的编码器大 概b l m p e 6 2 复杂9 倍，而a v s 复杂度大致为m p e g 一2 的6 倍。a v s 解码器的实现复 杂度只有h 2 6 4 的6 0 7 0 4 ，但当编码高清视频信号日j ，a v s 视频获得了与先 进视频编码标a v c h 2 6 4 主要档次( m a i np r o f i l e ) 相当的编码效率。3 专利授权 模式简单，费用明显低于同类标准，m p e g - - 2 许可费为2 0 元，而a v s 初步定为l 元。a v s 通过简洁的一站式许可政策，解决了a v c h 2 6 4 被专利许可问题缠身 难以产业化的弊端。 对视频编码标准进行客观评价的常用方法是峰值信噪比p s n r 。表1 3 2 8 表 和t - 4 2 9 给出了a v s 与m p e g 一2 、h 2 6 4 标准在的客观编码性能。结果为相同码 率条件下峰值信噪比p s n r 的增益。图1 - - 6 到图1 9 黔 给出了p s n r 曲线。 0 基丁d s p 的a v s 实时解码器的研究与实现 表卜3a v s 与m p e g - 2 标准客观编码效率比较 叩p r o g r e s s i v e 序列s di n t e r l a c e 序列 a v s 相比于胛e 争2 p e d e s t r a i n s c a t i o n 2r u s h h m u h o u r s e r i d i n g z y p s n , r 增益( d b ) 2 ，5 31 t 51 3 94