（通信与信息系统专业论文）基于dsp的avs视频编码算法优化与实现.pdf

华北电力大学硕+ 学位论文摘要 摘要 a v s 是我国具备自主知识产权的第二代信源编码标准。它的编码效率及竞争性 与国际标准m p e g 一4 h 2 6 4 相当，广泛应用于广播、通信、电视、娱乐等各个领域。 本文研究了a v s 视频压缩标准，分析了t m s 3 2 0 d m 6 4 3 7 d s p 的结构特点，从内存分配 及c a c h e 优化、算法及代码优化四个方面进行了优化。实现了d s p 的浮点除法运算， 应用了改进的小菱形算法和帧问模式快速选择算法等优化方法，结合e d m a 和软件 流水线技术的使用，使a v s 编码在t m s 3 2 0 d m 6 4 3 7 d s p 上码率大大提高。实验结果表 明，该方法在保证图像失真度和码率性能的前提下，编码速率从o 4 0 f p s 提高到 1 4 3 0 f p s ，视频编码器在性能和效率方面都得到了很大的改进。 关键词：a v s ，d s p ，算法优化，视频编码 a b s t r a c t a v si st h es e c o n dg e n e r a t i o ns o u r c ec o d i n gs t a n d a r dw i t hi n d e p e n d e n ti n t e l l e c t u a l p r o p e r t yo fo u ro w nc o u n t r y h a v i n gt h es a m ec o d i n ge 硒c i e n c ya st h ei n t e m a t i o a n l s t a n d a r do fm p e g 一4 h 2 6 4 ，a v sh a sb e e nw i d e l yu s e di nv a r i o u so ff i e l d ss u c ha s b r o a d c a s t i n g ，c o m m u n i c a t i o n ，t e l e v i s i o na n de n t e r t a i n m e n t t h i sp a p e rs t u d i e sv i d e o c o m p r e s s i o ns t a n d a r d ，a n a l y z e st h es t r u c t u r ec h a r a c t e r i s t i c so ft m s 3 2 0 d m 6 4 3 7 d s p a n dm a k e ss o m ei m p r o v e m e n to nm e m o r yd i s t r i b u t i o n ，c a c h eo p t i m i z a t i o n ，a l g r o r i t h m a n dc o d eo p t i m i z a i o nb a s e do nv i d e oc o m p r e s s i o ns t a n d a r da n dt h es t r u c t u r eo f t m s 3 2 0 d m 6 4 3 7 d s p t h ef l o a t i n g p o i n td i v i s i o no p e r a t i o no fd s ph a sr e a “z e da n dt h e o p t i m i z a t i o nm e t h o do fs m a l ld i a m o n da l g o “t h ma n df a s ti n t e rm o d e id e c i s i o n a r e p r e s e n t e d ，w h i c hh a sg r e a t l yi n c r e a s e dt h ec o d i n gs p e e do nt m s 3 2 0 d m 6 4 3 7 d s pu s i n g a v sw i t ht h eu s eo fe d m aa n ds o f t w a r ep i p e l i n i n g t h ee x p e r i m e n ts h o w st h a tt h e v i d e oe n c o d e rh a sb e e ng r e a t l yi n l p r o v e do np e r f l o m a n c ea n de m c i e n c yi n t h a tt h e c o d i n gr a t eh a sb e e ni n c r e a s e df r o mo 4 0 f p st ol4 3 0 f p sw i t ht h es a m ei m a g ed i s t o r t i o n a n dc o d i n gp e r f b m a n c e j i nx i a o p e n g ( c o m m u n i c a t i o na n di n f o m a t i o ns y s t e m ) d i r e c t e db yp r o f z h a n gs h u e k e yw o r d s ：a v s ，d s p a l o g r i t h mo p t i m i z a t i o n ，v i d e oc o d i n g 华北电力大学硕+ 学位论文摘要 摘要 a v s 是我国具备自主知识产权的第二代信源编码标准。它的编码效率及竞争性 与国际标准m p e g 一4 h 2 6 4 相当，广泛应用于广播、通信、电视、娱乐等各个领域。 本文研究了a v s 视频压缩标准，分析了t m s 3 2 0 d m 6 4 3 7 d s p 的结构特点，从内存分配 及c a c h e 优化、算法及代码优化四个方面进行了优化。实现了d s p 的浮点除法运算， 应用了改进的小菱形算法和帧问模式快速选择算法等优化方法，结合e d m a 和软件 流水线技术的使用，使a v s 编码在t m s 3 2 0 d m 6 4 3 7 d s p 上码率大大提高。实验结果表 明，该方法在保证图像失真度和码率性能的前提下，编码速率从o 4 0 f p s 提高到 1 4 3 0 f p s ，视频编码器在性能和效率方面都得到了很大的改进。 关键词：a v s ，d s p ，算法优化，视频编码 a b s t r a c t a v si st h es e c o n dg e n e r a t i o ns o u r c ec o d i n gs t a n d a r dw i t hi n d e p e n d e n ti n t e l l e c t u a l p r o p e r t yo fo u ro w nc o u n t r y h a v i n gt h es a m ec o d i n ge 佑c i e n c ya st h ei n t e m a t i o a n l s t a n d a r do fm p e g 一4 h 2 6 4 ，a v sh a sb e e nw i d e l yu s e di nv a r i o u so ff i e l d ss u c ha s b r o a d c a s t i n g ，c o m m u n i c a t i o n ，t e l e v i s i o na n de n t e r t a i n m e n t t h i sp a p e rs t u d i e sv i d e o c o m p r e s s i o ns t a n d a r d ，a n a l y z e st h es t r u c t u r ec h a r a c t e r i s t i c so ft m s 3 2 0 d m 6 4 3 7 d s p a n dm a k e ss o m ei m p r o v e m e n to nm e m o r yd i s t r i b u t i o n ，c a c h eo p t i m i z a t i o n ，a l g r o r i t h m a n dc o d eo p t i m i z a i o nb a s e do nv i d e oc o m p r e s s i o ns t a n d a r da n dt h es t n j c t u r eo f t m s 3 2 0 d m 6 4 3 7 d s p t h ef l o a t i n g p o i n td i v i s i o no p e r a t i o no fd s ph a sr e a “z e da n dt h e o p t i m i z a t i o nm e t h o do fs m a l ld i a m o n da l g o “t h ma n df a s ti n t e rm o d e id e c i s i o na r e p r e s e n t e d ，w h i c hh a sg r e a t l yi n c r e a s e dt h ec o d i n gs p e e do nt m s 3 2 0 d m 6 4 3 7 d s pu s i n g a v sw i t ht h eu s eo fe d m aa n ds o f t w a r ep i p e l i n i n g t h ee x p e r i m e n ts h o w st h a tt h e v i d e oe n c o d e rh a sb e e ng r e a t l yi n l p r o v e do np e r f l o n n a n c ea n de m c i e n c yi n t h a tt h e c o d i n gr a t eh a sb e e ni n c r e a s e df r o mo 4 0 f p st ol4 3 0 f p sw i t ht h es a m ei m a g ed i s t o r t i o n a n dc o d i n gp e r f b m a n c e j i nx i a o p e n g ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f z h a n gs h u - e k e yw o r d s ：a v s ，d s p a l o g r i t h mo p t i m i z a t i o n ，v i d e oc o d i n g 声明尸明 本人郑重声明：此处所提交的硕士学位论文基于d s p 的a v s 视频编码算法优化 与实现，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工 作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 学位沦文作者签名： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权 保管、并向有关部门送交字位论文的原件与复印件；学校可以采用影印、缩印或 其它复制手段复制并保存学位论文：学校可允许学位论文被查阅或借阅；学校 可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方式在不 同媒体e 发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 日 导师签名： 华北电力大学硕士学位论文 1 1 课题研究背景及意义 第一章绪论 人类接受的信息大约有7 0 来自视觉，视频是人类最有效和最重要的信息获取 形式。视频信号直观、具体，但原始视频信号的数据量十分庞大，给视频数据的存 贮、传输等都带来了很大不便，严重地制约了视频应用的推广。研究和丌发有效的 视频压缩方法，以压缩的形式存储和传输视频数据是当前科技发展的重要研究方 向。二十世纪九十年代以来，数字视频技术广泛应用于通信、计算机、广播电视等 领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了一 系列视频编码标准的产生。目前己经开发出主要用于低比特率视频电话的h 2 6 x 系 列标准，其中包括h 2 6 l ，h 2 6 2 ，h 2 6 3 与h 2 6 4 a v c 【。】【2 】；i s o i e c 则主要面向消 费类应用，已经针对运动图像压缩定义了m p e g x 系列的标准，主要包括：m p e g 1 ， m p e g 2 与m p e g 4 【3 1 等。 目前国内使用m p e g 2 、m p e g 4 、a v c h 2 6 4 等国际标准需要向国外缴纳 高额的专利费用，所以从经济以上讲丌发自主版权的拥有专利技术的a v s ( a u d i o a n dv i d e oc o d i n gs t a n d a r d ) 数字音视频编解码技术标准意义重大，我国自主丌发的 a v s 标准不仅性能上达到困际标准同等水平，而且实现复杂度低、知识产权政策明 晰。在国内推广应用方面具有良好的基础。 1 2a v s 视频编码与嵌入式系统发展状况 2 0 0 2 年6 月，信息产业部批准成立“数字音视频编解码技术标准：e 作组”( a v s 工作组) ，截止2 0 0 7 年3 月a v s 工作组成员已达l6 2 家，覆盖了国内本领域的主要 产品丌发生产厂家与研究单位，也包括跨国企业与机构，其中中国大学和研究所占 2 5 ，总部在海外的企业和研究机构占3 0 【引。 a v s 标准包括系统、视频、音频、数字版权管理、移动视频等9 个部分。a v s l p 2 信息技术先进音视频编码第2 部分：视频( 以下称为a v s 视频标准) 已经 获得国家标准化管理委员会批准，国家标准号g b t2 0 0 9 0 2 2 0 0 6 ，于2 0 0 6 年3 月l 同丌始实施【5 】。 a v s 标准提出后，国内越来越多的研究人员开始关注该标准，并在将该标准转 化为产品方面进行深入研究。目前，对a v s 研究的主要热点是：算法标准的优化， 主要目标是进一步提高视频压缩的效率和质量，同时降低码率；标准的产业化，主 华北电力火学硕十学位论文 要目标是尽快开发出实用的视频编解码软、硬件，应用于各种与视频相关的领域。 国内目前研发a v s 的芯片厂商还是少数。这些厂商包括芯晟科技、美视、龙晶 微电子、复旦微纳米和联合信源数字音视频技术( 北京) 有限公司等厂商。但网通 提出将在i p t v 业务中采用自主知识产权的音视频编解码a v s ，并已与华为、中兴、 u t 及上海贝尔阿尔卡特等厂商展丌a v s 的相关合作【6 】【7 】。网通采用a v s 标准会推 动a v s 的社会化普及化速度。数字音视频产业将在2 0 l o 年超过通信产业，在2 0 1 5 年成为国民经济第一大产业。a v s 作为数字音视频产业的基础性标准，为我国构建 从技术专利到数字媒体运营与文化产业的产业链条提供机遇。 嵌入式视频系统是当今嵌入式系统发展的一个热门应用。今天，嵌入式视频监 控系统被广泛应用于银行、宾馆、商场、民航等领域的安全监控报警等。在这些领 域，数字化视频监控系统的前景十分广阔。同时视频系统也可以用于公司的市场评 估、市场调研等经济高层应用领域。随着银行等领域对监控质量、网络功能等高级 功能的要求同益迫切，基于嵌入式架构的数字化视频监控系统地位越来越重要。相 对于传统的模拟视频监控系统而言，嵌入式数字视频系统在图像质量方面有了很大 的提高。新一代的d s p 产品的出现为大批量图像数据的处理奠定了坚实的基础。 a v s 作为我国具有自主知识产权的视频编码标准，在d s p 上的实时实现嵌入式 片上系统对产业化应用具有重要意义。由于a v s 标准提出的时间短，其d s p 实现 的实例尚无报导，目前处于研发和探索过程。本课题选用t i 公司最新推出的数字媒 体处理器t m s 3 2 0 c 6 0 0 0 作为a v s 编码的实现平台，为a v s 视频编解码方案提供 了很好的硬件基础。目前，在该硬件平台上实现a v s 是一个新颖的具有挑战性的研 究课题。 嵌入式视频系统在与i n t e r n e t 技术结合之后，数字化视频系统得到了更好的发 展。视频数据在网络上的传播为实现高清晰的远程视频监控创造了条件。大容量磁 盘存储器的发展为大容量视频数据存储提供了保障，而h 2 6 4 、a v s 等优秀图像算 法的出现解决了网络带宽不足和误码率高等问题。因此嵌入式视频系统发展已经成 为当今社会的主流趋势。 由于本文所实现的a v s 视频编码算法是多媒体编解码系统的一部分，所以从系 统角度出发，本文使用d s p 芯片作为多媒体编解码系统的丌发实现平台。并最终选 择了t i 公司的d m 6 4 3 7 作为硬件实现平台。 1 3 本文研究的主要内容 本论文主要完成a v s 视频编码参考程序( 用c c + + 语言实现) 在p c 机上运行和 调试。分析代码比较耗时部分，针对代码算法和结构特点具体进行优化，得到合适 的较优化代码，并且将a v s 视频编码参考程序移植到d s p 上，符合t i d s p 编程规范， 2厶 华北电力大学硕士学位论文 重点是对语法及数据结构修改，使得代码适合d s p 结构。 本论文的主要研究内容： ( 1 ) 分析a v s 视频编码标准原理，研究a v s 视频压缩编码的关键技术，对 a v s 与h 2 6 4 标准做出详细对比。 ( 2 ) 研究t m s 3 2 0 d m 6 4 3 7 d s p 的结构特点。针对t m s 3 2 0 d m 6 4 3 7 d s p ：卷片硬 件特点和e v m 存储器系统，设计e d m a 介绍以及软件丌发流程。 ( 3 ) 研究a v s 算法在t m s d m 6 4 3 7 d s p 的移植方法，通过在c c s t u d i o 上建立 算法运行的软件仿真环境以及构建工程，生成可执行文件或库文件，完成移植工作。 ( 4 ) 分析d s p 本身的特点，研究编译器级优化、软件流水线技术使用、e d m a 和c a c h e 的使用等优化方法，以c a r p h o n e y u v 作为测试序列，在码流正确的前提下 提高码率，得到实验结果，根据结果得出优化结论。 3 华北电力人学硕士学位论文 第二章a v s 视频压缩编码标准原理 2 1 视频压缩编码标准概述 多媒体信息主要包括文字、声音、图像、图形和视频等内容，其中视频又是多 媒体信息中最重要的组成部分，但是视频的信息容量巨大。对于高清晰度数字电视 ( i t u r7 0 9 ) ，当帧频为2 5 场秒，每采样点8 比特进行量化，色差格式为4 ：2 ：2 时， 每秒数据量高达8 8 4 7 m b i t s ，而地面广播系统的传输带宽仅有6 m 到8 m 。因此无 论是存储还是传输，数字视频都必须经过极大的压缩才能具有实际意义。 视频编码的目的是实现对视频的压缩，其核心思想是去相关。通过减少视频序 列问的相关性，降低视频内容中的冗余，用较少的比特数来表示视频内容，从而实 现对视频的压缩。视频数据中包含着人量的冗余信息，上要包括空域冗余、时域冗 余、统计冗余和视觉冗余。依据消除这些冗余的不同，视频压缩编码的方法【l0 】基本 上分为四类： ( 1 ) 空间冗余度的压缩。一幅视频图像相邻各点的取值往往相近或相同，具 有空间相关性，这就是空间冗余度。从频域来看，图像信号的能量主要集中在低频 附近，高频信号的能量随频率的增加而迅速衰减。通过频域变换可以将原图像信号 用直流分量及少数低频交流分量的系数来表示，这就是变换编码中f 交余弦变换 d c t 的方法。 ( 2 ) 时间冗余度的压缩。时域冗余是指视频图像序列沿着时阳j 轴方向上的冗 余，它是由同一物体在相邻视频图像问的移动而产生的。视频序列在时域存在极强 的相关性，凶此，不传送像素点本身的值而传送其与前一帧对应像素点的差值，也 能有效地压缩码率。帧间编码f 是利用了时| 、日j 上的冗余性。 ( 3 ) 统计冗余的压缩。主要是利用视频数据中存在的信息熵的进行编码，常 用方法有霍夫曼编码、游程编码和算术编码。 ( 4 ) 视觉冗余的压缩。由于人眼视觉的非均匀性，使得人眼视觉对某些空间 频率感觉迟钝。人眼对于图像的视觉特性包括：对亮度信号比对色度信号敏感，对 低频信号比对高频信号敏感，对静止图像比对运动图像敏感，以及对图像水平线条 和垂直线条比对斜线敏感。因此，在视频压缩中可以利用视觉的特点，减小色度信 号，高频信号和一些运动数据的编码数据量。 4 华j 匕电力人学硕士学位论文 2 2a v s 视频压缩编码的关键技术 a v s p 2 视频部分采用了一系列技术来达到高效率的视频编码，包括帧内预测、 帧问预测、变换、量化和熵编码等。帧问预测使用基于块的运动矢量来消除图像问 的时间冗余；帧内预测使用空问预测模式来消除图像内的冗余。再通过对预测残差 进行变换和量化消除图像内的空间和视觉冗余。最后，运动矢量、预测模式、量化 参数和变换系数用熵编码进行压缩，消除统计冗余。 重新编写的a v s 算法c 语言代码完全支持a v s 的新特性。算法共分为五个模块：帧内 编码模块、帧间编码模块、变换量化模块、熵编码模块和去块滤波模块。算法结构。 2 2 1 帧内预测 a v s 视频标准采用空域内的多方向帧内预测技术。基于空域多方向的帧内预测 可以提高预测精度，从而提高编码效率。a v s 视频标准的帧内预测基于8 x 8 块人小， 亮度分量的5 种预测模式分别对应五个方向的预测：水平、垂直、均值、左下对角 和右下对角，色度分量4 种预测模式对应均值、水平、垂直和平面。a v s 视频的帧 内预测还对相邻像素进行了滤波处理来去除噪声，提高编码精度。 在a v s 标准中，亮度块和色度块的帧内预测块p 都是基于8 8 子块，亮度块有 5 种可选预测模式，色度块有4 种预测模式，二者预测模式类似。编码器通常选择 使p 块和编码块之间差异最小的预测模式。 对一个宏块进行帧内编码的主要过程就是对宏块亮度的4 个8 8 子块依次进行 最优亮度预测模式选择。选择的方法是，首先根据当前子块的周围子块存在情况得 到当前子块可能存在的预测模式，然后逐一计算这些可能预测模式下的预测值，进 而计算出预测值和当日，j 值的残差块，最后利用经h a d m a r d 变换后的绝埘误差和 ( s a t d ) 最小准则得到最佳的预测模式。此处，选择s a t d 作为预测准则是因为帧 内预测时需要对所有模式进行检测，绝对误差和( s a d ) 仅反映残差的时域差异， 即p s n r 值的影响，而h a d m a r d 变换可以看作简单的时频变换，其值在一定程度上 可以反映生成码流的大小，因此将其作为模式选择的依据可以同时兼顾预测模式对 p s n r 和码流大小的影响。色度块的处理与亮度块类似，唯一的区别就是色度块比 亮度块少左下对角和右下对角两种预测模式。 实现帧内编码模块的主要函数包括：a v sm o d ed e c i s i o ni n t r ay ( a v st 幸t ) 和 a v sm o d ed e c i s i o ni n t r au v ( a v st 木t ) 对亮度和色度进行帧内模式预测，然后调用 5 华北电力人学硕十学位论文 函数a v s e n c o d e _ i n t r a _ y ( a v s _ t 拳t ，u i n 缁一t + p r e d ，i n t 3 2 _ ti ) 和a v s e n c o d t i n t r a - u v ( a v s j 木t ，u i n 缁_ t 宰p r e d ，i n t 3 2 ji ) 进行帧内编码。 2 2 2 帧间预测 帧问预测采用多参考帧预测【搭】技术，使当i j 块能够从前面几帧图像中寻找更好 的匹配，因此能够提高编码效率。a v s 视频标准限定最多采用两个参考帧，既兼顾 了搜索匹配的性能，又大大降低了编码复杂度。 对于运动图像编码，采用变块大小运动补偿【l6 】可以大大提高运动预测精确度。 a v s p 2 中采用了1 6 8 、8 1 6 、8 8 分割子块，在高分辨率序列编码复杂度和精 度方面进行了折衷。另外，增强运动矢量的精度也是提高预测准确度的重要手段之 一，而插值滤波器的选择是影响高精度运动补偿性能的一个关键。根据高清视频的 特性，a v s 视频标准在进行运动矢量搜索时采用了l 4 像素精度插值，对l 2 和l 4 像素位置插值均采用4 拍滤波器，其效果与6 拍滤波器相同，优点是大大降低了访 问存取带宽，足一个对硬件实现非常有价值的特性。 帧间编码模块主要是利用已编码视频场帧通过基于块的运动补偿进行编码。这 种运动补偿方式是利用运动图像时问上的相关性进行压缩编码的，用参考帧图像对 当前图像的每个宏块进行运动估计，找到匹配误差最小的对应块，并计算出运动矢 量和误差图像。这样误差图像的值一般会很小，可以利用较少的比特数对其进行编 码，而运功矢量占用的比特数非常少，因而采用运动估计方式能够大大提高压缩比。 在a v s 中定义了两种采用帧间预测编码的帧：前向预测( p 帧) 和双向预测( b 帧) ，由于b 帧需要使用前后双向预测，考虑到向d s p 移植的空间分配和编码速率 问题，本设计中未使用b 帧，但为b 帧保留了结构体定义和函数接口，以便以后进 一步扩展。帧问编码步骤如下：利用前一帧或两帧重构图像对当前图像的每一个宏 块进行预测，在搜索窗中利用设计好的搜索算法进行最佳匹配块搜索。运动搜索算 法是一个层层递进的过程，首先对1 6 1 6 宏块进行运动估计，接着再按1 6 8 和8 1 6 分割以及8 8 分割进行运动估计，通过计算和比较匹配代价找到最佳模式和最优的 运动矢量。找到最佳匹配块后，计算出预测宏块与当前宏块的残差。需要注意的是， 在进行预测的时候使用的并非之前帧的原始图像，而是其编码后重构得到的重构图 像。这是因为在解码的时候，解码器不可能得到任何一帧原始图像，只能利用编码 后的图像进行重构，再利用前一帧重构图像来预测当前图像，因此为了保持编码器 和解码器两边的一致，编码器在预测当的图像的时候也利用了前一帧重建图像。 6 华北电力大学硕士学位论文 帧问编码模块划可以分为模式确定和预测编码两部分。考虑到预测模式对码流 大小和编码效率的重要影响，课题组采用了跳过模式提前中止策略，使帧率提高约 2 0 ，同时减小了码流。运动搜索是整个代码中最耗时的部分，占总体运算量的5 0 以上，因此对运动搜索算法的优化非常重要。用改进的菱形搜索法【9 】代替全搜索， 简化了搜索过程，大大减小了块匹配的运算量，与全搜索方式相比提高搜索速度4 0 倍，而搜索效果只比全搜索略有降低。在做运动估计时，采用了s a d 最小准则和 s a t d 最小准则相结合的最佳匹配策略，整像素点搜索使用s a d 最小准则，而分像 素点使用s a t d 最小准则。一般而言，离最优匹配点越远，匹配误差值s a d 越大， 这就是有名的单一平面假设，现有的运动估计快速算法大都利用该特性。但是，经 哈达玛变换后的s a t d 值并不满足该条件，如果在整像素中运用s a t d 搜索，容易 陷入局部最优点。而在亚像素中，待搜索点不多，各点处的s a d 差异相对不大，可 以用s a t d 选择码流较少的匹配位置。 代码中实现亮度帧问预测的函数是a v se n c o d ei n t e ry ( a v st t ) ，它主要调用 的子函数是；模式判别函数a v sm o d ed e c i s i o ni n t e ry ( a v st 宰t ，a v ss e a r c ht 木s ) ， 运动矢量搜索函数a v ss e a r c h ( a v st 串t ，a v ss e a r c hc o n t e x tt 幸c o n t e x t ) 和分像素差 值函数a v si n t e r p 0 1 a t e ( a v st 奉 t ) 。实现色度帧间预测的函数是 a v s e n c o d e i n t e r _ - u v ( a v s t 枣t ) 。 2 2 3b 帧宏块编码模式 a v s 视频标准对双向预测采用了空域时域相结合的直接模式17 1 ，并在此基础 上使用了运动矢量舍入控制技术。a v s 标准还提出了对称模式【8 1 ，即只编码前向运 动矢量，后向运动矢量通过日，j 向运动矢量导出，从而实现双向预测。 2 2 4 整数变换与量化 由于a v s 中最小块预测是基于8 8 块大小的，因此采用了8 8 整数d c t 变换 矩阵，整数变换具有复杂度低、完全匹配等优点。 量化是编码过程中唯一带来损失的模块。与以前的量化方法相比，a v s 标准中 的量化与变换归一化相结合，同时可以通过乘法和移位来实现，对于量化步长的设 计，量化参数每增加8 ，相应的量化步长扩大l 倍。由于a v s 标准中变换矩阵每行 的模比较接近，变换矩阵的归一化可以在编码端完成，从而解码端反量化表不再与 变换系数位置相关。 7 华j 匕电力人学硕士学位论文 该模块包括整数8 8 变换、量化和扫描、反量化和反变换。整个过程以帧内或 帧问预测得到的残差块作为输入，通过整数变换、量化和z i a z i g 扫描，得到二维幅 值和游程数组并提供给后续熵编码模块；同时，对量化后的系数进行反量化和反变 换，利用其结果和先前计算的残差信号重建原始图像，作为帧i 日j 编码时的参考图像 使用。该模块共包含五个实现函数：前向8 8 整数变换f d c t 8 x 8 ( i n t l 6t 奉d a t a ) 、量化 q u a n t 8 x 8 ( i n t l 6 _ t d a t a ，c o n s ti n t 3 2 tq p ，i n t 3 2 _ ti s j n t r a ) 、反变换i d c t 8 x 8 ( i n t l 6 - t 事 d a t a ) 、反量化i q u a n t 8 x 8 ( i n t l 6 一t 宰d a t a ，c o n s ti n t 3 2 _ tq p ) 和扫描s c a n z i g _ 8 x 8 ( i n t l 6 一t 木 l e v e l ，i n t 1 6 一t 母r u n ，i n t 16 - t 牛d a t a ) 。 a v s 的8 x 8 整数变换采用了一维8 点蝶形快速算法，量化主要通过尺度变换结 合查表操作实现。该模块的算法步骤如下： 1 编码过程中，对输入残差矩阵x 进行如下二维正变换： y = ( 砑汀7 ) 5 ( 2 1 ) 其中，r 为变换矩阵，y 为输出矩阵。 将残差矩阵扩大3 2 倍，残差数据比较小，扩大3 2 倍是为了提高其量化精度。 2 将正变换输出系数矩阵先与尺度缩放矩阵玩的元素对应相乘，结果右移1 9 位，再通过量化参数妒查找量化表得到q _ 忍6 昆 q p 】，与尺度缩放后的结果相乘， 再右移l5 位，保证量化输出结果在1 6 位以内。 硇f ) = ( i 巧，_ ，) i 鲫( ，) + ( 1 l9 】木q 一砌6 h q 同+ 力 1 5 ( 2 - 2 ) 式( 2 2 ) 中，输出矩阵为坦，每个元素阳的符号与玮相同；e 8 是尺度 缩放的调整矩阵，在程序中已经设计成了查找表；f 足改善图像视觉效果的偏移量， 当i 帧时，f = ( 1 1 5 ) l o 3 l ，当p 帧时，f _ ( 1 鼬纠q 尸】 ( 2 - 3 ) 4 反变换可以表示为： x = r r ( 】，r ) 3 】) 7 ( 2 4 ) 为了节省编码时间和码流，在该模块中我们对量化后的系数进行了门限处理。 8 华北电力人学硕士学位论文 因为在8 8 块中，如果只有一个非零系数那么编码的总开销一般会达到l o 1 2 b i t ， 从率失真的角度来考虑的话为了提高失真度而付出的码率代价太大，而且还会增加 对该系数编码的时间。a v s 中编码系数为二维( r u n 和l e v e l ) ，系数丌销与这两个 值都有关系，本算法中对8 8 块门限设定为3 ，这表示在一个8 8 块中：( 1 ) 如果 只有一个系数，且( r u n ，l e v e l ) = ( 0 ，1 ) ，则该系数被丢弃。( 2 ) 如果有两个系数， ( r u n ，l e v e l ) = ( 1 ，1 ) 或( 4 ，1 ) ，则系数也被丢弃。同时，设定帧问编码的宏块系数门限为 5 。整个宏块的总系数丌销如果小于或等于5 ，则该宏块所有的非零系数都被丢弃， 重构块等于预测块。 2 2 5 熵编码 a v s 熵编码采用自适应变长编码技术，所有的语法元素和残差数据都是以指数 哥伦布码的形式映射成二进制比特流，可以很好的发挥指数哥伦伟码硬件复杂度 低，可由闭合公式直接解析的优点。对预测残差的块变换系数，经扫描形成( i e v e l 、 1 1 l n ) 对串，进行二维联合编码并可以根据当前l e v e l 、m n 的不同概率分布趋势， 自适应改变指数哥伦布码的阶数【8 】。 a v s 定义了4 种由指数哥伦布码映射到码流的方式。u e ( v ) 为无符号整数语法元 素，宏块类型m b _ t y p e 、预测模式p r e d _ m o d e 以及一些运行标志等变量属于此类语 法元素，其语法元素直接映射为要编码的值；s e ( v ) 是有符号整数语法元素，包括运 动矢量、量化参数增量等；m e ( v ) 包括了4 ：2 ：o 和4 ：2 ：2 两种y u v 图像格式下的宏块 c b p 标志c b p 和c b p4 2 2 对应的宏块编码模式，代码中采用了直接查表方式获得要 编码的值。u e ( v ) ，s e ( v ) 和m e ( v ) 描述的语法元素均使用o 阶指数哥伦布码编码，在 本代码中的实现函数是e gw r i t e ( i n t 3 2c o d e n u m ，b i t s t r e a m i t s t r e a m ) ，其中第一 个参数是待编码的值：第二个参数足编码比特流。c e ( v ) 是对预测残差的块变换系数 专门设定的映射规则，其描述的变长编码语法元素采用0 阶、l 阶、2 阶或3 阶指 数哥伦布码，实现函数定义为b l o c kl u m ai n t r a2 d v l c ( a v ss y n t a x e l e m e n t 宰s e ， i n t 3 2 j 木l e v e l ，i n 缁一t 木r u n ) ，b l o c k _ l u m a - i n t e r _ 2 d v l c ( a v s s y n t a x e l e m e n t s e ，i n t 3 2 一t l e v e l ，i n t 8 _ t 宰n l n ) ，和b l o c k c h r o m a _ 2 d v l c ( a v s s y n t a x e l e m e n t 幸s e ，i n t 3 2 j 幸l e v e l ， i n t 8 j 木m n ) ，入口参数分别是保存编码系数和元素值的全局变量、经扫描得到的残 差块非零系数的幅值( 1 e v e l ) 和游程( r u n ) 。l e v e l 和r u n 不是相互独立的事件，从扫描 得到的数据能够观察到r u n 随着l e v e l 的逐渐减小而逐渐增大，因此二者之间存在着 9 华北电力人学硕七学位论文 很强的相关性。在a v s 中利用了l e v e l 和r u n 的联合概率分布特性，自适应改变指 数哥伦布码的阶数进行熵编码。a v s 的二维联合熵编码流程。 根据残差块属性( 帧内还是帧问，亮度还是色度) 确定调用的三维变长码表 2 d v l c，分别 对应a v s2 d v l ci n t r a 、a v s2 d v l ci n t e r或 a v s 一2 d v l c c h r o m a ，每个表的三维坐标是【t a b l e n u m 】【1 1 j n 【a b s ( 1 e v e l ) 】。对于亮 度块，t a b l e n u m 从o 到6 ，即共有七张子表，对于色度块共有5 张子表；坐标中r u n 的范围是0 2 5 ，l e v e l 绝对值的范围0 2 6 ，即每个子表都是2 6 行、2 7 列。然后， 设定编码中切换v l c 表所需用到的l e v e l 跳转门限表i n c v l ci n t r a 、i n c v l ci n t e r 或 i n c v l c _ c h r o m a 。 统计要编码的非零系数的个数并初始调用变长编码的o 子表；然后判断是否已 是编码完所有系数，如果已全部编完就将o 赋给r u n 和l e v e l ，否则逆序读入r u n 和 l e v e l 的值，当l e v e l 的绝对值小于2 7 且r u n 小于2 6 时，作为正常情况进行编码， 否则作为逃逸事件处理。正常情况编码时如果s y t n b o l 2 d 为负值也作为逃逸事件处 理。正常情况和逃逸事件编码处理流程分别见图3 4 和图3 5 。编码时的哥伦稚码阶 数和最大编码层数通过查v l cg o l o m bo r d e r 表获得，帧内、帧问和色度对应的阶 数k 不同。逃逸情况下，帧内编码块亮度系数的e s c a p el e v e ld i f f 采用l 阶指数哥 伦布码；帧问编码块亮度系数和色度系数的e s c a p el e v e ld i f j f 采用0 阶指数哥伦布 码。m a x r u n 和r e f a b s l e v e l 都是提前建立的查找表，表中的值依据帧内、帧间和 色度而不同。 2 2 6 环路滤波 a v s 视频解码的去块滤波算法是一种基于块边缘的环路滤波算法。基于块的残 差系数反变换、反量化，量化过程相对料i 糙，反量化恢复的变换系数必定带来误差， 另一方面，运动补偿块可能来自不同帧位置的内插样本块，将导致边界不连续，因 此，需采用环路滤波束消除块预测误差造成的失真。a v s 提出了3 种滤波模式：强 滤波，标准滤波和不滤波。为了得到正确的滤波结果，首先必须选取币确的滤波模 式，标准中用边界滤波强度( b o u n d a r ) rs t r e n g t h ) 来选取滤波模式。对亮度块之间 的每一个块边界都定义了一个b s ，色度块边界的b s 由相应位置的亮度块边界b s 代替。表3 4 给出了a v s 标准的边界强度判决表。 l o 华北电力人学硕士学位论文 2 3a v s 视频码流结构 在进行a v s 编码时，视频序列是比特流的最高层语法结构。视频序列由序列头 丌始，后面跟着一个或多个编码图像，每帧图像之前应有图像头。序列头可在比特 流中重复出现，称为重复序列头。使用重复序列头的主要目的是支持对视频序列的 随机访问，序列头后的第一个编码图像是i 帧。一幅图像是一帧，其编码数据由图 像起始码丌始，到序列起始码、序列结束码或下一个图像起始码结束。a v s 视频输 入的每一帧图像都被分为若干个条带( s l i c e ) ，条带又由若干宏块行构成，因此在条 带头后跟着若干个宏块数据。宏块是视频编码过程的基本处理单元。每一个宏块由 4 个8 8 的亮度块y 以及一个c b 块和一个c r 块组成。 。 一一i 一 序列头( s e q d r ) i图像伊5 流数据( s t r c 锄)+ j 弘列纠i 水( 辩q _ e n d ) ! 扩腱用，、数据一竺竺竺s，帧头：扩燧攀频数竺! 图备数据t p t d a t i 扩腱用，、数据说频编辑和5i 帧头。扩燧视频数据 图像数据i p i cd a t a ) p b 帧头 。条带头( s i i c e - h d r ) ；宏块数描( m b - d a t a ) ! 一一，l 一一一 ， 一+ ， 宏块头( m b h d r )块数据b l o c k d 乱a ) 图2 一la v s 的视频码流结构图 a v s 的视频码流结构【2 2 】如图l l 所示。图中，序列头、扩展用户数据、帧头数 据、条带头数据及序列结束码均通过不同的标识码加以区分。标识码共3 2 b i t s ，由 前缀“o x o o o o o l ”和8 b i t s 的起始码类型标识构成，其中，序列头、序列结束、用户 数据、i 帧头、视频扩展数据、p b 帧头视频编辑数据的起始码类型标识分别对应： b 0 、b l 、b 2 、b 3 、b 5 、b 6 和b 7 ；a v s 标准中条带由同一行或多行的宏块构成， 其起始码类型标识由o o 到a f ；在本设计中，一帧图像划分为一个条带，