（信号与信息处理专业论文）基于dm6446的avs实时标清编码技术研究.pdf

上海大学硕士学位论文 基于d m 6 4 4 6 的a v s ! 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：物邈：区日期：乞竺丝：丝 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 上海大学工学硕士学位论文 基于d m 6 4 4 6 的a v s 实时标清编码 技术研究 姓名：杨涵悦 导师：张兆杨 学科专业：信号与信息处理 上海大学通信与信息工程学院 2 0 0 9 年12 月 上海大学硕士学位论文 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o r t h e d e g r e eo fm a s t e r i ne n g i n e e r i n g r e s e a r c ho f 斟sr e a lt i m ev i d e o e n c o d e rb a s e do nd m 6 4 4 6 m d c a n d i d a t e ：y a n gh a n y u e s u p e r v i s o r ：z h a n gz h a oy a n g m a j o r ：s i g n a la n di n f o r m a t i o np r o c e s s i n g s c h o o lo fco m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g ， s h a n g h a iu n i v e r s i t y d e c e m b e r20 0 9 4 论文 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 摘要 a v s ( 音视频编码标准) 是中国制订的新一代数字音视频编解码标准， 它的高编码性能引起了人们的广泛关注。该标准在技术和性能上都处于国 际领先水平。t i 的d a v i n c i 技术是目前最先进的d s p 技术，提供了完备的 片上系统，它包括具有业界领先的可编程d s p 核，a r m 处理器以及优化的 音视频协处理器。t m s 3 2 0 d m 6 4 4 6 是d a v i n c i 技术下的新一代芯片，其a r m 核和d s p 核的主频分别达到2 9 7 m h z 和6 0 0 m h z ，是实现a v s 编码算法的 理想平台。 本文首先深入研究和分析了a v s 编码标准及其参考代码，参考x 2 6 4 等先进的视频编码器软件架构将a v s 参考代码改写，并对分像素运动估计 算法和量化提出了改进的算法。在生成码流正确和图像主观效果良好的前 提下使修改后的代码编码速度比参考代码提高了5 倍以上。 然后本文研究了t m s 3 2 0 d m 6 4 4 6 芯片的结构和功能，介绍了d a v i n c i 软件的开发环境的安装和使用方法。从而在d m 6 4 4 6 平台上实现了a v s 编 码算法的移植。并在编译器、c a c h e 结构和线性汇编三个方面对a v s 编码 算法进行了优化。 最终，本文在d m 6 4 4 6 平台上实现了标清格式的a v s 实时编码算法。 关键词：a v s ，d m 6 4 4 6 ，运动估计，优化 5 上海大学硕士学位论文基于d m 6 4 4 6 的a v s 实时标清编码技术研究 a bs t r a c t a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) i sad i g i t a la u d i o - - v i d e oc o d i n g d e c o d i n g s t a n d a r dp r o p o s e db yc h i n a i th a sd r a w nal o to fa t t e n t i o nb e c a u s eo fi t se x c e l l e n t c o d i n gp e r f o r m a n c e t h et e c h n o l o g ya n dp e r f o r m a n c eo f t h es t a n d a r da r eb o t ha tt h e i n t e r n a t i o n a lm v a n c e dl e v e l t r sd a v i n c it e c h n o l o g yi st h em o s ta d v a n c e dd s p t e c h n o l o g yt op r o v i d eac o m p l e t eo nc h i ps y s t e m , w h i c hi n c l u d e si n d u s t r y - l e a d i n g p r o g r a m m a b l ed s pc o r e , a r mp r o c e s s o r , a n do p t i m i z e d a u d i oa n dv i d e o c o - p r o c e s s o r d a v i n c it e c h n o l o g yt m s 3 2 0 d m 6 4 4 6i san e wg e n e r a t i o nc h i po f d a v i n e it e c h n o l o g y , i t sa r mc o r ea n dd s pc o r ec l o c k e da t2 9 7 m h z ，a n d6 0 0 m h z , w h i c hi sa l li d e a lp l a t f o r mf o ra v sc o d i n ga l g o r i t h m i nt h i sp a p e r , t h ea v sc o d i n gs t a n d a r da n di t sr e f e r e n c ec o d eh a v e b e e ns t u d i e d a n da n a l y i e di n d e p t ha n dt h ea v sr e f e r e n c ec o d eh a sb e e nr e w i r t e dr e f e rt ox 2 6 4 a n do t h e rm v a n c e dv i d e oe n c o d e r i m p r o v e da l g o r i t h m so fs u b - p i x e lm o t i o n e s t i m a t i o na l g o r i t h ma n dq u a n t i f yh a v eb e e np r o p o s e d t h ec o d i n ge f f i c i e n c yo fn e w a v sc o d ei sf i v et i m e st h a nt h a to fa v sr e f e r e n c ec o d e ，a n dt h eg e n e r a t e db i ts t r e a m i sc o r r e c ta n dt h ec o d i n gq u a l i t yi sg o o d t h e nt h i sp a p e rs t u d i e st h es t r u c t u r ea n df u n c t i o nt m s 3 2 0 d m 6 4 4 6c h i p ， i n t r o d u c e dt h ed a v i n c is o f t w a r ed e v e l o p m e n te n v i r o n m e n ta n di n s t a l l a t i o n t h u st h e a v sc o d i n ga l g o r i t h mh a sb e e nt r a n s p l a n t do nd m 6 4 4 6 p l a t f o r m a n dt h ea l g o r i t h m h a sb e e no p t i m i z e da tc o m p i l e r , c a c h es t r u c t u r ea n dl i n e a ra s s e m b l yl e v e l l a s t l y , ar e a l t i m ea v se n c o d e r ( t h ep i c t u r ef o r m a ti sd 1 ) b a s e d0 1 1d m 6 4 4 6i s a c c o m p l i s h e d k e y w o r d s ：a v s ，d m 6 4 4 6 ，m o t i o ne s t i m a t i o n ，o p t i m i z e 6 上海大学硕士学位论文基于d m 6 4 4 6 的a v s 实时标清编码技术研究 目录 摘要5 a b s t r a c t 6 第一章绪论1o 1 1课题的研究背景及意义1 0 1 2课题研究内容1 2 1 3论文的主要结构1 2 第二章a v s 视频编码标准研究13 2 1a v s 视频标准相关技术与工作原理1 3 2 2a v s 主要技术介绍1 4 2 2 1帧内预测1 4 2 2 2帧间预测1 5 2 2 3变换和量化1 6 2 2 4 熵编码1 6 2 2 5环路滤波1 6 2 3a v s 与i l l 2 6 4 编码算法的比较1 7 2 4本章小节1 9 第三章a v s 编码标准的c 代码实现和优化。2 0 3 1p , m 5 2 j 参考代码分析2 0 3 2a v s 分像素运动估计算法优化2 1 3 2 1a v s 分像素运动搜索2 l 3 2 2a v s 分像素亮度内插2 2 3 2 3分像素搜索自适应提前终止算法2 4 3 2 4改进的分像素亮度内插方法2 5 3 3改进的a v s 量化方法2 7 3 3 1a v s 量化的实现2 7 3 3 2 改进的量化方法2 8 3 3 3数据误差验证3 0 3 4实验结果3 l 7 3 5本章小结3 3 第四章d a v i n c i 技术及其开发平台3 4 4 1d a v i n c i 技术介绍3 4 4 1 1达芬奇处理器3 5 4 1 2达芬奇软件3 5 4 1 3达芬奇开发工具3 5 4 1 4达芬奇技术支持系统3 6 4 2d m 6 4 4 6 芯片介绍3 6 4 2 1d m 6 4 4 6 功能框架3 6 4 2 2d m 6 4 4 6 的a r m 子系统3 7 4 2 3d m 6 4 4 6 中的d s p 核3 8 4 2 4a r m 与d s p 通信3 9 4 3d m 6 4 4 6 开发板介绍4 0 4 4本章小结4 2 第五章a v s 编码算法在d m 6 4 4 6 平台上的实现4 3 5 1d a v i n c i 软件开发平台4 3 5 1 1d a v i n c i 软件架构4 3 5 1 2d a v i n c i 内核简介4 4 5 1 3 e x p r e s sd s p 算法标准4 4 5 1 4c o d e ce n g i n e 简介4 5 5 2 d a v i n c i 软件开发环境搭建4 7 5 2 1l i n u x 操作系统安装4 7 5 2 2d a v i n c i 软件安装4 8 5 2 3d a v i n c i 开发环境4 9 5 3a v s 编码算法的移植5 0 5 3 1c o d e ce n g i n e 应用程序组成5 0 5 3 2d s p 端c o d e c 实现5 2 8 上海大学硕士学位论文 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 5 3 3c o d e cs e r v e r 实现5 6 5 3 4a 删端h p p 实现5 7 5 4a v s 编码算法的优化5 8 5 4 1d m 6 4 4 6 优化方法5 8 5 4 2编译器优化5 8 5 4 3c a c h e 结构优化5 9 5 4 4线性汇编优化6 0 5 5实验结果6 3 5 5 1编码速度6 3 5 5 2主观效果6 3 5 6本章小结6 4 第六章总结和展望6 6 参考文献6 8 作者在攻读硕士学位期间所发表的论文7 2 致 谢7 3 9 上海大学硕士学位论文基于d m 6 4 4 6 的a v s 实时标清编码技术研究 第一章绪论 1 1 课题的研究背景及意义 随着数字视频处理技术的快速发展，各种数字视频应用已经广泛的深入到 我们的日常生活中，例如数字电视、可视电话、视频会议和网络多媒体。而第 三代移动通信( 3 g ) 更是把无线视频传输作为其一大热点。快速发展的这些视 频应用无疑推动了数字视频编码标准的制定。从二十世纪九十年代以来，r r u t 和i s o 制订了一系列视频压缩编码标准，极大地推动了视频通信的发展。通常， i t u - t 制订的标准都是为了满足实时视频通信应用，例如h 2 6 1r 1 1 和h 2 6 3 1 2 1 ( 后 来发展为h 2 6 3 + 3 川和h 2 6 3 + + 【5 】) ；而i s o 的m p e g 标准大多为了满足视频存 储、视频广播或传输流视频而制定，包括m p e g 1 t 6 1 、m p e g 2 1 7 , 8 1 及m p e g 4 1 9 , 1 0 】 等。 i t u t 的h 2 6 4 1 1l 】标准的标准化工作由i s o i e c 下属的运动图像专家组 m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) 和i t u 下属的视频编码专家组 v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 共同成立的联合视频小组j v t ( j o i n tv i d e o t e a m ) 负责完成。由于h 2 6 4 采用了许多不同于以往标准中使用的先进技术，所 以相对于以往的标准，在相同的码率下用h 2 6 4 标准编码能够获得更高的主客 观质量。但该标准也具有较高的复杂度。而h 2 6 4 的收费是从几个不同的方面 同时收费： 1 对于每个终端收o 2 5 美元个。 2 对于运营商封顶5 0 0 万美元年。 3 互联网播出2 0 1 0 年后收费。 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 是我国具备自主知识产权的第二代信源 编码标准，具有先进、自主、开放的特剧1 2 , 1 4 。并且，在a v s 工作组第2 6 次 会议中首次完成了针对视频监控的视频编码标准，这是全球范围内首个针对视 频监控需求制定的视频编码标准。为了更进一步推进a v s 的产业化，工作组决 1 0 上海大学硕士学位论文 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 定将现行a v s 视频国家标准的编码软件开放源代码，加上早就开放的解码软件， 任何人或企业都可以获得，开放经过优化的编码软件在国际音视频同类标准组 织还是首次，同时工作组还成立了a v s 视频编解码软件优化组，以吸引更广泛 的开发人员进一步优化，优化软件代码同样对全社会公开。 a v s 与h 2 6 4 相比主要优点在于，它是在h 2 6 4 的基础上发展起来的， 两者编码效率相当，比m p e g 2 编码效率高2 倍以上，但a v s 芯片复杂度低， 当然成本也低。最为关键的是a v s 标准只对编解码器收l 元人民币，不对运营 商收费，不对节目收费。 目前a v s 是国家标准，h 2 6 4 只是国际标准，没有像m p e g 2 一样被“等 同等效 的采用为国家标准，在国家标准化中的地位不同，目前国家大力提倡 自主创新，a v s 标准是国家支持的重点。从技术上，a v s 和h 2 6 4 可以说一脉 相承，但在经济性和实用性上更胜一筹，低廉的收费比现在普遍使用的m p e g 2 还要低，因此对于音视频产品的开发选用a v s 是一个既廉价又实用的选择。 a v s 目前的主要应用是针对m t v 、地面视频广播、数字电视、手机电视 和视频监控等领域。例如：世界首个a v s i p t v 互动电视系统在辽宁大连网通 公司投入商用。 随着信息社会的到来，多媒体应用需求越来越大，在实际应用中，有许多 场合需要用到嵌入式编码器。 对于多种不同情况下的应用来说，利用d s p 处理器进行开发是更为灵活且 有效的方案。在d s p 平台上用户开发自由度大，可以适应市场不断提出的新要 求。且d s p 处理器处理能力强，如t i c 6 0 0 0 系列d s p 在音视频处理方面可以 发挥强大的功能，并提供多种视频专用接口和适合于视频算法的运算单元及指 令。另外，d s p 芯片功耗低，为提高产品的稳定性提供了可靠的保障。因此在 d s p 平台上开发是实现a v s 实时编码器的理想方案。 现今，基于d s p 平台的a v s 编码器的实例还不多，能够在保证性能的条 件下实现实时的标清编码器更为缺乏，而监控领域恰恰又需要这样一个基于嵌 入式平台的实时编码系统。因此本项基于d s p 平台( d m 6 4 4 6 ) 的a v s 标清编 s 实时标清编码技术研究 码研究具有十分重要的意义。 1 2 课题研究内容 本项研究的目的是在t m s 3 2 0 d m 6 4 4 6 平台上实现a v s 编码器，在兼顾码 率，图像质量和编码速度的同时通过对算法和硬件的优化实现标清格式视频的 实时编码。主要完成的工作有： 1 研究a v s 编码标准及其参考代码，结合x 2 6 4 等先进的视频编码器软件 架构对其进行优化并改进部分核心算法。 2 熟悉t i 的d a v i n c i 架构，深入了解d m 6 4 4 6 芯片的性能，已制定出完 善的a v s 编码器实现方案。 3 完成a v s 编码器在d m 6 4 4 6 平台上的移植，并根据硬件性能进行优化。 4 完成优化后的算法封装并实现标清实时编码。要求实现d a v i n c i 架构中 的a r m 和d s p 之间的通信。 1 3 论文的主要结构 第一章绪论。主要介绍视频编码的现状，以及基于d m 6 4 4 6 的a v s 标清编 码器的研究背景和意义。简述了本课题的研究内容和完成的工作。 第二章详细介绍了a v s 视频编码标准，对其核心技术进行了阐述，并将其 与国际标准h 2 6 4 作了对比。 第三章参考x 2 6 4 的实现方法对a v s 的参考代码进行了修改，并针对分像 素运动估计和量化提出了一个全新的实现方法。 第四章详细介绍了d a v i n e i 平台的技术以及其相关开发软件的使用方法。 第五章完成a v s 编码器在d m 6 4 4 6 上的移植和优化，并搭建了实时标清编 码系统。 第六章对全文的主要研究内容进行总结，并对将来的深入研究工作进行展 望。 1 2 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 第二章a v s 视频编码标准研究 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ，a v s ) 标准是数字音视频编解码技术标准 工作组a v s 工作组制定的数字音视频编码标准。a v s 工作组成立于2 0 0 2 年6 月，成员包括国内外从事数字音视频编码技术和产品研究开发的机构和企 业，a v s 工作组的任务是面向我国的信息产业需求组织制定行业和国家信源编 码技术标准。 表2 1a v s 标准 编号名称编号名称 编号名称 1 系统 4 音频5 1 声道 7 移动视频 在i p 网上传输 2 视频 5参考软件8 a v s 3音频 6数字媒体版权管理 9a v s 文件格式 如表2 1 所示a v s 标准包括系统、视频、音频、数字版权管理、移动视频 等9 个部分。目前，a v s 标准中涉及视频压缩编码的有两个独立的部分：a v s 第二部分( a v s l - p 2 ) ，主要针对高清晰度数字电视广播和高密度存储媒体应用； a v s 第七部分( a v s l 一p 7 ) ，主要针对低码率、低复杂度、较低图像分辨率的移动 媒体应用。 2 1a v s 视频标准相关技术与工作原理 a v s 视频标准系统结构原理如图2 1 所示，a v s 视频标准是基于空间和时 间的预测和补偿、空域的变换及基于统计的熵编码的混合编码，a v s 视频标准 采用了一系列技术来达到高效率的视频编码，包括变换与量化技术、帧内预测 技术、亚像素插值与帧间预测技术、环路滤波器技术和熵编码技术等。 解码器 一 帧内帧间 一忸丙劫逦丑 o 应 豳 圃 l 量化后的卜 。 变换系数l j ： 图2 1a v s 视频标准系统结构原理框图 在a v s 视频标准中，所有宏块都要进行帧内预测或帧间预测，帧间预测使 用基于块的运动矢量来消除图像间的冗余，帧内预测使用空间预测模式来消除 图像内的冗余，再通过对预测残差进行8 8 整数变换( d c t ) 和量化消除图像内 的视觉冗余，a v s 的变换和量化只需要加减法和移位操作，用1 6 位精度即可完 成。使用环路滤波器对重建图像进行滤波既可以消除块效应，改善重建图像的 主观质量，也能够提高编码效率，滤波强度可以自适应调整，最后，运动矢量、 预测模式、量化参数和变换系数用熵编码进行压缩。 2 2a v s 主要技术介绍 2 2 1 帧内预测 为了消除宏块间的空间冗余，a v s 引入了帧内预测技术，预测时使用当前 块的左边块和上边块中的相邻像素作为参考像素。根据如图2 2 预测方向的不 同，在a v s 中帧内预测的宏块大小为8 x 8 ，定义了5 种8 8 亮度块预测模式， 分别为：i n t r a 一8 x 8 一v e r t i c a l 、i n t r a 一8 x 8 一h o r i z o n t a l 、i n t r a 一8 x 8 一d c 、 i n t r a 一8 x 8 一d o w n l e f t 和i n t r a 一8 x 8 一d o w n 脚t 。4 种8 8 色度块预测模式， 1 4 研究 模式，大大简化了预测过程，提高了运算效率。 2 2 2 帧间预测 图2 - 2a v s 帧内预测方向 和 测 a v s 的帧间预测包含p 帧和b 帧两种预测图像。p 帧至多采用两个前向参 考帧，可在不增加缓冲区大小的前提下提高编码效率。b 帧采用前后各一个参 考帧。这种做法即保证了块搜索的性能，又大大降低了算法的复杂度。 a v s 视频标准中运动补偿块的大小包括1 6 1 6 、1 6 8 、8 1 6 、8 8 等， 这种宏块划分方法可以适应高分辨率图像的运动搜索。另外，为了获得更精确 的匹配块，a v s 规定运动矢量的精度为1 4 像素，并定义了两种4 抽头滤波器来 分别获得1 2 位置和1 4 位置的像素点。与h 2 6 4 使用的6 抽头f i r 滤波器相比， a v s 视频标准的滤波器实现复杂度较低【1 5 】。 基于d m 6 4 4 6 的a v s 实时标清编码技术研究 a v s 的变换和量化技术源自h 2 6 4 ，a v s 和h 2 6 4 均采用整数余弦变换 ( i c t i n t e g e rc o s i n et r a n s f o r m ) 编码方案，从而克服了之前的视频标准变换编码 中存在的固有失配问题。a v s 为了避开h 2 6 4 的专利问题，选择了以往标准广 泛采用的8 x 8 变换尺度，而且验证8 8 变换在高清晰电视这类应用中的性能 不会比4 x 4 变换差。在量化级数的选择上a v s 中采用多达6 4 级量化，q p 值 每增加8 ，量化步长增加一倍。更加精细的量化级数，增强了a v s p 2 适应不同 应用对码率和质量要求的能力。 2 2 4 熵编码 a v s 熵编码采用自适应变长编码技术。在a v s 熵编码过程中，所有的语法 元素和残差数据都是以指数哥伦布码的形式映射成二进制比特流。采用指数哥 伦布码的优势在于：一方面，它的硬件复杂度比较低，可以根据闭合公式解析 码字，无需查表：另一方面，它可以根据编码元素的概率分布灵活地确定以k 阶指数哥伦布码编码，如果k 选得恰当，则编码效率可以逼近信息熵。对预测 残差的块变换系数，经扫描形成( 1 e v e l 、r u n ) 对串，进行二维联合编码，并可以 根据当前l e v e l 、r u n 的不同概率分布趋势，自适应改变指数哥伦布码的阶数【1 2 1 。 2 2 5 环路滤波 由于使用了基于块匹配的编码技术，使得编码后的图像不可避免的产生块 效应。a v s 引入了环路滤波技术【1 2 】，其特点在于把去块效应滤波放在编码的闭 环内进行，即在帧内预测时也能经过去块滤波而重建图像，以致更接近主观视 觉效果。由于a v s 的最小宏块划分为8 8 ，环路滤波的滤波边数相对较少，而 且滤波点数和滤波强度分类数都有相应的减少，所以a v s 的环路滤波计算复杂 度相对较低。 1 6 2 3a v s 与h 2 6 4 编码算法的比较 h 2 6 4 针对不同的应用领域，规定了多种不同的档次( p r o f i l e ) ，他们分别是 基本档次( b a s e l i n ep r o f i l e ) 、主档次( m a i np r o f i l e ) 、扩展档次( e x t e n d e dp r o f i l e ) 和 高端档次( h i g hp r o f i l e ) 。以下是四个档次规定的内容： a ) 基本档次支持i 条带，p 条带，只支持c a v l c 编码，支持灵活宏块排序 ( f l e x i b l em a c r o b l o c ko r d e r ，f m o ) 和冗余条带( r e d u n d a n ts l i c e ) 技术。 b ) 扩展档次包含基本档次的所有特征，另外还支持b 、s p 、s i 条带，支持 加权预测和数据划分技术。 c ) 主档次( m a i np r o f i l e ) 支持i 、p 、b 像条，支持加权预测，支持逐行 ( p r o g r e s s i v e ) 和隔行( i n t e r l a c e d ) 扫描，同样提供对于c a v l c 和c a b a c 编码的 支持。 d ) 高端档次( h i g hp r o f i l e ，也叫f r e x t ) 包括主档次的所有特征，另外增加了 自适应的4 x 4 和8 x 8 的整数变换，用户自定义量化加权矩阵，高效的帧间无 失真编码和更多的y u v 格式( 如4 ：2 ：2 和4 ：4 ：4 ) 。 a v s 目前只规定了一个基准档次，其编码效率与h 2 6 4 的主要档次相当。 同样支持i 、p 、b 像条等。 表2 2 列出了a v s 和h 2 6 4 的技术性能的简单比较。 表2 - 2a v s 和h 2 6 4 主要性能比较 编码工具 a v sh 2 6 4 亮度预测模式：5 种亮度预测模式：9 种 帧内预测色度预测模式：4 种色度预测模式：4 种 最小块：8x8最小块：4 x 4 多参考帧预测最多2 帧最多1 6 帧 变块大小运动 1 6 x1 6 ，1 6 8 , 8x1 6 ，8x81 6 x1 6 ，1 6 x 8 , 8 x1 6 ，8 x 8 , 8 x 4 ，4 x 8 , 4 x 4 估计 1 7 上海大学硕士学位论文基于d m 6 4 4 6 的a v s 实时标清编码技术研究 时域空域相结合，当时域 内后向参考帧中用于导独立的空域或时域预测模式，若后向参考 b 帧宏块直接 出运动矢量的块为帧内帧中用于导出运动矢量的块为帧内编码 编码模式 编码时，使用空域相邻块时只是视其运动矢量为0 ，依然用于预测 的运动矢量进行预测 对称预测模式，只编码前 b 帧宏块双向 向运动矢量，后向运动矢前后两个运动矢量都需编码 预测模式 量由前向导出 1 2 像素位置采用4 抽头 1 4 像素运动 1 2 像素位置采用6 抽头滤波，1 4 像素位 补偿 滤波1 4 像素位置采用4 置线性插值 抽头滤波、线性插值 8 8 整数变换，编码端进 4 4 整数变换，编解码端都需要归一化， 行变换归一化，量化与变 变换与量化 量化与变换归一化相结合，通过乘法、移 换归一化相结合，通过乘 位实现 法、移位实现 自适应性2 dv l c ，编码 c a v l c ：与周围块相关性强，实现较复杂 熵编码块系数过程中进行多码 c a b a c ：计算较复杂 表切换 基于8 8 块边缘进行， 简单的滤波强度分类，滤基于8 8 块边缘进行，滤波强度分类繁 环路滤波 波较少的像素，计算复杂多。计算复杂 度低 通过上表可以看出a v s 在各个技术环节的复杂度都要低于h 2 6 4 ，在达到 与h 2 6 4 相当的编码效率的同时，a v s 系列标准的实现更加简洁，简化的设计意 味着更低的软硬件实现成本。并且，在专利授权费上a v s 更有着h 2 6 4 无法比 及的优势。 上海大学硕士学位论文基于d m 6 4 4 6 的a v s 实时标清编码技术研究 2 4 本章小节 本章详细介绍了a v s 视频编码标准的工作原理及其主要技术，包括了帧内 预测、帧间预测、变换量化、熵编码和环路滤波。针对a v s 的技术特点与h 2 6 4 进行了比较，揭示了a v s 的运算复杂度和实现难度都低于h 2 6 4 ，更有利于企 业降低成本，增加核心竞争力。 1 9 上海大学硕士学位论文基于d m 6 4 4 6 的a v s 实时标清编码技术研究 第三章a v s 编码标准的c 代码实现和优化 在d s p 上实现a v s 算法，需要先在p c 平台上实现一套效率较高的c 代码。 本章主要介绍了如何对a v s 的参考代码进行优化以提高其效率。 3 1r m 5 2 j 参考代码分析 2 0 0 3 年a v s 推出了第一个参考代码r m 5 2 a ，他是在h 2 6 4 的参考模型j m 的代码基础上修改而来。随着时间的推进，a v s 对其参考代码进行了不断的修 改和完善。本课题使用的是r m 5 2 j 参考代码，对于a v s 标准的基本功能，该 代码已经全部实现。 r m 5 2 j 是目前为止最为完善的a v s 参考代码，代码中包含了a v s 标准的 所有关键技术的实现方法，并且相当详细。了解a v s 的实现过程，r m 5 2 j 具有 相当高的参考价值。由于需要尽量详细地还原a v s 标准，r m 5 2 j 的c 代码相 当复杂，其运行效率也非常低。主要原因在于代码中使用了大量的判断和跳转， 函数存在很多不必要的多级调用，内存的使用也没有做到尽量合理。更重要的 是，其代码结构并不符合d s p 流水的要求。表3 1 是在p c 机上测试r m 5 2 j 的 结果。使用的p c 机的配置为c o r e 22 3 3 g h z ，2 g 内存。测试选用了两种典型 的监控序列h a l l ( c i f ) 和s t o c k h o l m ( d 1 ) ，采样格式均为4 ：2 ：0 ，q p 选择 为2 8 ，编码帧数2 5 0 帧，序列格式为i p p p p p p p p p p p p p p p i p p ，无码率控制， 关闭率失真优化。 表3 1r m 5 2 j 编码结果 序列 p s n ry p s n rup s n rv 帧率( f p s h a l l _ c i f y u v 3 9 7 64 2 0 74 3 4 44 9 5 s t o c k h o l m _ d1 y u v 3 8 1 24 3 5 14 3 2 l1 1 7 由上表可以看出，r m 5 2 j 的代码效率是远远达不到实时的要求的，即使在 c i f 图像下。因此对于作为参考代码的c 代码进行优化是十分必要的，本课题 参考x 2 6 4 的代码对r m 5 2 j 进行了重写，以使其更符合d s p 上实现的要求。主 2 0 参考x 2 6 4 的代码结构对a v s 参考代码进行重写，去除了大量冗余代码， 优化了函数指针的调用。 模式判决 改写了a v s 参考代码的模式判决方法，去除率失真模型判断，并综合了一 些优秀的视频编码软件( x 2 6 4 、t 2 6 4 等) 的模式判决方法。 分像素运动估计 提出了一种全新的分像素运动估计方法和差值算法。 量化和反量化 修改了量化和反量化的一些计算参数，减小了中间数据占用的比特数，以 便更好的优化代码的执行效率。 3 2a v s 分像素运动估计算法优化 3 2 1a v s 分像素运动搜索 在a v s 视频编码中当前模式的最佳匹配块是由预测块与当前块之间代价值 c 来决定的，即： c ：s a d + 肼矿c o s t ( 3 1 ) 式中s a d 表示预测块与当前块之间的残差绝对值和( s u mo fa b s o l u t e d i f f e r e n c e ，s a d ) 。m vc o s t 表示预测块的运动矢量代价值。 最佳匹配块的搜索过程是指对参考帧中的像素点i 所对应的块与当前块通 过公式( 1 ) 所得到的代价值c ，其中代价值最小的点所对应的块即为最佳匹配 块。a v s 的整像素和分像素运动搜索都用到这一方法。 a v s 的分像素运动搜索分为三步： ( a ) 由整像素运动搜索得到最优整像素点，由公式( 3 1 ) 计算出其代价值c ；， 2 l 点仍为整像素点，转到( b ) ，否则转到( c ) 。 ( b ) 搜索整像素点周围的八个1 4 像素点，得到它们的q ，qe 1 ，8 】，找出c 。 最小的像素点，退出搜索。 ( c ) 搜索1 2 像素点周围的八个1 4 像素点，得到它们的c 。，q e 1 ，8 】，找出 q 最小的像素点，退出搜索。 3 2 2a v s 分像素亮度内插 a v s 中亮度分像素的点实际并不存在，是通过整像素内插得到【1 2 1 ，如图3 - 1 所示，其中大写字母表示整像素，小写字母a - - i 表示1 2 像素，其余为1 4 像 素。 圈一 圆圈 圈 圈圈 园 圈a b c 囝 def g hl j km q rn p 一_ _ 圈 s 圈 国一 图3 1 整像素和分像素样本位置 图中l 2 像素点通过一个四抽头滤波器获得，滤波系数f 1 为1 ，5 ，5 ，1 。 1 2 样本的计算过程如下： 1 2 样本b ：首先用f 1 对水平方向上最近的4 个整数样本滤波，得到中 间值b = ( 一c + 5 d + 5 e f ) ；最终的预测值b = c l i p l ( ( b + 4 ) 3 ) 。 1 2 样本h ：首先用f 1 对垂直方向上最近的4 个整数样本滤波，得到中 j = ( 砚+ 5 b + 5 s d d ) 。其中磁，d d 和s 是相应位置二分之一样本中间 值( 用f 1 在水平方向滤波得到) ，b b ，c c 和m 是相应位置1 2 样本中 间值( 用f 1 在垂直方向滤波得到) 。最终的预测值j = c l i p l ( ( j + 3 2 ) 6 ) 。 采用水平方向或垂直方向滤波得到的值相同。 图3 1 中1 4 像素点通过四抽头滤波器和双线性虑波器获得。四抽头滤波器 的系数f 2 为1 、7 、7 、1 ，双线性滤波器的系数为1 、1 。1 4 样本的计算过程如 下： 1 4 样本a ：首先用f 2 在水平方向上对，d ，b 和e 四个值滤波， 得到中间值a = ( e e + 7 d + 7 b + e ) ；最终的预测值a = c l i p l ( ( a + 6 4 ) 7 ) 。其中 e e 和b 是相应位置1 2 样本中间值，d 和e 是相应位置整数样本放大8 倍的值。 1 4 样本c 的插值过程与a 的插值过程相同。 1 4 样本d ：首先用f 2 在垂直方向上对f f ，d ，h 和h 四个值滤波，得到 中间值d = ( 铲+ 7 d + 7 l l + h ) ；最终的预测值d = c l i p l ( ( d + 6 4 ) 7 ) 。其中伊和h 是相应位置1 2 样本中间值，d 和h 是相应位置整数样本放大8 倍的值。1 4 样本n 的插值过程与d 的插值过程相同。 1 4 样本i ：首先用f 2 在水平方向上对g g ，h ”，j 和m ”四个值滤波，得到 中间值i = ( g g + 7 t l ”+ 7 j 怕”) ；最终的预测值i = c l i p l ( ( i + 5 1 2 ) 1 0 ) 。其中g g 和 是相应位置1 2 中间值，h ”和m ”是相应位置1 2 样本中间值放大8 倍的值。 1 4 样本k 的插值过程与i 的插值过程相同。 1 4 样本f 首先用f 2 在垂直方向上对l l l l ，b ”，j 和s ”四个值滤波，得到 中间值f = ( | l l l + 7 b ”+ 7 j + s ”) ；最终的预测值仁c l i p l ( ( r + 5 1 2 ) 1 0 ) 。其中l l l l 和j 是相应位置1 1 2 中间值，b ”和s ”是相应位置1 2 样本中间值放大8 倍的值。 1 4 样本q 的插值过程与f 的插值过程相同。 1 4 样本e ，g ，p 和r ： e = c l i p ( ( d ”+ j + 6 4 ) 7 ) 上海