（信息与通信工程专业论文）基于dsp的h264编码算法与数据存储管理优化.pdf

浙江大学硕士学位论文 摘要 h 2 “，a v c 是最新的视频压缩编码国际标准，与啦往的标准相比，h 2 6 “a v c 的编码 效率有了显著的提高，在可以预见的将柬必将得到广泛的应用。但 l 2 6 4 ，a v c 的复杂度极 高，不利于实时运用。本文以提高h 2 6 4 ，戌v c 的编码速度为目的，对基于d s p 平台应用 的 l 驯a y c 编码器的几个方面进行了研究。 本文首先舟绍了视频压缩技术和国际标准，着重介绍了h2 洲a v c 标准的技术特点a 并对视频编解码的各种实现和优化方法进行了讨论，总结出了对d s p 平台上应用的视频编 解码进行优化鹰从空间复杂度和时间复杂度两个方面来考虑。 接着本文从空间优化的角度出发，对h 2 6 4 ，a v c 在d s p 平台上实现编码的数据缓存 和数据调度进行研究，提出了一种基于宏块的数据缓存机制，并利用基于任务链的二维 d m a 数据传输机制制定相应的数据调度策略，充分利用了d s p 有限的快速片上存储器， 有效地降低了数据搬运任务的时间。 然后本文从提高编码速度的角度出发，对h 2 6 4 ，a v c 编码器中最耗时的模式选择模块 进行优化，通过台理减少候选预测模式的方法来提高模式选择的速度并结合d s p 的媒体 指令对模式选择中的s a d 值计算模块和半像素插值计算模块进行了指令级优化，算法级和 指令级优化相结合，大幅提高了h2 6 州a v c 在d s p 平台上的编码速度。 最后本文对h 2 6 4 ，a v c 的码率控制算法进行研究，提出了新的宏块级玛率控制算法。 新算法以较为简单的r q 率失真模型为核心，并结台各种自适应参数调整技术和跳块判断 策略既提高了码率控制的速度，又保证了图像质量和输出码率， 关键词：视频编码，h 2 6 扎w c ，d s p ，模式选择，码率控制 浙江大学硕士学位论文 a b s t r a c t h 2 删a v cbt h eh t e s tm r n 痂l l a l “d e oc o 出n gs 忸n d a f d nh a sa c h 艳v e das i g 枷c a n t i m p r o v e 姗n ti nc o d i n ge f f i c 如b yc 0 坤i a f e de 0p r e v i o u ss t a n d a i d s1 1 l e 硎o r e ， l 2 6 4w | 1 1b e w i d e l yu s e dj nl h e 础a rf 【i t l l r e 王o w e v e r i t 括t o oc o m p k x 沁b ea 印1 j e di i l 聪“d m ea p p h c a t i o 璐 a i 腿da ta c c e k m t 堍t 1 1 eco d l n g8 p e e do fh 2 6 删c ，s e v e r a l 砸p e c 培a b o u tt i | ee n c o d e ro f h 2 6 州a v cb a s e d o n d s p 黜s c i l d 跏i t l l i sp a p e l t l ev i d e oc o m n g 【e c h i q u ea n di m e 删o n a is t a d a r d s 虹丘r s t m n d d 眦e da n dt h e nt i l en e w c o d l l l g 诧a t u r e sa d o p 据db yh 2 6 4 ，a v ca r ed i s c u s 船di nd e 诅j 1 a 缸r 吐啦k i n d so f 删1 0 d st o i t n p l e m e ma n do p n 商2 em ev i d e 0c o d e ca r ea d a l y 砚da n d 让虹s u 呲k d 岫tb o t l ls p a c 瑚 c o m p k x i t ya n dt i n l ec o m p l e x 时s h o u l db ec o 璐i d e r e dw h 沁p e r f o 哪血g 由eo p d m i z a t i o no f v i d e oc o d e co n d s p s e c o n d l mt i l es c h e d u ko f 世d a l ab u 恐r i n ga n d 曲璐m 话s i o no f l 2 6 4 ，a v ce i l c o d e fo d s pp l a t 如h na r es t u d i e dj no r d e rc o 砖d u c e 血es 啪g e 砖q u i r e m e m an 砖c l l a n i s mo f d a t a b 曲竹i “gb a s e d0 nr 心r o b l o c k 担p r o p o s e d ，勰dm e n 曲c o 珏e s p o n d i i l g 血衄s c h e “j i n gs c h e 腓 i se s t a b m i l e du s i 丑gt h et w o - d i 雠璐j o nd m a 1 m sn l e n l o dm a k e sf i l uu s eo ft h ef a s to n c h i p m e m o r y a n d 把血c e s 由e 血n e t a k e n b yd a c a 如s l i s s i o n t 越k n 柚靠i no r d e r1 0f e d u c em ec o l p u t a n o n a lc o l p k x j c y ，t b em o s ec i 特c o 舶u l n i n gm o d u l e 0 f l o d es e l e c d o ni i l l 2 删a v ci s o p t i m i z e d 1 kp r o c e s so f 0 d es e k c t i o ns p e e d su pb y 删_ l l c i n g 妇n u n 】b e r0 fc 姐d i 血略sr e 勰o n a b i ya i l dc l e n 吐l em l l i 妇e d i ai n s t r u c t i o so fd s pa r e u s e d t 0o p 哳d z e 廿砖c 出u l a c i o n o f s a d 姐ds u b 一础i n 嗽p o l a i i o n a f t e r 吐峙0 p t i i l l i z a d o n o n b o t l l 吐l ea l g o 舢mk v e ja n d 妇a s s e 曲l yk v e l ，她s p e e do ft l em o d cs e k t i o no nd s pi si n c r e 舶e d 0 b v i o u s l y a t1 a s t ，a w 呲r o b l o c kr a 把c o 址r 0 1a 培0 r j 血mbp r o p o 踺db a s e d 帆ar e 梳i v e 】ys i m p k r q m e la n ds e v e 叫a d a p n v e 聪吐1 0 d so fp 姐咄t 盯陀g l l k 廿0 na n d 血es c b e d u i eo fm e s 村p m o d ep r e d e c i s i o na r em 峙g f a 略dj j l t on i ep m p o s e da l g o d 吐l mt 0 肥d u c ec b ec o d i gd 把 w h i l e m i n c a i m n g 她q u 越c yo f ( i l cp j c t u 珥a n d 血eo u e p mb 赴r 出 k e y w o r d ：v j d e oc o d _ m g ， l 2 6 4 ，a v c ，d s b 珂d d es e k c 曲l l m t ec o 曲o 浙江太学硕士学位论文 剧l2 1 圉22 l 圈2 3 1 网23 2 圈2 33 圈23 4 圈23 5 图236 圈237 圈2 3 8 围2 4 l 图24 2 图2 5 1 圈32 1 图3 2 2 圄323 囝32 4 圉32 5 图3 2 6 圉33 l 围3 - 32 图3 4 l 翻42 l 图4 4 l 闰4 4 2 h2 6 4 编码框郾啊。 图表目录 数据计算任务和熬据传抽任务之间的数据0 t 模型 基于帧的数据缓存机制下的数据流图 边界上半像素值计算示意图 芈像素搜索 6 帻内预利数据示意圉 帧内数据缓冲区示意图 滤波数据示意图 滤波数据缓冲区 1 7 一1 8 1 8 基于宏块的数据缓存机制下的数据流圈 一维d m a 和二维d m a 在搬运二维教据时的时序图 d m a 数据传输和计算操作的时问并行性 b f 5 3 3 存储器结构框图 r d c o m 计算圈 简化后的d 计算方法 编码器各主要模块运行时间比较 i 、p 帧模式搜索时间比较 p 帧模式搜索菩模块| 生能对比一 p l | 匾宏块编码模式统计 当前宏块邻块关系说明 结合提前退出算法的模式选择流程 垂直方向半像素插值并行处理示意圈 h 2 6 4 码率控制鸡蛋悻论示意圈 s a 】e 锄a n 的输出码流比较 2 0 2 1 2 2 2 3 2 9 3 2 3 3 g r 曲d m a 的输出码流比较 裹23 【单帧参考时数据缓冲区大小统计c 啦格式) 表232 片上数据缓冲区空间统计 表2 4 1 原始宏块的搬运数据量 3 4 。4 7 表2 jl 小链衰模式的描述符参数表一 衰2 j 2 表2 53 袁254 袁255 襄25 正 表3 4 1 片内外空间统计一 编码参数选项表 不使用d m a 时数据搬运任务运行时间f - * 及其在总时闻丁 d 姒所占的比重2 5 直接读写片外存储器和使用d m a 进行数据搬运两种方法时整十编码器运行总时间r 对比2 6 基于宏蜘和基于8 x b 块的数据缓存机制d m a 任务数和d m a 开销对比工6 模式选择算法级优化前后s a d 计算横块和半像素插值模块在模式选择中的耗时比重“3 8 表3 4 2 优化前后计算4 点半像素值所需要的指令数对比情况 表35 1 模式选择算法级优化前后编码速度对比 衰3 j 2 模式选择算往级优化前后信噪比和码率对比 - v 新扛大学硕士学位论文 衰3 53 裹3 5 4 袁35 5 裹35 6 囝43 l 衰4 4 1 裹4 4 2 表4 43 袭 4 4 表4 4 4 表4 4 j 车算法与算法a 编码速度对比一4 2 奉算法与算法a 信噪比和码率比较一 s a d 壤计算模块和半像素插懂楼班指令缓优化前后性能对比 指夸级优化前后编码速度对比 新码率拄制算法流程 编码参数 本算洼和模型l 图像质量和码率比较 5 6 新算法与模型1 编码速度f r 比较一一j 8 丰算注和j v t - g 0 1 2 图像质置和码率比较 本算法和j v l 二g 0 1 2 图像质量和码率比较( 续) 新算法和j 坩g 0 1 2 韵编码速度f r 的比鞍 一鲫 5 9 浙江大学硕士学位论文 1 1 概述 第一章绪论 现代通信从窄带的电话、语音广播到各个宽带的活动图像传输如可视电话、会议电视、 高清晰度电视都在由模拟方式向数字方式发展。这是由于数字传输有许多模拟传输所不具 备的优点，诸如： ( 1 ) 传输质量高，可经多次中继不致引起噪声严重积累，基本不受传输系统的非线性 影响。 ( 2 ) 易于采用纠错码技术提高抗干扰能力。 ( 3 ) 易于加密。 ( 4 ) 便于利用时分复用技术纳入多种信息业务兼容的综合数字通信阿如i s d n 。 ( 5 ) 数字电路容易犬规模集成，数字设备可靠性高维护简便等。 但是，数字传输在提供这些优点的同时，也带来了一些困难。最主要的问题是信号， 尤其是图像信号，数字化后数据量太大对存储器、通信信道以及处理器等都提出了相当 高的要求。因此对图像数据进行压缩的意义重大，是降低存储成本，缓解网络压力，突破 存储空间和处理器主频限制的关键。 1 2 视频压缩技术与标准 1 2 1 视频压缩技术 1 _ 2 1 1 视频压缩技术的理论基础 图像数据能甥进行压缩。主要基于以下两个方面的理论基础： ( 1 ) 图像数据存在着大量冗余信息。由于自然图像、物体表面除了在边缘、轮廓和 分界线之井，其余变化都是缓慢的，光强变化也是平滑的。因此数据图像的相邻行之间、 相邻列之问、相邻帧之间的像素灰度变化是相关的，而且距离越近，相关性越强，因此像 素之间的冗余信息量也就越犬。根据香农编码定理“j ，信息墒是无损压缩编码码率的下界。 圈此冗余度越大，可去除的冗余信息越丈，u 剩余的信息熵越小，压缩的可能性就越大。 ( 2 ) 人的视觉系统对图像的细节分辨率，运动分辨率和对比度分辨率的要求都有一 定的限度。这就允许经过压缩编码后恢复的图像在客观上存在一定的失真，只要选种失真 限制在一定的范围内，人的主观上难以察觉即可。并且视觉心理学和生理学的研究表明， 人眼对图像的细节，运动和对比度三方面的分辨能力是相互制约的。在人观察景物时，并 浙江大学硕士学位论文 非对这三方面同时具备最高的分辨能力。当人眼对图像的某种分辨率要求很高时，对其他 的分辨率则降低了要求。利用这一特点，进行图像数字化时可以采用自适应技术，根据图 像的某一局部的特点来决定取样频率和量化精度，尽量做到与人眼在观看这种图像局部时 所反映的视觉特点相适配。因此，可以在不损伤图像主观质量的条件下降低码章。 1 2 1 2 几种主要的视频压缩技术 视频压缩技术主要利用上面两个方面的特点来实现对视额数据的压缩。即一方面通过 去除数据之间的冗余信息来实现压缩，另一方面利用人的视频特性，通过对一些人眼不敏 感的地方采用有损压缩的方法来进一步提高压缩比。常见的视频压缩技术主要有： ( 1 ) 统计编码 统计编码主要利用视频信号之间存在的统计冗余来实现压缩。统计编码根据各个信源 符号或符号缎出现的概率的不同来编码，这样可将每个信源符号所需的平均码长降至最低。 雷前最普遍的两种统计编码方式为程夫曼编码和算术编码。 a ) 霍夫曼编码 霍夫曼编码是一种最佳的无损压缩编码方法，其基本思想是给出现概率大的符号 分配短码字，出现概率小的符号分配长码字，以达到平均码长最短的目的。对于相同 概率分布的信源来说，霍夫曼编码的平均码字长度比其它任何一种有效编码方法都短。 但是霍夫曼编码存在两方面的不足之处：首先是霍夫曼编码必须准确知道信源的概率 分布，这在具体实现往往无法做到因此只能采用大量数据统计后得到的近似分布来 代替真实的概率分布。这样由于实际编码图像的系数分布总有差异，导致应用时无法 达到最佳性能其次分配给最太概率的码字长度晟小也要l 比特不可能分配比l 比 特更小的码宇限制了码率的进一步降低。 b ) 算术编码 在算术编码过程中，不存在输入符号和码字之间的一一对应关系。取而代之是算 术编码给信源x 赋一个单独的变长码，该信源由n 个符号组成，其中n 是可变的。 算术编码和翟夫曼编码之间的区别是在算术编码中，输入序列的长度( 如具有单独码 字的符号组长度) 是可变的。因此，算术编码是给变长的符号组赋予变臣的码字。由 于算术编码不需要给定长的符号组分配整数长度的码字，因此，理论上来讲算术编 码可以达到无失真编码定理建立的更低极限。 ( 2 )预测和量化编码 在经典的图像编码技术中，预测编码和变换编码是主要的两类编码方法a 在预测编码 时，不直接传送图像样值本身，而是对实际样值与它的一个预视 值问的差值进行量化、编 码和传送。而预测值是由当前像素邻近已经传出的若干像素值估算( 预测) 出来的。如前 - 2 - 浙江大学硕士学位论文 所述，视频信号邻近象素之间具有强相关性，固此预测有很高的准确性，使得预测误差往 往集中在0 附近的一个小范围内，方差较小。尽管在图像信号变化激烈的地方( 例如轮廓 和边缘) 可能由于预测不准出现一些大的预测误差，但这是零星和个别的，而且人眼对出 现的在轮廓与边缘处的较大误差不易察觉。 预测编码根据预测数据来源的不同可分为不同的类型。从视频编码的角度来看，预测 编码可分为帧内预测编码和帧间预铡编码。帧内预测编码采用同一帧中相邻像素来对当前 像素进行估计，是一种利用空间相关性进行预测的方法。帧间预测技术则采用相邻帧中的 像素来对当前像素进行预测，是一种利用时间相关性的预测方式。对于视频图像序列，由 于相邻帧之间存在极大的相关性，采用帻间预测技术极大地提高丁视频图像压缩的效率。 为了进一步提高压缩比，通常在预测后还需要对预测误差进行量化，进一步降低之后 对预测误差进行熵编码所需的的比特数。量化编码会引入不可逆的量化误差，造成解码后 的图像存在一定的失真。但是由于人限的视觉掩盖特性，对误差分辨能力有一定限制当 相邻的两个像素的亮度差值较大时，即使存在较大的误差也不易察觉出来，因此只要选择 适当的量化参数，使得量化误差限制在人眼可识别的范围之内，便可选到既不损失图像的 主弼质量又提高压缩效率的目的。 ( 3 ) 变换编码 变换编码最基本的思想是将通常的欧几里德几何空问( 空间域) 描写的图像信号变换 到另外的正交向量空间( 变换域) 进行描写。如果所选的正交向量空间的基向量与图像本 身的特征向量根接近，那么同一信号在变换域中描述起来就会简单很多。空间域的一个 n x n 个象素组成的像块经过正交变换后，在变换域变成了同样大小的变换系数块。正交变 换的主要作用是为了去除空间域上像素之间的相关性。同时经过正交变换后，能量主要集 中在直流和少数低频的变换系数上。消除相关性实际上就是一个降熵过程，通过降低图像 像素之间的冗余信息量选到压缩的目的，而将能量集中在少数几个低频变换系数上则有利 于利用、眼的视觉特性对人眼不敏感的高频分量用较大的置化步长将其量化为0 ，提高压 缩效率。 目前常见的正交变换有：k 乙变换、离散余弦变换( d c t ) 例、离敞傅立叶变换( d f t ) ， h a r d a m a r d 变抉和小波变换( d w t ) o 噜。其中k 乙变换由于采用图像本身的特征向量作为变 换的基向量，与图像的统计特性完全匹配，因此是在晟小均方误差准则下进行图像压缩的 最佳变换。但因变换矩阵随图像类别而异，无快速算法。k _ 乙变换虽然不宜用来进行实时 编码，但在理论上其有重要意义，可以用来估计变换编码的性能极限，对各种实用的变换 编码的性能进行评估。在各种正交变换中，当以自然图像为编码对象时，与k _ l 变换性能 最接近的是d c t 。目前的静止图像压缩标准和视频压缩标准大多采用基于块的二维d c t 变换。 3 晰江大学硕士学位论文 ( 4 )运动估计、补偿技术 相邻两帧图像之间的差异主要是由物体的运动、摄像机的运动、光强的变化和被覆盖 区域的出现等因素造成的。除了光强变化和出现原本被覆盖的区域外，对由物体运动或摄 像机运动引起的相邻两帧图像之间的差异的情况，对某一像素进行预测，可以通过运动补 偿技术，用该像素在前一帧对应位置的周围某个像素值来做为预测，这种方法称之为运动 补偿技术。该方法于1 9 7 4 年由y 惴等人提出，并被广泛地应用于现代的视频压缩技术 中。 采用运动补偿帧问预测技术需要解决以下两个问题：( 1 ) 运动物体分割问题。( 2 ) 如 何在参考帧寻找运动物体。( 运动估值) 。 运动图像分割是指从当前待编码的图像中分割出运动物体山，通过一定的准则，在已 重建视频帧中进行搜索，得到与叫的匹配物体埘，求差以后再对残差进行编码。因此， 图像分割直接关系到编码的效果。好的分割算法会取得比较好的匹配效果，但是计算复杂 度也因此而成倍增加。实际e 图像分割本身做为一个难点，一直是图像、视频处理中一直 没有很好解决的一个问题。因此在现在实际应用的视频编码标准中，通常采用块来做为运 动补偿预测的对象。尽管这种块的划分方法有可能把一个运动物体划分到两个不同的编码 块中，使得运动补偿预测的精度有所损失，但是出于对计算复杂度和压缩效率的综合考虑， 采用块的划分方式可以克服图像分割高复杂度的缺点，同时又保证一定的预测精度。 运动估计指的是按照一定的判别准则，以一定的搜索算法在参考帧中寻找与编码块最 匹配的的图像块，求出编码块的运动矢量。运动估计块匹配的判别准则主要有：平均绝对 误差准则( m a d ) 、均方误差准则和平均绝对误差准则。运动估计的搜索算法主要有：全 搜索法、三步法( t t s ) ”、新三步法州t s s ) 嘲、菱形搜索法门、四步搜索法嗍等，全搜索法 是全局最优的一种方法。但是计算量太大，直接制约丁编码的实时实现。为了在计算复杂 度和搜索精度之间取得折衷，因此提出丁后面的几种快速算法。这些方法都是通过减少匹 配次数来提高寻找匹配块的速度。其实现一般都通过了预测技术，充分利用统计特性来提 高性能，使得既能大幅度提高搜索的速度，又不至于牺牲太多的压缩教率。 1 2 2 视频压缩标准 多媒体产业化成功的前提是视频压缩标准化。目前从事视频压缩标准制定的国际组织 主要有国际电信联盟r r u _ t 的视频编码专家组v c e g ( v 讪；o c o d i g e x p e n g 【o l l p ) 和国际 标准化组织i s o ，i e c 的运动图像专家组m p e g ( m o n p 记姐e e x p e n g r o u p ) 。这两个组织 经过十余年的努力已经陆续制定了多个国家标准，包括h 系列和m p e g 系列。2 0 0 3 年 这两大组织合作成立的联合视频组j w ( j o hv i d e o a m ) 正式公布了新一代的视频编码 标准，u _ t 将其命名为h 2 6 州a v c ，i s o n e c 将其命名为1 4 9 6 _ 1 0 ，m p e ( ；4 a v c ，在本书 中将果用h 2 6 4 ，a v c 名称，有时简称为h 2 6 4 。以下将对h 系列和m p e g 系列的标准做简 d 新江丈学碰士学位论文 单介绍。 1 2 2 1 珏系列标准 h 系列的第一个视频压缩标准是h 2 6 1 唧。该标准于1 9 9 0 年正式发布。h2 6 l 主要应 用于电视电话和电视会议，鼠此要求压缩算法必须能够实时处理。h 2 6 l 的输出码率为px 6 4 k b n s ，s 。h 2 6 l 主要有以下两个方面的贡献： ( 1 ) h 2 6 l 综台了图像编码过去几十年的研究成果，首次采用了基于块的帧问运动补 偿结合d c t 变换的混合编码模式，这种模式一直为之后所有的标准所采用。h 2 6 1 标准规 范的数据格式、编码器模块结构、编码数据码流的层次结构、开放的编码控制与实现策略 等技术，对后来制定的视频编码标准仡产生深远的影响。 ( 2 ) 统一了图像格式。由于欧洲和中国的电视制式标准均采用p a l 制式，而北美和 日本采用n t s c 制式，各种制式的帧频和行数都不一致。这就要求编解码器的图像格式采 用同一标准。h 2 6 l 采用了与制式无关的图像格式。无论是哪一种制式的视频信号进八编 解码器后都被转换成公共中间格式( c i f ) 。随后的各种视频标准都采用或扩展了c 格式。 h 2 6 3 【l ”是h 2 6 1 之后，面向低码率应用的视频压缩标准，支持码率低于6 4 k b 倒3 的应 用。h2 6 3 在h 2 6 l 的基础上作了重要改进，采用了更高精度的运动补偿技术增加了非 限制性运动矢量、提出了基于语法的算术编码、帧内预测技术和p b 帧等多个可选编码选 项，提高了压缩效率。 1 2 2 2 h 嗍g 系列标准 m p e g 系列的标准包括：m p e g 1 n u ，m p e g - 2 ，m p e g - 4 【1 ”，m p e g 7 和m p e g 2 l ， 目前得到广泛应用的是前面三个标准。 m p e g 1 的工作目标为：“最高到1 5 m b j 如的数字存储媒体的移动图像和伴音编码”。 m p e g 1 是第一个综合了视音频的标准，也是第一个定义接收端却没有定义发进端的标准。 m p e g - l 同样采用了基于块的运动补偿废换的编码框架，目前采用m p e g - l 标准的产品主 要是v c d 和m p 3 。 m p e b 2 是由两大标准组织共同制定的标准，因此也可称为h 2 6 2 。m p e g _ 2 主要应用 于数字电视广播、高清晰度数字电视和数字光盘d v d 中。m p e g - 2 制定的目标是做为一 个通用的音视频编码标准，适用于更加广阔的应用范围。m p e g 2 中首次提出了“档次 ( 口m m e ) ”和。级别( k v e l ) ”的概念，每个档次对应于一个不同复杂度的压缩编码算法， 每个级别定义不同的图像分辨率和最大码率不同的档次和级别的组合可以满足不同的应 用需要。在压缩技术方面，m p e g - 2 开始采用半像素精度的运动补偿，引入了“帧”和“场” 的编码方式，支持分层编码技术等。 m p e g 4 是一个应用广泛的标准，其目标是对交互多媒体应用提供支持，促使通信、 5 - 浙江大学硕士学位论文 消费电子和计算机技术相融台。m p e g _ 4 提供音频，视频图形以及场景以描述工具包的形 式出现，在实现m p e 0 4 时，可根据应用领域的不同、选择适当的工具子集。m p b g 4 提 出了全新的基于对象的压缩编码方式，可以实现对视频数据的高效压缩编码提供基于内 容的交互功能，提供灵活的时域和空域扩展，除此之外，m p e g 4 还提供丁一系列工具来 提高抗误码能力。 1 2 2 3h 2 6 4 ，a v c l 2 6 4 | w c 标准是由s i o ，i b c 的m p e g 和r r u t 的v c e g 联合成立的“联台视频 组”j v t ( j o j i l tv i d e on a m ) 共同制定的，一种高效的压缩方法。h2 6 4 a v c 仍然采用了 基于块的运动补偿，变换的混合编码模式，其编码结构框图如图1 2 1 所示。 图i2 ，1h2 6 4 编码框图 尽管h 2 6 4 墉v c 的编码框桨和之前的标准类似，但是h 2 6 4 ，a v c 对于框架中每个模块 的具体实现方式都引入了新的技术米提高压缩性能。 ( 1 ) 帧内预测技术“ 在以往的视频标准中，对于帧内编码的图像大多不再采用预测技术只有m p e g 4 标准，在变换域上对于当前宏块的d c 系数和一行或一列a c 系数进行预测编码。在 h 2 删a v c 中，引入了空间域的帧内预测技术。利用像素之闻的空间相关性，对宏块 进行帧内预测，然后再对帧内预测误差进行变换和量化、熵编码，进一步消除了图像 信号之间的冗余信息，提高了压缩比。h 2 6 “a v c 帧内预测对象可以是4 科亮度块、 1 6 x 1 6 亮度块或8 x 8 色度块进行，共有9 种4 “帧内预测模式，4 中1 6 x 1 6 预测模式和 4 中8 x 8 预粼模式。 6 浙江大学碾士学位论文 ( 2 ) 多模式高精度运动估计“7 】 运动补偿预测技术一直是消除帧间冗余，提高视频压缩效率的关键所在。 h 2 6 4 ，a v c 将这项技术发展到了一个更高的层次。 首先，在h 2 6 4 中提供了从1 6 x 1 6 到4 x 4 的多种块划分模式。前面曾经提到，采 用块做为运动补偿的对象是对复杂的图像分割技术和预测精度的一个折衷。块的划分 方式有可能将同一运动物体划分到不同的块中，趴而造成预测精度的下降。在h2 6 4 中，将块的划分方式从原来的两种( 1 6 x 1 6 或8 x 8 ) 发展到了7 种，使得运动补偿可以 选择更接近于运动图像分割的块的划分方式来进行预测编码，提高了运动补偿的精度， 降低码率。但是同时由于模式的增多也增加了编码宏块头信息的比特数，因此在进行 宏块模式选择对应用综合考虑预测精度和头信息比特数之间的关系。 其次，h2 6 4 还提供了更高精度的运动矢量。由于运动物体的位置移动有时并不 以整隙索为单位来进行，此时，采用子像素的运动估计有时能获得比整像素更好的预 测效果。在h 2 6 4 中，运动补偿精度达到了1 ，4 像素，并采用6 阶滤波器来进行半像 素的插值运算。 多帧参考技术是h 2 6 4 运动估计模块的又一个创新点。对于一些运动剧烈或者出 现往返运动的视频场景，最佳的匹配块可能出现在与当前帧相距若干帧的某一帧图像 中，因此采用多帧参考可以更进一步提高运动估的糟度。在h 2 6 4 中参考帧数最多可 以达到3 2 帧。但是h 2 6 4 ，a v c 的运动估计的时间复杂度也髓着参考帧的增加的丈幅 的增加。 ( 3 ) 整数变换 在h 2 6 4 中用整数变换取代了以往标准中的d c r 变换。整数变换具有以下几个方面 的优点： a 所有运算都是整数运算，避免了d c t 变换中的浮点运算。 b 整数变换的逆变换由标准明确规定，只要是严格按照标准进行变换和反变换，则 编码端变换前和解码端反变换后的结果严格一致。 c 整数变换的核心计算过程无需乘法运算，只需要加法和移位操作。对于莱些不能 进行高效乘法运算的处理器来说，这个特点可以提高这些处理器进行变换的速度。 ( 4 ) 熵编码 h 2 6 4 提供了两种类型的熵编码方法：统一的变长编码( u v l c ) ”和土下文自 适应算术编码( c a b a c ) 仁0 i 。统一的变长编码是缺省的编码方式。u v l c 实际上包 括两种编码方式，一种用于编码参数的e x p _ g o l o m b 熵编码和用于编码残差数据的上 下文自适应变长编码( c a v 乙c ) 。c a b a c 是应用于m a i n p r o 丘l e 的一个可选的熵编码 方式。c a b a c 编码过程包括上下文建模、自适应概率估计和二进制算法编码。c a b a c - 7 浙江大学硕士学位论文 能够获得比u v l c 更好的压缩性能。但是也需要比u v “c 更高的计算复杂度。 ( 5 环路滤波 在h 2 6 4 a v c 之前的标准，去块效应滤波只是做为解码端的后处理的一个步骤， 是一个可选的操作。在h 2 6 州a v c 中将滤波模块做为一个可选项添加到了编码环路中， 如图12 1 中“f i l f e r ”模块。重构图像经过滤波后再作为后续图像的参考帧。经过滤 波后的重构图像消除了块效应，更加接近于原始图像，提高了帧间预测的准确性a ( 6 ) 新型帧格式2 1 1 除了以往标准中常用的i 、p 、b 帧外，h 2 6 4 ，a v c 还定义了新的帧类型：s p ( s w i l c h p 疗a 工i 】e ) 和s i ( s w i 劬l 劬m e ) ，这两种类型的帧可以在不同的视频流或一个视频流 的不同部分进行切换，以及像v c r ( v i d e oc a s s e t t er e o r d e r ) 一样进行有效的随机存 取，提供陕进、快退、定位寻找等功能 1 3 视频压缩编码的实现和优化 1 3 1 视频压缩技术的实现方法 在现有的视频编码系统中，一般采用三种方式来实现压缩算法。 ( 1 ) 纯硬件方式，印采用a s i c ( a p p a o ns p e c i f ki i l t e g m 刚c n u i t ) 专用芯片来 实现图像的编解码。此种方式对各种编解码算法都采用硬件的方式来实现这样可咀利用 硬件的特点来提高算法的速度，选至4 速度块、压缩率商、图像质量好等优点。但是灵活性 差+ 一且编解码方案确定，就无法对其进行升级与更新。 ( 2 ) 纯软件方式，由于此种方式完全基于普通桌面p c 机处理器由p c 机的c p u 完 成各种视频数据编解码。这种方式的优点在于充分年用p c 的计算能力，降低实现成本r 而且方案灵活，易升级。 ( 3 ) 基于d s p ( d i g i t a ls j g n a lp r o c e s s o r ) 的软件实现方式。这种方法利用d s p 高速 的信号处理能力，用软件来使视频的编解码算法，可以大大缩短编解码时间，获得较高的 压缩比。 1 3 2 针对d s p 平台的视频编解码优化 近年来，随着消费多媒体产业的发展，市场上用于多媒体应用的d s p 芯片越来越多， 妞t i 公司的d m 6 4 ，a d 公司的b 1 a c 蛆n 系列芯片等。这些芯片专门针对视频应用开发了 b 浙江大学硕士学位论文 特殊的处理器结构，提供了高教的指令系统，使得利用d s p 进行视频编解码的性能得到了 不断的提升，以d s p 为核心加上适当的外围部件所形成的视频编解码系统也成为了视频应 用的主流。针对d s p 平台的视频应用，往往具有更高的实耐性要求，而且由于d s p 芯片 和通用处理芯片的差异，使得在d s p 上进行视频编解码优化和在p c 上的优化有较大的区 别，对于d s p 上的视频编解码优化主要有以下几个方面： ( 1 ) 空间复杂度优化 由于存储器是造成系统开销( 芯片面积、功耗、硬件成本等) 的主要因素之一 因此对于d s p 芯片来说，为了降低开销，其片上存储空间窖量总是有限的，而片外空 间容量虽然较大，但是读写速度往往较慢。因此对于一个基于d s p 的视频处理系统而 言，是否充分利用片上存储器的速度和片外存储器的容量是影响整个系统性能的关 键。因此在进行视频娃理系统设计时规划好片内存储资源至关重要。d s p 芯片的存 储空间可分为程序空间( 也可以称为指令空间) 和数据空间。因此对十宅间复杂度盼 优化包括程序存储空闻优化和数据存储空间优化。 a 1程序存储空闻优化： 现代的d s p 芯片往往都有自己的c 编译器，使得应用开发可以在更高级的c 语言上进行，提高开发周鹩。c 编译器往往提供各种不同程度的优化编译选项， 如a d 公司的油删d s p 开发环境的c 编译器，提供了代码大小优化和代码执行 速度优化两种针对于代码的优化选项。充分利用d s p 芯片提供的开发工具中的各 种优化选项进行代码的优化编译是进行程序空间优化的一个重要的遗衽。另外， 对于某些模块可以采用手工汇编来优化指令代码的空间， b ) 数据存储空间优化： 数据空间的优化较程序空间优化灵活得多+ 也复杂得多。由于数据存储空间 的分配将直接影响程序代码的结构，进而影响程序代码的大小和程序代码执行的 效率，因此数据存储空问的优化比之程序空间的优化更为重要。通常对数据存储 空间进行优化需要综合考虑以下两个准则：克分利用内上存储空间资源和尽可能 减少存储分配带来的片内外数据调度对系统性能的影响。 ( 2 )时间复杂度优化 与基于p c 平台的视频处理应用不同，对基于d s p 平台的视频应用，时间复杂度 优化往往要考虑更多的方面。但是总的来说，时问复杂度优化仍然可卧从两个级别上 进杼：算法缓和指令级。 算法级是从算法实现的角度来考虑优化。对于基于d s p 平台的视频应用系统，算 9 浙江大学硕士学位论文 法级优化还应该结合考虑d s p 芯片本身的一些特点。有些算法虽然在p c 平台上取得 很好的优化效果，但是不一定在d s p 芯片上就能取得相同的性能，甚至是有些算法在 某个d s p 芯片上具有很好的效果但是在另外的芯片上却无法达到同样的性能，例如 对于d c t 模块，以往的优化算法往往从减少乘法运算的角度来进行优化，甚至不惜增 加对存储器的访问次数，因为原来的芯片对乘法运算的执行效率低，因此这种优化算 法在这类的芯片上就能取得很好的优化效果。但是现在的d s p 芯片往往具有高效的乘 法运算指令，因此原来的优化思想就不再适用。因此对基于d s p 平台的视频应用，算 法级优化应结合考虑d s p 芯片的特点，才能制定确实可行的优化算法 指令级优化是利用d s p 芯片提供的多媒体指令从开发数据并行性的角度对代码 进行优化。视频数据往往具有很多可并行性，同时现代韵d s p 芯片为了提高媒体她理 的能力往往提供了多种s 指令。要进一步的减少时问复杂度，还应该充分利用 d s p 芯片特有的s 虹d 指令，进 亍指令级的优化。 1 4 针对h 2 6 舭w c 编解码器的研究现状 h2 6 4 ，a v c 视频编码由于采用了一系列新的编码技术，提高了压缩效率但同时也使 得编码计算复杂度大幅度提高。针对h 2 6 4 w c 编解码优化的工作是目前视频编解码研究 的热点，目前已公布了多个研究成果。例如y 廿m o s h ea n d n i 删d dp e 】e 窟等人分别在三款 不同的d s p 芯片上( 的d m 6 4 2 ，飞思卡尔的s t a l c o r e 和a d 的b j a c k 右n ) 对h 2 6 4 ，a v c 的解码器进行了研究，并分析比较了 l 2 6 4 ，a v c 解码器在这三个d s p 芯片上的性能差异 【2 2 】。x s2 舢u 等人使用i n c e l 公司的s m d 指令对h 2 6 “a v c 进行了细致的优化， v | d e o l 艘u s 公司演示了基于p c 平台的实时b a s e l l n e 软件解码器川u b d e o 公司发布了 基于d s p 处理器的虫时解码器版本】，v s s 公司也在互联网上公布了优化参考解码器的 可执行程序o “，而zl 艘ew 粕g 则对在c t 3 4 0 0 多核d s p 芯片上实现h 2 6 4 ，a v cb a s e l i n e 编解码进行了深入的研究8 ”。 1 5 本文主要内容 基于d s p 平台的编解码是最新的视额压缩标准h 2 6 4 ，a v c 的一个重要的应用领域。 本文主要针对d s p 平台，对h 2 “b a l i i l e 的编码器算法的实现和优化进行研究，并以a d 公司的b f 5 3 3 芯片为例进行研究结果的实验验证。本文的主要贡献和章节安排如下： ( 1 ) 第二章主要对在d s p 芯片上实现h 删a v c 编码系统中的内存管理和数据调度 方面进行了研究。在分析了d s p 处理嚣存储结构特点和h 2 删a v c 数据处理量的基础上， 提出了一种基于宏块的数据缓存机制，并在此数据缓存机制上利用基于任务链的二维d m a 技术制定了高效的数据调度策略，有教地减少了数据搬运任务时间。 - 1 0 - 浙江大学硕士学位论文 ( 2 ) 第三章主要针对d s p 平台的应用，对h 2 硎a v c 的模式选择算法进行优化。先 根据h 2 6 4 ，a v c 模式选择在b f 5 3 3 芯片上时间复杂度的分析结果，提出了一种小块模式提 前退出和帧内预测模式提前退出算法，然后结台b f 5 3 3 的多媒体处理指令进行指令级优化。 ( 3 ) 第四章主要针对h 2 6 4 ，a v c 编码器中的码率控制算法展开研究。本章从减少时 间复杂度的角度出发，在相对较为简单的率失真模型的基础上提出了一种新的宏块级码率 控制算法。新算法充分利用了宏块的实际编码特性，采用多种自适应技术，实现了在宏块 之间台理的分配目标码率，并结台眺块预判断技术，在保证了码率控制准确性和图像编码 质量的前提下，实现了编码速度大幅提高。 ( 4 ) 最后总结全文并对咀后的工作进行展望。 浙江大学硕士学位醅文 2 1 概述 第二章存储空间管理和数据调度 在视频处理应用中，数据量大是其最大的特点。在基于d s p 平台的视频应用中，庞大 的数据量意味着要求d s p 芯片具有大容量快速存储空问。现代的d s p 处理芯片往往采用 分层的存储器结构，在片上集成快速的存储器，然后采用访问速度较慢的d r a m 等器件做 为片外存储器。出于对芯片面积和功耗等因素的考虑片上快速存储器往往窖量有限a 在 视频处理中实时性是根本的要求，为了提高处理速度，必须尽量将数据存放到快速片上存 储空间中然而有限的快速片上存储空间又远远无法满足视频处理庞大的数据量的要求。 这就造成了处理速度，有限的快速存储器容量和庞大的处理数据之间的矛盾。 因此如何合理的进行存储空间的规划和片内外数据的调度是解决上述矛盾的关键所 在。本章结合考虑d s p 芯片存储器窖量和速度的特点，在分析h 2 删a 、，c 各种新技术的 数据处理特点的基础上，提出了一种基于宏块的数据缓存机制，并在该数据缓存帆制基础 上，利用二维d m a 数据传输机制，制定了有效的数据调度策略。 2 2 数据流模型分析 对基于d s p 平台的视频编码应用而言，可以：舟d s p 处理器任务抽象为两大类；一类 为数据计算任务，用于进行各类计算，如运动估计变换量化，熵编码等；另外一类是数 据搬运任务，为计算任务提供各种所需的数据，如为运动估计准备参考数据，为各类预测 模式准备预测数据等。根据数据存储空间分配的不同，数据计算任务和数摒搬运任务之间 有两种不同的数据流模型。当所有数据均分配在片外存储器上时，计算任务的