（信号与信息处理专业论文）h264帧间编码算法研究与dsp移植.pdf

摘要 h 2 6 4 a v c 是i t u 和i s o 最新的视频编码标准，与现有的视频编码标准相比， h 2 6 4 a v c 视频编码器能在保持相同图像质量的情况下节省至少5 0 的码率。由 于其良好的压缩效率和网络适应性，h 2 6 4 a v c 已在视频电话，数字电视广播， 视频流媒体服务，压缩视频存储等领域得到广泛的应用。相对之前的标准，h 2 6 4 采用众多新技术，这些技术能够有效地提高编码器的压缩性能，但是也大大增 加了运算复杂度。因此，如何降低运算复杂度，提高编码速度是实现实时编码 器的关键。 首先，本文阐述了视频压缩技术的发展情况、最新的h 2 6 4 视频标准的结构 与特点。讨论了h 2 6 4 参考模型中的运动估计和模式选择的过程及特点，介绍了 参考模型中的整像素穷尽运动匹配以及模式选择的算法。研究了视频序列中的 时间与空间相关性，以及运动估计残差与宏块模式的关系，并提出了一种帧间 宏块编码模式的快速选择算法。该算法利用运动估计的残差确定宏块模式，并 利用子块残差与宏块残差的比值确定子块模式。给出了该算法以j m 编码模型为 基础，在p c 平台上的实验结果。实验结果表明，本算法能够在不显著降低图像 质量及增加码率的条件下，提高3 0 5 0 的编码速度。 其次，介绍了t m s 3 2 0 c 6 0 0 0d s p 硬件平台的结构，包括c p u 硬件结构、通 用寄存器组、功能单元与交叉通路，以及流水线的原理。介绍了t m s 3 2 0 c 6 0 0 0 d s p 特点及其软件开发、优化的方法。将h 2 6 4 的编码模型t 2 6 4 移植至i j d s p 上。 利用软件流水、线性汇编等方法针对h 2 6 4 编码器的多个耗时的运算模块进行优 化。其中包括像素插值、帧内帧间预测、整数d c t 变换、量化等模块。然后， 在c c s 集成开发环境平台上，对优化结果进行了仿真。实验结果表明，经过了多 个模块的优化，h 2 6 4 编码器的运行速度大大提高。以6 0 0 m h z 为主频的d s p 能够 对q c i f 格式的视频进行实时编码。 最后，对本人在研究生阶段的学习作出了总结，并对未来的研究作出了展 望。将d s p 的缓存优化、h 2 6 4 编码算法的f p g a 实现，以及在通用c p u 上利用 s i m d 指令集优化作为今后的研究方向。 关键词：h 2 6 4 ，帧间编码，d s p ，软件流水，线性汇编 a b s t r a c t h 2 6 4 a v ci sas t a t e - o f - t h e - a r tv i d e oc o d i n gs t a n d a r dp r o p o s e db yi t ua n di s o c o m p a r e dw i t he x i s t i n gv i d e oc o d i n gs t a n d a r d s ，h 2 6 4 a v cc a ns a v e a sm u c ha s 5 0 b i tr a t ew h i l ek e e pt h es a m ei m a g eq u a l i t y d u et oi t so u t s t a n d i n gc o d i n g e f f i c i e n c ya n da d a p t i v i t yt on e tt r a n s m i s s i o n ，h 2 6 4 a v ch a sb e e nw i d e l ya p p l i e di n ar a n g eo ff i e l d s ，s u c ha sv i d e ot e l e p h o n e ，d i g i t a lt e l e v i s i o nb r o a d c a s t i n g , s t r e a m m e d i as e r v i c e s ，c o m p r e s s i v ev i d e os t o r i n ga n ds oo n h 2 6 4u s e sav a r i e t yo fn e w t e c h n o l o g i e st oi m p r o v et h ec o m p r e s s i o ne f f i c i e n c yo fe n c o d e r , b u ti n c r e a s e sc o d i n g c o m p l e x i t yq u i t eal o ti nt u r n s o ，h o wt od e c r e a s et h ec o m p u t i n gc o m p l e x i t ya n d a c c e l e r a t et h ec o d i n gp r o c e s si sak e ye l e m e n to fr e s e a r c h f i r s to fa l l ，i nt h i sd i s s e r t a t i o nt h ed e v e l o p m e n to fv i d e oc o d i n gt e c h n o l o g ya n d t h es t r u c t u r ea n dc h a r a c t e r i s t i co fh 2 6 4v i d e oc o d i n gs t a n d a r da r ee x p o u n d e d t h e p r o c e d u r ea n dc h a r a c t e r i s t i co fm o t i o ne s t i m a t i o na n dc o d i n gm o d ed e s i c i o ni nt h e r e f e r e n c i a lm o d e lo fh 2 6 4 a v ci sd i s c u s s e di nt h ed i s s e r t a t i o n t h ea l g o r i t h mo ff u l l p i x e le x h a u s t i v em o t i o nm a t c h i n ga n dm o d ed e c i s i o ni si n t r o d u c e d t h e nas t u d yo f t i m ea n ds p a c i a ld o m a i nc o r r e l a t i o na n dr e l a t i o n sb e t w e e nm o t i o ne s t i m a t i o nr e s i d u a l a n dm bm o d ew a sd e m o n s t r a t e d af a s tm bm o d ed e c i s i o na l g o r i t h mi ni n t e rf r a m e f o rh 2 6 4v i d e oc o d i n gi sp r o p o s e d t h ea l g o r i t h mu t i l i z e sa l lm b sm o t i o ne s t i m a t i o n r e s i d u a lt od e c i d et h em b sc o d i n gm o d e ，a n dt h er a t i oo fas u b m b sm o t i o n e s t i m a t i o nr e s i d u a lt ot h em b sm o t i o ne s t i m a t i o nr e s i d u a lt od e c i d et h es u b m b s c o d i n gm o d e a n dt h ee x p e r i m e n t a lr e s u l t so f t h ea l g o r i t h mu s i n gj ms o f t w a r eo np c p l a t f o r ma r ed i s p l a y e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a n s a v e3 0 一5 0 t o t a le n c o d i n gt i m ew i t h o u ts i g n i f i c a n ti m a g ed e g r a d a t i o no rb i t r a t e i n c r e a s i n g s e c o n d ，t h es t r u c t u r ea n dc h a r a c t e r i s t i co ft m s 3 2 0 0 c 6 0 0 0d s ph a r d w a r e p l a t f o r ma n di t s s o f t w a r ed e v e l o p m e n ta n do p t i m i z a t i o nm e t h o da r ei n t r o d u c e d ， i n c l u d i n gh a r d w a r ea r c h i t e c t u r eo fc p u ，g e n e r i cr e g i s t e rf i l e s ，f u n c t i o nu n i t s ，a n d d a t ap a t h ，a sw e l la st h ep r i n c i p l e so fp i p e l i n e t h e n ，h 2 6 4c o d i n gm o d e l ，t 2 6 4 ，i s t r a n s p l a n t e do nd s pp l a t f o r m a n ds e v e r a lt i m e - c o n s u m i n gm o d u l e s ，i n c l u d i n gp i x e l i n t e r p o l a t i o n ，i n t r a i n t e rf r a m ep r e d i c t i o n ，i n t e g e rd c tt r a n s f o r m ，q u a n t i f i c a t i o na n d i i s oo n ，a reo p t i m i z e dw i t ht h em e t h o do fs o f t w a r ep i p e l i n e ，l i n e a ra s s e m b l yl a n g u a g e t h e nt h eo p t i m i z a t i o nr e s u l t sa l es i m u l a t e do nc c si d e t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tb yo p t i m i z i n gt h em o d u l e s ，t h es p e e do fh 2 6 4e n e o d e r i sm u c hf a s t e rt h a n t h a tb e f o r eo p t i m i s i n g a n dd s pa taf r e q u e n c yo f6 0 0 m h zc a ne n c o d ev i d e o si n q c i ff o r m a tr e a lt i m e l a s tb yn o tl e a s t ，m ye x p e r i e n c eo fp o s t g r a d u a t ep e r i o di sc o n c l u d e d ，a n dv i s t a i sd e p i c t e d d s p sc a c h eo p t i m i z a t i o n , i m p l e m e n t a t i o no fh 2 6 4c o d i n ga l g o r i t h m o nf p g a a sw e l la so p t i m i z a t i o no fg e n e r i cp u r p o s ec p uu s i n gs i m di n s t r u c t i o n s e ta r et a k e ni n t oc o n s i d e r a t i o nf o rf u t u r er e s e a r c h k e y w o r d s ：h 2 6 4 ，i n t e rf r a m ee n c o d i n g ，d s p , s o f t w a r ep i p e l i n e ，l i n e a ra s s e m b l y i i i 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得武汉理工大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 签名： 隆重 日期：迦：纽：孑一 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规 定，即：学校有权保留并向国家有关部门或机构送交论文的复印 件和电子版，允许论文被查阅和借阅。本人授权武汉理工大学可 以将本学位论文的全部内容编入有关数据库进行检索，可以采用 影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经 武汉理工大学认可的国家有关机构或论文数据库使用或收录本 学位论文，并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：矫晦、导师( 签名) ：彩澎一7 日期 ：砂寸号，工夕 武汉理工人学硕七学位论文 第1 章引言 1 1 图像和视频压缩技术现状 随着集成电路技术、数字信号处理技术、通信技术的飞速发展，人类对信 息的处理从模拟领域进入了数字领域，从本地的单机处理进入了网络交互式处 理，从简单的文本信息进入了多媒体信息处理。 多媒体信息主要包括文字、声音、图像、图形和视频等内容。其中视频是 多媒体信息中最重要的组成部分。首先，视频信息极易被人接收。据统计人类 接收的信息大约7 0 来自视觉。其次，视频信息具有直观、准确、高效和应用 广泛等特点。第三，与音频、数据相比，视频具有无与伦比的信息容量。 2 0 世纪9 0 年代后期，i n t e m e t 迅猛发展，无线通信也迅速在全球普及，因 此人们开始有了在网络上传输视频和图像的愿望，于是视频和图像编码的目标 也就从传统的面向存储变为现在的面向传输。在网络上传输视频和图像等多媒 体信息除了要解决误码问题之外，最大的挑战在于用户可以获得的带宽在不停 的变化。这主要是因为网络的异构性，即各子网的网络资源，包括处理能力、 带宽、存储和拥塞控制策略等分布得很不均，用户通过不同的通信子网传输数 据会体验到非常不同的实际传输吞吐量、数据丢失率、传输延迟；另外由于现 在的网络没有提供资源预留一类的协议保障，当网络拥塞发生时，多媒体数据 流的有效传输带宽会突然降低，影响用户接收多媒体信息的质量和速度，甚至 造成无法观看。 在此背景下，国际标准化组织( i s o ) 、国际电工联合会( i e c ) 及国际电 信联合会( 删- t ) 陆续制定了一系列图像，视频压缩国际标准，包括j p e g 、 m p e g 和h 2 6 x 标准【l 】，推动了视频技术在各领域的迅速普及。 h 2 6 4 标准不仅具有很高的编码效率，而且具有良好的网络适应性。如何 在现有的技术水平和硬件条件下实现多媒体通信终端设备和产品一直是信号处 理领域和相关企业关注的话题。目前，随着数字信号处理器( d s p ) 的高速发 展，为我们实现实时高效的多媒体处理提供了可能性。尤其是t i 公司的 t m s 3 2 0 c 6 4 x x 系列产品【2 1 ，具有高主频、多流水线、高并行度的视频信号处理 指令等优点，使其成为视频处理领域优先选择的d s p 芯片之一。因此，将h 2 6 4 武汉理上人学硕十学位论文 标准与t m s 3 2 0 c 6 4 x x 芯片相结合，实现高效的多媒体通信平台具有一定的工 程意义和市场价值。 1 2h 2 6 4 视频标准概述 m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合开发了一个比早期研发的m p e g 和h 2 6 3 性能更好的视频压缩编码标准， 这就是被命名为a v c ( a d v a n c e dv i d e oc o d i n g ) 的，也被称为i t u th 。2 6 4 建议和m p e g - - 4 的第1 0 部分的标准。这个国际标准已于2 0 0 3 3 正式被i t u t 所通过并在国际上正式颁布。 应该说，h 2 6 4 的颁布是视频压缩编码学科发展中的一件大事，它的优异 的压缩性能也将在数字电视广播、视频实时通信、网络视频流媒体传递以及多 媒体短信等各个方面发挥重要作用。 数字电视的优越性已是公认的，但它的广泛应用还有赖于高效的压缩技术。 例如利用m p e g - - 2 压缩的一路高清晰度电视( h d t v ) ，约需2 0 m b s 的带宽， 如利用h 2 6 4 进行一路h d t v 的压缩，大概只需5 m b s 的带宽。美国己公布在 2 0 1 0 年( 我国约在2 0 1 5 年) 停止模拟电视广播，全部采用数字电视广播，如 果h d t v 要获得迅猛发展，必须要降低成本。以传输费用而言，采用h 2 6 4 ， 可使传输费用降为原来的1 4 。 视频通信是h 2 6 4 又一个重要应用，上世纪9 0 年代初以来，会议电视在我 国获得了迅速发展，主要是利用它召开行政会议，其优点是节约大量旅途出差 时间，节约出差费用，还争取了时间及时作出了重大决策。由于互联网在9 0 年 代的迅猛发展，人们希望利用i p 技术传输视频。h 2 6 4 不仅具有优异的压缩性 能，而且具有良好的网络亲和性，这对实时的视频通信是十分重要的。 和m p e g - 4 中的重点是灵活性不同，h 2 6 4 着重在压缩的高效率和传输的 高可靠性，因而其应用面十分广泛，具体说来，h 2 6 4 支持三个不同档次，如 图1 1 所示。 1 ) 基本档次：主要用于“视频会话”，如会议电视，可视电话，远程医疗、 远程教学等； 2 ) 扩展档次：主要用于网络的视频流，如视频点播； 3 ) 主要档次：主要用于消费电子应用，如数字电视广播，数字视频存储等。 2 武汉理下大学硕十学位论文 e x t e n d e dp r o f i l e 1 3 本课题的研究现状 图1 ih 2 6 4 档次 从1 9 8 4 年c c i t t 公布第一个视频编码国际标准以来，至今已有2 5 年了。 i t u - t 等国际标准化组织陆续颁布了接近十个视频编码国际标准，大大推动了 视频通信和数字电视广播的发展，这也是有目共睹的事实。2 0 0 3 年3 月， i t u t i s o 正式公布了h 2 6 4 视频压缩标准，由于其相比以往标准的出色的性 能，被人们称为新一代视频编码标准。具体讲，与h 2 6 3 或m p e g 4 相比，在 同样质量下，其码率能降低一半左右；或者说在同样码率下，其信噪比明显提 高。这样一来，h 2 6 4 标准在国际上受到了广泛的重视和欢迎。 和以前的标准相比，h 2 6 4 中有多个亮点，如给予上下文的自适应变长编 码( c a v l c ，c o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，高精度、多模式的运 动估计，基于4 x 4 块的整数变换，分层的编码语法等。因此，h 2 6 4 具有很高 的编码效率，在相同的重建图像质量下，h 2 6 4 比上一代编码标准m p e g 2 平均 节约6 3 的传输码流，比m p e g 4a s p ( a d v a n c e ds i m p l ep r o f i l e ) 要平均节约 3 武汉理t 人学硕+ 学位论文 3 7 的传输码流。同时，h 2 6 4 增强了对各种信道的适应能力，以满足不同速率 ( 从4 0 k b p s 到1 0 m b p s ) 、不同清晰度及不同传输( 存储) 场合的需求。h 2 6 4 可用于移动掌上电视( m o b i l e t v 、d v b h ) 、网络电视( i p t v i p v o d ) 、数字 电视广播( d v b s d v b t h d t v ) ，固定和移动可视电话( v i d e o p h o n e ) 、i p 视 频会议、远程监控、高清d v d 播放机( h dd v d 蓝光高清) 、d v d 录像机 ( d v r p v r ) 、便携式媒体播放机( p m p ) 、数字摄像机( d v ) 、数字监控 ( s u r v e i l l a n c e ) 等。而且它的基本规范( b a s e l i n ep r o f i l e ) 是开放的，使用无需 版权。 h o r o w i t z 3 】和l a p p a l a i n e n 4 】分析了h 2 6 4 a v c 解码器的复杂度并讨论了解 码器的实现。文献 5 】和 6 】研究了多帧预测的选择，文献 7 】研究了帧内预测模式 的选择问题，对h 2 6 4 a v c 运动估计的研究也是近期的热点，包括文献【8 】- 【1 l 】。 文献 1 2 、 1 3 对通用c p u 上对h 2 6 4 编解码器优化进行了讨论。同时很多芯 片设计公司、视频通信公司都在设计优化自己的h 2 6 4 a v c 编解码专用芯片或 多媒体处理器。 相比较a s i c 而言，数字媒体行业在d s p 平台上进行视频产品开发有以下 方面的优势：第一，用户开发自由度更大，支持多种个性化开发，可以满足市 场不断提出的新的要求，在第一时问提升产品性能，增强产品的竞争能力；第 二，d s p 处理能力强。可以在一个d s p 上同时实现多路音频信号的压缩处理， 同时为了及时满足应用的需要、还提供了很多视频专用功能；第三，开发周期 短，实现快速技术更新和产品换代。 1 4 本文的结构 本论文对视频编码原理及当今流行的视频编码标准h 2 6 4 a v c 进行了研 究，针对h 2 6 4 a v c 标准的新特性，深入学习和理解其关键算法及其编解码原 理，分析h 2 6 4 a v c 编解码器的运算瓶颈所在，优化部分算法，并利用d s p 开发平台实现了h 2 6 4 a v cb p 编码器。具体内容有： 第1 章综合论述了视频编码技术和h 2 6 4 a v c 视频编码标准的背景知识和 研究现状。 第2 章阐述了h 2 6 4 a v c 的算法复杂度所在，并提出了种p 帧编码的快 速宏块模式选择算法，最后给出了算法在j m 测试模型，p c 平台上的实验结果。 第3 章介绍了d s p 硬件平台的结构与特点及其软件开发、优化方法。并针 4 武汉理t 大学硕十学位论文 对t m s 3 2 0 c 6 0 0 0 系列d s p 的硬件特点，对移植到d s p 上的h 2 6 4 编码器进行 了并行性优化。然后在c c s 集成开发环境平台上，对优化结果进行了仿真。 第4 章对本文进行了总结，对未来的学习进行了展望。 5 武汉理t 人学硕士学位论文 第2 章宏块模式选择的帧间快速编码算法研究 2 1h 2 6 4 a v c 参考模型中的运动估计和模式选择 2 1 1 整像素穷尽运动匹配 在参考模型j m ( j o i n tm o d e l ) 中，使用拉格朗r 代价函数求取最佳运动矢 量前，每个4 4 块的s a d 值是预先计算好的，且每个1 6 x1 6 块的预测运动矢 量也己计算，记为p 。在搜索范围m c _ r a n g e 内，寻求使式2 - 1 取值最小的那个 运动矢量 1 4 - 2 1 】，即为编码该块最优的运动矢量。 j ( m ，乏m o y i o n ) = s a d ( s ，c ( ，2 ) ) + 蒯r ( m p ) ( 2 1 ) 其中，m = 阮吲7 为所求运动矢量，p = 帆圳7 为预测运动矢量，玎d 为 拉格朗目( l a g r a n g e ) 系数。r ( m p ) 仅表示运动矢量残差信息编码比特数， 可通过查表获取。在j m 中，通常采用u v l c ( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ) 表来估计编码比特数，即使采用c a b a c 熵编码。 对于i 、p 帧，拉格朗同( l a g r a n g e ) 系数的计算有所不同， 2 u o n e ，p = 0 8 5x2 ( 鲈删3 伽、 矿m 觚( 2 删4 ，垡) ) x k ， p ( 2 - 3 ) 当采用s s d 作为失真准则时，玎d = 当采用s a d 或s a t d 作为失真准则时，删= 瓜 2 1 2 模式选择算法 h 2 6 4 a v c 的最佳编码模式选择，就是在所允许的编码模式中寻找式2 4 达到最小值的子块划分模式： j ( s ，c ，m o d ei 妇矗脚) = s s d ( s ，c ，m o d ei 驴) + 九伽r ( s ，c ，m o d eiq 尸) ( 2 - 4 ) 式中，q p 是宏块的量化参数，k 是拉格朗日( l a g r a n g e ) 系数，s s d 表示 源信号s 与重建信号c 差的平方和，m o d e 表示各种编码模式集合： 6 武汉理：r 人学硕士学位论文 is l i c e ： m o d e 9 种i n t r a4 x 4 模式，4 种i n t r a1 6 x1 6 模式】 ps l i c e ： m o d e i n t e r m o d e 模式，s k i p 模式】 bs l i c e ： m o d e 【i n t e r m o d e 模式，d i r e c t i 馍式】 而r ( s , c , m o d e i 是与模式和量化参数有关的比特开销，包括宏块头信 息、运动矢量和所有d c t 块信息的总的二进制位数，它是通过对块进行实际的 编码后获得的，所以其运算量相当大。 综上所述，参考模型中的运动估计和r d o 模式决策流程可用图2 1 表示。 图2 1 运动估计和r d o 模式决策流程 2 2 快速模式选择算法研究 在h 2 6 4 标准测试模型中，如上一节讨论，并没有对图像及视频特征进行 分析，每个p 帧的宏块都进行7 种模式预测，而且每个模式下的每个子块也都 要进行运动估计，最后利用率失真算法对所有可能模式进行比较，选出最佳预 测模式。尽管率失真优化可以带来非常好的编码特性，但是对所有模式的遍历 消耗大量时间。 通过对经过编码后图像的块模式划分的情况分析发现：均匀区域，由于时 间平稳性，使用1 6 1 6 宏块较合适。而包含明显边界特性的区域，应该使用较 小的尺寸。特性复杂且有较多运动的图像应该以更小的块划分来编码。 7 武汉理工人学硕+ 学位论文 2 2 1 视频序列中的相关性 通过对多组q c i f 和c i f 格式的标准测试序列的统计分析发现：s k i p 和1 6 1 6 模式约占总体模式的7 0 ，而采用4 x 4 、4 x 8 和8 x 4 模式只占3 5 ， 但编码处理时间占了3 0 一5 0 ，说明图像序列中存在很大部分的均匀和平稳部 , r 孓 2 2 1 - 2 5 jo 在视频序列中，一个对象的运动在时间上和空间上存在很大的相关性。在 h 2 6 4 编码标准中，通常这个对象会被分割成数个宏块或子块，这些块表现出 极大的相似性。具体说，运动相关表现为时空域相邻宏块在运动位移和方向的 相似程度。运动相关性高则表明该区域位于视频图像的背景或物体对象的内部， 其运动程度小或较平滑：而当区域处在物体对象边界，其运动程度较剧烈或抖 动，则运动相关性低。 2 2 2 运动估计残差与宏块模式之间的关系研究 运动估计的残差是当前宏块与运动矢量指向的参考帧内宏块( 即最佳匹配 块) 的差值。运动估计的残差越小，说明当前宏块与参考帧内对应块的相似程 度越大，当前块极有可能采用参考帧对应块的编码模式，而不需要考虑其他模 式；反之，运动估计的残差越大，说明当前宏块与参考帧内对应块的相似程度 小，当前块则需要更多的候选模式。 方差反映了纹理的光滑粗糙程度，残差的方差越小，宏块越可能采取较大 模式( s k i p 、1 6 x1 6 、1 6 x 8 、8 x1 6 模式) ；反之，宏块可能采取较小模式( p 8 8 模式) 。 为了验证这一点，对大量标准视频进行了实验，将1 6 x1 6 模式下运动估计 的残差块的绝对值误差和( s a d ) 作为残差的大小标准，表2 1 显示了s a d 与 宏块最佳模式的关系，表2 2 显示了残差方差与宏块最佳模式的关系。 8 武汉理t 大学硕十学位论文 表2 1s a d 与宏块模式之间的关系 最佳模式 序列 s a d 值范围 m o d e c o l o c a t e d m o d e t e n m o d e 呷m o d e 咿l e a 【0 ，5 0 0 ) 8 8 7 6 4 8 9 1 9 0 0 7 4 m i s s _ a m e r i c a q c i 5 0 0 ，1 0 0 0 ) 4 4 4 9 1 9 1 7 8 9 2 4 8 9 f ( q p = 2 8 ) 10 0 0 ，2 0 0 0 ) 2 1 7 7 1 5 8 6 1 2 6 4 5 3 8 2 0 0 02 2 0 3 8 4 8 1 1 8 6 5 0 9 【0 , 5 0 0 ) 6 9 2 9 6 7 8 6 7 9 3 9 3 f o r e m a n _ q c i f【5 0 0 ，1 0 0 0 ) 3 7 2 7 2 0 6 2 l o 8 6 4 8 4 ( q p = 2 8 )【10 0 0 ，2 0 0 0 ) 2 6 5 8 1 7 0 3 1 2 4 0 6 7 1 2 0 0 02 8 0 5 l o 8 5 1 0 8 6 6 3 4 【0 ，5 0 0 ) 5 0 o o o 0 0 o 0 0 0 0 0 b u s _ q c i f 5 0 0 ，l o o o ) 3 6 8 3 1 6 9 9 1 7 0 0 5 3 8 ( q p = 2 8 )【10 0 0 ，2 0 0 0 ) 3 4 3 9 1 9 4 9 1 3 3 1 7 1 5 2 0 0 03 5 5 5 1 9 3 2 1 3 7 7 7 7 9 表2 2 残差方差与宏块模式之间的关系 最佳模式 序列力差范围 s k i p1 6 x 1 61 6 x 88 x 1 6p 8 x 8 m i s s a m e r i c a 0 ，5 0 ) 7 6 2 8 1 6 3 1 3 1 6 3 1 9 1 0 3 _ q c i f 5 0 ，1 0 0 ) 1 5 0 8 3 0 1 7 1 8 9 9 1 2 2 9 2 3 4 6 【1 0 0 ，2 0 0 ) 6 3 8 2 7 6 6 2 3 4 0 6 - 3 8 3 6 1 8 ( q p = 2 8 ) 2 0 00 0 0 0 0 0 o 0 0 1 0 0 0 0 0 【0 ，5 0 ) 3 9 0 7 3 4 5 5 8 1 2 1 1 0 0 6 5 7 f o r e m a n _ q c i f【5 0 ，1 0 0 ) 6 7 2 2 6 7 5 1 3 8 8 1 5 5 9 3 6 1 9 ( q p = 2 8 )【1 0 0 ，2 0 0 ) 3 4 1 6 8 2 1 2 6 7 1 7 0 1 4 8 7 6 2 0 00 9 9 9 9 1 0 8 9 1 1 8 8 6 4 3 5 【0 ，5 0 ) 2 5 7 7 6 6 0 2 6 2 7 2 1 5 4 1 9 8 2 b u s _ q c i f 【5 0 ，1 0 0 ) 4 5 5 3 7 5 2 3 5 2 1 9 5 7 4 8 6 2 ( q p = 2 8 ) 【1 0 0 ，2 0 0 ) 0 6 9 1 9 7 1 9 7 7 1 1 9 1 6 5 6 6 2 0 0 0 o o 0 4 0 9 6 0 4 8 0 8 5 2 0 从统计上看，s a d 的大小与模式有比较直接的关系。当s a d 在较小范围 内时，最佳模式几乎可以由参考帧内对应位置宏块的模式确定。随着s a d 增大， 最佳模式与参考帧内对应位置宏块的模式这种关系减弱，而需要邻近宏块的模 式作为候选模式。相比之下，残差方差与宏块模式的关系比较弱。经过观察， 当残差方差很低的时候，宏块模式几乎可以确定为s k i p 或1 6 x1 6 。因此，在 本文提出的算法中也利用到了这一点。 9 武汉理t 大学硕士学位论文 图2 - 2 显示了f o r e l n a l l q c i f 第3 8 帧的原图像、编码模式、s a d 值与残差方 差值的分布。比较大的宏块模式( s k i p 、1 6 x 1 6 、1 6 8 、8 1 6 模式) 在图像 中用蓝色的方块反映；比较精细的宏块模式( 8 8 、8 4 、4 8 、4 x 4 模式) 用红色的方块反映。同样的，比较大的s a d 值和方差用红色的方块反映，比较 小的s a d 值和方差用蓝色的方块反映。从图像中可以看出，图像的细节在图像 的中部( 人脸) 。因为，图像的中部采用了比较精细的宏块编码模式。而砖瓦属 于背景部分，采用了比较大的宏块编码模式。从s a d 值和方差值的分布看，模 式划分与s a d 值和方差值有比较好的吻合。 ( a ) f o m r a a n q c i f 第3 8 帧的原图像( b ) 各个宏块，子块的编码模式 器i l 懿星器皿啊l _ 。_ _ - 皿m 器- i ：c _ ! 鲁啊露r “一l翟器昌_ 一 蔓曼量蔓星曼曼甄 璺懿殛璺鐾量1- i _ 一蓄2 暑一- 雾 笪一一鳖孽蔓笪笪舅舅篁一鱼 一- 一簿，奠 霄跚! 豫疆暮骂冒。一：i - - 豇疆l _ 霜皿 ：l嚣_ - a i - 昌：i ：疆嗣 塑琶器曼螬1 黏h 兰二一! 竺； ( c ) 1 6 x 1 6 运动估计残差的s a d 值分布( d ) 1 6 1 6 运动估计残差的方差值分布 图2 - 2 f o r e m a q e i f 撵, 3 8 帧的原图像、编码模式、s a d 值与残差方差值的分布 武汉理1 ：大学硬十学位论文 同样，图2 - 3 显示了m o b i l e q c i f6 0 帧的原图像、编码模式、s a d 值与碱 差方差值的分布。可以看出图像的细节主要在图像的上部。因为上部采用了较 精细的宏块编码模式( 红色、黄色的方块) ，与之对应的是较高的s a d 值和方 差值。而运动量较小的部分采用了较大的宏块编码模式( 蓝、绿色方块) ，对应 较低的s a d 值和方差值。 ( a ) m o b i l c q c i f 第6 0 帧的原图像 ( b ) 各个宏块，子块的编码模式 m = d - r - | r - 霹嫩荔：。职黾嚣雾i 释 。一啊，- l i 殂目一目喜器臣 喧童鲞西 一一 一 i i n n | ! l h i n 翳鼎：啊晤一 雪葺” i n n 嚣嚣。 ( 01 6 1 6 运动估计残差的s a d 值分布 图2 3m o b i l eq c i f g6 0 帧的原图像、 2 23 白适应的p 8 8 模式选择 ( d ) 1 6 1 6 运动估计残差的方差值分布 编码模式、s a d 值与残差方差值的分布 h2 6 4 标准规定，宏块如果采用p 8 8 模式编码，那么子块可以采用8 8 、 8 4 、4 x 8 、4 4 模式。当8 8 残差块的s a d 较小时，子块倾向于采用8 8 模式：当8 8 残差块的s a d 较大时，子块倾向于采用4 4 模式。为了自适应 的判决子块模式t 将残差块分割成4 个子块，各自的s a d 记为s a d ，( i = 1 - 4 ) ， 将整个残差块的s a d 记为s a d 。将s a d 。与宏块s a d 的比值 用来判决子块 模式。 武汉理： 人学硕十学位论文 2 2 4 基于运动估计残差的模式选择算法 基于运动估计残差的模式选择算法步骤如下： ( 1 ) 首先计算1 6 x 1 6 模式下运动估计残差块的方差，如果小于阈值t h 0 ，则将 s k i p 、1 6 x 1 6 模式加入到候选模式中。转下一步。 ( 2 ) 计算残差块的绝对差值和( s a d ) ，如果s a d t h 2 ，则将残差块分成4 个8 x 8 子块，求每个子块的绝对差值 和，记为s a d i 。( 卢1 4 ) 依次检查残差块的4 个8 x 8 子块： 如果s a d i s a d t h 3 ，则将1 6 x 8 、8 x 1 6 作为候选模式，并将8 x 8 作 为当前宏块的第i 个子块的候选模式。并退出。 如果t h 3 s a d i s a d t h 4 ，则将4 x 4 作为当前宏块第f 个子块候选模式。 并退出。 整个程序的算法流程图如图3 2 所示。 2 2 5 阈值的确定 如第二节所述，一共有5 个阈值需要确定( 矾t l l 4 ) 。在这一节中，讨论 怎样确定这5 个阈值。本算法采用t 2 6 q b 的迭代方法获得最佳的阈值。步骤 如下： ( 1 ) 首先，用任意初始值将t 1 1 0 m 初始化； ( 2 ) 依次调整t h o 。m ，使率失真开销达到局部最小值； ( 3 ) 重复上一步，使得率失真开销达到全局最小值。 在对大量视频序列进行了试验后，发现t h 0 和t h 3 对q p 具有鲁棒性。而 t h l 、t h 2 、t h 4 在一定q p 范围内与q p 呈线性关系。式2 5 是t 1 1 0 t h 4 的取值： t h o = 2 5 0 0 t h l = m a x ( 0 ，3 7 5 宰q p 一4 0 0 ) t h 2 = m a x ( 0 ，5 0 木q p 一6 0 0 ) ( 2 5 ) t h 3 = o 2 5 t h 4 = 1 0 5 0 0 1 8 7 5 木q p 1 2 武汉理f 1 ：人学硕十学位论文 图3 - 2 算法流程图 武汉理工人学硕士学何论文 2 3 实验结果 为了验证算法性能，对一系列不同的标准视频序列进行了对比实验。实验 条件如表2 3 所示。软件平台是m sw i n d o w s x ps p 2 ，v c + + 6 0 编译j m l 0 2 ， r e l e a s e 版。硬件平台是p 42 8 g h z ，7 6 8 m br a m 。定义了衡量算法性能的指 标。分别是峰值信噪比增量( ap s n r ) ，码率增量( ab i t s ) ，模式节省因子( s ) ，以及编码时问节省因子( at ) 。它们的定义如式2 - 6 至2 - 9 所示。实验结 果如表2 - 4 至2 - 9 所示。 a p s n r = p s n r o p 。i z c d 一照豳倒 ( 2 6 ) 衄泌：墨! 坠型二墨! 竺型l o o b i t s 蛐艄 ( 2 7 ) 龄：modesoptimirxa-modes删10 0(2-8) m o d e s s 妇m h r d 丁：t