（信号与信息处理专业论文）基于dm642的h264帧内预测算法的移植与优化.pdf

摘要 摘要 h 2 6 4 是i t u t ( 国际电信联盟) 和i s o ( 国际标准化组织) 共同制定的新一代视频编码 标准。与前期的标准相比，h 2 6 4 能够提供更好的图像质量、更低的码流，同时提高了 网络适应性和抗误码能力，所以h 2 6 4 已被广泛的应用于各种数字视频领域。然而， h 2 6 4 编码性能的提升是以增加编码复杂性为代价的，要在实时环境中实现h 2 6 4 编解 码，既需要对h 2 6 4 进行理论上的优化，又对实时处理芯片提出很大的要求，高性能 d s p 为实现h 2 6 4 编解码提供了一个有效的平台。 本文在研究h 2 6 4 的编码过程、结构和关键技术的基础上，重点针对h 2 6 4 帧内预 测部分，提出一种基于相关性的帧内预测快速模式选择算法，然后将h 2 6 4 开源代码 x 2 6 4 移植到d m 6 4 2 中，并对代码进行了各种优化，最后设计一个基于d s p b i o s 的 h 2 6 4 编码系统框架。纵观全文，论文的工作集中在以下几个方面： 第一，提出一种改进的帧内预测快速模式选择算法。针对h 2 6 4 帧内预测模式选择 算法的复杂性，根据相邻块问的相关性和不同预测模式间的相关性，提出一种快速模式 选择算法，缩短了模式选择的时间，提高了帧内预测的编码速度。仿真实验结果表明改 进算法在峰值信噪比略有降低，码率略有增加的情况下，可将编码时间降低5 0 。 第二，将x 2 6 4 移植到d m 6 4 2 平台中。本文以s e e d v p m 6 4 2 为硬件平台，以d s p 的集成开发环境c c s 为软件平台，将x 2 6 4 移植到d m 6 4 2 中。根据硬件存储空间和c c s 的特点，对存储空间做了适当的分配，对代码结构做适当的调整，使代码能在c c s 中 正确的运行。 第三，对移植后的代码进行各种级别的优化。本文根据x 2 6 4 代码特点和d m 6 4 2 特有的指令结构，对整个代码进行了项目级优化、c 语言优化，然后重点对帧内预测、 整数d c t 变换、量化和匹配误差等关键代码进行了线性汇编优化；此外还对c a c h e 、数 据搬移和d s p b i o s 进行了优化。实验证明，优化后x 2 6 4 的编码速度获得很大的提高。 最后在前面工作的基础上，初步设计一个基于d s p b i o s 的h 2 6 4 编码系统的框架， 实现基本的视频采集、视频编码和视频传输功能。 关键词：h 2 6 4 ；t m s 3 2 0 d m 6 4 2d s p ；帧内预测；模式选择；移植；优化 a b s t r a c t a b s t r a c t h 2 6 4i st h en e w e s tv i d e oc o m p r e s s i o ns t a n d a r d w h i c hi s p u b l i s h e db yi t u t ( i n t e n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n )a n di s o ( i n t e m a t i o n a l o r g n i z a t i o n f o r s t a n d a r d i z a t i o n ) c o m p a r e dw i t he a r l i e rs t a n d a r d s ，h 2 6 4o b t a i n sab e t t e ri m a g eq u a l i t y , l o w e rb i tr a t e s a n de n h a n t e st h en e t w o r ka d a p t a t i o na n dt h ec a p a c i t yo fe r r o rr e s i l i e n ta tt h e s a m et i m e s oh 2 6 4h a sb e e ns ow i d e l yu s e di nv a r i o u sf i e l d so fd i g i t a lv i d e o h o w e v e r , t h e e x c e l l e n tc o d i n ge f f i c i e n c yo fh 2 6 4i sa tt h ec o s to fi n c r e a s i n gt h ec o d i n gc o m p l e x i t y s oi n o r d e rt oa c h i e v et h eh 2 6 4c o d e ci nr e a l t i m ee n v i r o n m e n t ，i tn o to n l yn e e d so p t i m a z i t i o ni n t h e o r y , b u ta l s or e q u i r e sh i g hp e r f o r m a n c er e a l t i m ep r o c e s s i n gc h i p t h ei l i g hp e r f o r m a n c e d s p p r o v i d e sa l le f f e c t i v ep l a t f o r mf o rh 2 6 4c o d e c f i r s to fa l l ，t h i sp a p e rs t u d i e st h ec o d i n gp r o c e s so fh 2 6 4a n dp r o p o s e saf a s tm o d e d e c i s i o na l g o r i t h mb a s e do nt h es p a t i a lc o r r e l a t i o na i m e da ti n t r ap r e d i c t i o n t h e nt h i sp a p e r t r a n s p l a n t so n eo ft h r e em a j o ro p e n s o u r c ec o d e sx 2 6 4o fh 2 6 4i n t od m 6 4 2 ，a n do p t i m i z e s t h ec o d eu s i n gv a r i a b l eo p t i m i z a t i o nm e t h o d s f i n a l l y , t h i sp a p e rd e s i g n sar e a l - t i m eh 2 6 4 c o d i n gs y s t e mf r a m eb a s e do nd s p b i o s t h ew h o l ep a p e ri sc o m p o s e da sf o l l o w i n g ： f i r s t ，t h i sp a p e rp r o p o s e saf a s tm o d ed e c i s i o na l g o r i t h mf o ri n t r ap r e d i c t i o n t m sp a p e r a i m sa tt h ei n t r ap r e d i c t i o n ，p r o p o s e saf a s tm o d ed e c i s i o na l g o r i t h mb a s e do nt h es p a t i a l c o r r e l a t i o nb e t w e e nt h ea d j a c e n tb l o c k sa n dt h ec o r r e l a t i o nb e t w e e nd i f f e r e n tm o d ed i r e c t i o n s t h ep r o p o s e da l g o r i t h mr e d u c e st h et i m eo fm o d ed e c i s i o na n ds a v e st h ec o d i n gt i m eo f h 。2 6 4 。功es i m u l a t i o ne x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a ns a v et h e c o d i n gt i m eb ym o r e t h a n5 0p e r c e n t s ，w i t ho n l yal i t t l ep s n rl o s sa n db i t r a t e si n c r e a s e s e c o n d l y , t h i sp a p e rt r a n s p l a n t sx 2 6 4i n t od m 6 4 2p l a t f o r m t h i sp a p e rc h o o s e s s e e d - v p m 6 4 2a st h eh a r d w a r ep l a t f o r m ，c h o o s e sd s p i n r e g r a t e dd e v e l o p m e n te n v i t o n m e n t c c sa st h es o f t w a r ep l a t f o r m 。t h i sp a p e rt r a n s p l a n t sx 2 6 4i n t od m 6 4 2d s pa tf r i s t t h e n t h i sp a p e ra l l o c a t e st h em e m o r ys p a c e so ns e e d - v p m 6 4 2p o p e r l ya n da d j u s t st h ec o d e s t r u c t u r e s ，d a t at y p e s ，h e a d e rf i l e sa n dl i b r a r yf i l e sa c c o r d i n gt ot h ec c si n t e g r a t e d e n v i r o n m e n t ，w h i c he n a b l ex 2 6 4c o d et or u na c c u r a t e l yi nc c s t h i r d l y , t h i sp a p e ro p t i m i z e sx 2 6 4w h i c hh a sb e e nt r a n s p l a n t e du s i n gm a n ym e t h o d s f r i s t ，t h i sp a p e ro p t i m i z e s t h ew h o l ec o d e u s i n gp r o j e c t - l e v e lo p t i m i z a t i o na n dc 1 a n g u a g e 1 e v e lo p t i m i z a t i o na c c o r d i n gt ot h ec h a r a c t e r i s t i co fx 2 6 4a n dt h ei n s t r u c t i o n s t r u c t u r eo fd m 6 4 2 t h e nt h i sp a p e ro p t i m i z e st h ek e yc o d e ss u c ha si n t r ap r e d i c t i o n , i n t a g e r d c tt r a n s f o r m ，q u a n t i z a t i o na n ds a d s a t d s s du s i n gl i n e a ra s s e m b l el a n g u a g e b e s i d e s ， c a c h e e d 队a n dd s p b i o so p t i m i z a t i o ns t r a t e g i e sa r ea d o p t e d e x p e r i m e n t a lr e s u l t ss h o w t h a tt h eo p t i m i z a t i o ni m p r o v e st h ec o d i n gs p e e d f i n a l l y , t h i sp a p e rd e s i g n saf r a m eo fr e a l t i m e h 2 6 4 e n c o d i n gs y s t e mb a s e do n d s p b i o s ，w h i c hc a na c h i e v ev i d e oc a p t u r e ，v i d e oe n c o d i n ga n dv i d e ot r a n s m i s s i o n k e y w o r d s ：h 2 6 4 ；t m s 3 2 0 d m 6 4 2d s p ；i n t r ap r e d i c t i o n ；m o d ed e c i s i o n ；t r a n s p l a n t a t i o n ； o p t i m i z a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签 名：否厶髫乙 日 期：砂笠6 t 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名：塾勉导师签名：二主i 碰 日期：娣笸z 第一章绪论 第一章绪论 1 1 课题研究的背景及意义 随着超大规模集成电路( v l s i ) 技术、计算机和通信技术的迅猛发展，数字视频技术 极大地改变了人们的生活。同时随着互联网宽带技术的进步，基于互联网的数字视频产 业前景看好，而3 g 技术的发展也会推动移动视频通信成为现实。进入多媒体时代，数 字视频应用更加丰富，人们同时也期望着更高品质的集视频、图像、文字为一体的多媒 体服务。目前，基于数字视频技术的应用主要集中在数字视频监控、宽带视频可视电话、 流媒体视频设备等领域，同时智能网络相机、i p 可视电话、视频会议终端、i p 机顶盒、 v o d 视频点播也是数字视频技术的应用热点。此外，数字视频技术还将继续推进平板 显示器、数字视频投影仪及视频开关设备等产品的发展。 然而数字视频技术在飞速发展的同时，对数据传输带宽、数据存储容量等提出了更 高的要求。例如视频系列中l 帧大小为1 0 2 4 x 7 6 8 的原始图像，若每个像素采用1 2 b i t ( 亮 度8 b i t ，色度4 b i t ) 来表示，总共需要约9 m b i t 大小的空间。若按2 5 帧秒的播放速度， 一秒内的数据量达到了2 2 5 m b i t ，以目前的技术，无论是存储还是传输都是难以接受的。 所以，必须对原始数据进行压缩，以减少数据量，节省存储空间，降低传输所需的带宽。 这就对视频压缩标准提出了很高的要求：既能获得较高的压缩比，又尽可能的降低码流， 节省传输带宽，同时还得保证视频质量。基于这一目标，由国际电信联盟( i t u t ) 的 视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p ：v c e g ) 和国际标准化组织( i s o i e c ) 的运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ：m p e g ) 组成的联合视频专家组( j i o n t v i d e ot e a m ：t ) 于2 0 0 3 年3 月正式发布了新一代视频编码标准h 2 6 4 m p e g 4p a r t1 0 a v c ( 以下简称h 2 6 4 ) 【l j 。h 2 6 4 不仅具有优异的压缩性能、低码率，而且具有良好 的网络亲和性，它一出现就受到业界的重视和认可，目前h 2 6 4 已在数字视频领域得到 广泛应用。 数字视频技术的发展同时对实时数字信号处理芯片提出了很高的要求。目前，数字 信号处理器d s p 的高速发展，为实现高效的视频信号处理提供了可能性。视频图像压 缩编码从本质上来说是数字信号处理，而d s p 特有的结构使其非常适合处理数字视频 信号。因此，将视频压缩算法在高速d s p 平台上实时实现，使之不仅适合于可视电话、 视频会议、高清晰电视等应用场合，同时也适用于嵌入手机等移动终端，是目前多媒体 信号处理及图像通信研究领域的一个热点问题。目前，许多d s p 芯片制造商，例如t i 、 a n a l o gd e v i c e 等，都针对视频信号处理推出了自己的专用芯片，应用比较广泛的有t i 公司的t m s 3 2 0 c 6 4 x 系列、a n a l o gd e v i c e 的b l a c k f m 处理器等。高性能数字信号处理 器的发展必定进一步促进h 2 6 4 在数字视频领域的应用。 江南大学硕士学位论文 1 2 国内外研究现状 1 2 1 视频压缩标准发展现状 1 9 8 4 年国际电话电报咨询委员会( c c i t t ，现并入i t u ) 第1 5 研究组发布了数字 基群电视会议编码标准h 1 2 0 建议。1 9 8 8 年c c i t t 通过了“px6 4 k b i t s ( p = 1 , 2 ，3 ，3 0 ) 视频编码标准h 2 6 1 建议，被称为视频压缩编码的一个里程碑。此后i t u t 、i s o 公布 的一系列视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法。国际视频编码标 准的发展历程如图1 1 所示。 ， i t u t 标准 h 2 6 1 h 2 6 1 眦6 3b 3 +h ，2 6 3 + + v e r s i o nl v e r s i o n2 i t u t m p e o h 2 6 2 m p e c - 2 h 2 6 4 ，m p e g 4a v c 联合标准 m p e g 4 l v m 。商p e 。o n - 4 2 m p e g 标准 m p e c 1 1 v e r s i o n1 iiliiiillj 1 9 8 81 9 9 0 1 9 9 21 9 9 4 1 9 9 61 9 9 82 0 0 0 2 0 0 22 0 0 4 图1 - 1 视频编码标准的发展历程 f i g 1 - 1t h ec o u r s eo f v i d e oc o d i n gs t a n d a r d sd e v e l o p m e n t ( 1 ) h 2 6 1 标准。h 2 6 1 标准是i t u t 于1 9 9 0 年正式公布了第一个视频压缩编码 的国际标准【2 1 。它是为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、视频会 议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 是最早的运动图像压缩标准，它详细制定 了视频编码的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与 固定速率的信道相适配的速率控制等部分。以后的视频压缩标准都是在其基础上产生 的。 ( 2 ) h 2 6 3 标准。h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第 二版m 2 6 3 + ) 及h 2 6 3 h 增加了许多选项，使其具有更广泛的适用性 3 1 。h 2 6 3 的码率较 h 2 6 1 的更低，单位码率可以小于6 4 k b p s ，且所支持的输入原始图像的格式也较广，包 括q c i f 、c i f 、h d t v 、i t u r 6 0 1 、i t u r 7 0 9 等等。h 2 6 3 与h 2 6 1 相比采用了半像素 的运动补偿，并增加了4 种有效的压缩编码模式，同时增加了无限制的运动矢量、基于 语法的算术编码、高级预测技术和p 、b 帧编码四个高级选项；从而进一步降低码率， 提高编码质量，使其更适于i p 视频会议和可视电话等低带宽环境下的应用。 ( 3 ) m p e g 1 标准。m p e g 1 是m p e g 组织制定并于1 9 9 2 年发布的第一个视频压 缩国际标准；主要应用于视频存储，如v c d 制定等【4 】。该标准能适应变码流的处理， 可针对s i f 标准分辨率( 对于n t s c 制为3 5 2 x 2 4 0 ，对于p a l 制为3 5 2 x 2 8 8 ) 的图像 2 第一苹绪论 进行压缩，传输速率为1 5 m b i t s s e c ，3 0 f p s 。m p e g - 1 最成功的应用领域是v c d ，也 可用于数字电话网络上的视频传输、视频点播及教育网等。 ( 4 ) m p e g 2 标准。m p e g 2 由m p e g 和i t u 联手于1 9 9 4 年1 1 月正式推出的视 频压缩编码标准【5 1 。m p e g 一2 编码标准希望囊括数字电视、图像通信各领域的编码标准， m p e g 2 按压缩比大小的不同分成五个档次( p r o f i l e ) ，每一个档次又按图像清晰度的不同 分成四种图像格式，或称为级要j l j ( 1 e v e l ) 。五个档次四种级别共有2 0 种组合，但实际应用 中有些组合不太可能出现，较常用的是1 1 种组合，分别应用于标准数字电视、高清晰 度电视，码率从4 m b i t s 1 0 0 m b i t s 。 ( 5 ) m p e g 4 标准。m p e g 4 是m p e g 于1 9 9 9 年正式发布的标准【6 】。它更加注重 于多媒体系统的交互性和灵活性，主要应用于可视电话，视频会议等等。它对传输码 率要求较低，在4 8 0 0 6 4 0 0 b i t s s 之间，分辨率为1 7 6 x 1 4 4 。m p e g 4 利用很窄的带 宽，通过帧重建技术、数据压缩，以求用最少的数据获得最佳的图像质量。 ( 6 ) h 2 6 4 标准。1 9 9 5 年，i t u t 的v c e g 在发布了h 2 6 3 标准后，制定了两个 未来的工作目标：短期的目标是制定出一种适用于低码率视频通信的标准，长期的目标 是致力于起草“h 2 6 l 标准，它可以提供比前期的i t u t 标准更优越的视频压缩效果。 2 0 0 1 年，i s o i e c 的m p e g 认识到了新的标准的优势，加入到v c e g 中，共同成立了 联合视频组( t ) ，致力于研究开发一种高质量、低比特率的视频标准。新标准于2 0 0 3 年3 月正式发布，命名为i t u th 2 6 4 或i s o i e cm p e g 4p a r t l 0a v c 。在h 2 6 4 中， 定义了三个档次：基本档次、主要档次、扩展档次，分别应用于不同的应用场合。2 0 0 5 年3 月，在h 2 6 4 的三个档次的基础上，又添加了四个新的档次，分别是h i 曲，h i 曲1 0 ， h i 曲4 ：2 ：2 ，和h i 曲4 ：4 ：4 档次，进一步拓展了h 2 6 4 的应用场合。 相对与前期制定的其它视频压缩编码标准，h 2 6 4 7 1 入了很多先进的技术，包括帧 内预测编码、整数d c t 、4 x 4 运动补偿、1 4 像素精度的运动估计、多参考帧预测等技术 【l 】【7 1 。此外，h 2 6 4 采用分层模式，除了视频编码层( v i d e oc o d i n gl a y e r ：v c l ) p b ，专为 网络传输设计了网络提取层( n e t w o r ka b s t r a c t i o nl a y e r ：n a l ) ，因而进一步提高网络亲 和力。新技术的应用给h 2 6 4 编码器带来了更高的压缩比，更好的图像质量，相比于 m p e g 2 标准，h 2 6 4 的压缩比提高2 倍，码率降低了5 0 。然而，压缩比的提高是以增 加算法的复杂度为代价的，h 2 6 4 的编码复杂度是m p e g 2 的9 倍，解码复杂度是m p e g 一2 的4 倍【引。 帧内预测是h 2 6 4 所采用的新技术之一，它主要用来对i 帧进行预测，同时在p 帧和b 帧也进行少量的帧内预测，它是制约h 2 6 4 编码速度的重要因素之一。在h 2 6 4 标准中， 帧内预测采用基于率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n ：r d o ) 技术的完全搜索算 法( f u l ls e a r c ha l g o r i t h m ：f s ) ，计算所有预测模式的率失真代价，然后从中选出代价 最小的一个作为最佳预测模式【9 】【l o 】。但这种算法的复杂度极高，计算量非常大，大大制 约了h 2 6 4 的编码速度，所以在不改变h 2 6 4 标准码流结构的情况下，找到快速简单的帧 内预测算法成为当前的一个研究热点。 目前，很多优秀的帧内预测算法被提出以降低h 2 6 4 帧内预测的复杂度。p a nf e n g 江南大学硕士学位论文 等提出基于局部边缘信息的快速算法，根据像素块边缘的变化方向，利用s o b e l 边缘检测 算子，建立每种预测模式的灰度直方图，从中选择灰度直方图最大的模式和其相邻的模 式以及d c 模式作为候选模式，最后从中选出最佳预测模式【l l j ；m e n gb o j u n 等提出一种 e i p 算法，通过简化代价函数的计算，并设定门限，有选择的计算部分预测模式的代价， 从而缩减了可选的预测模式，降低了帧内预测的复杂度【1 2 】；文献 1 3 】提出了一种多阶段 快速帧内模式选择算法，该算法先将各种帧内预测模式下的s a t d 值按大小排序后，选 择s a t d 值小的作为候选预测模式；接着对待编码块的累积梯度和进行计算，选择那个 与原始块有相同方向的预测模式作为另一个候选预测模式，据称该算法能在信噪比下降 很少的情况下使得r d o 算法的时间可以加快1 0 - - 3 0 倍。文献 1 4 根据所有4 x 4 预测模式的 内在对称性，使用简化的率失真代价计算方法找出最相近的预测模式，降( 氐4 x 4 帧内预 测的预测模式的数量，取得非常明显的改进效果。 在国内，华东师范大学的肖广等利用色度块和亮度块以及亮度4 x 4 和1 6 x 1 6 块模式选 择之间的关系，提出一种基于r d o 的不同判决依据的快速帧内预测模式选择算法，将编 码速度平均提高了6 倍【l5 】；西安电子科技大学的宋彬等提出的自适应帧内预测快速算法， 利用前一帧和当前帧对应位置宏块的帧内预测模式进行预测，从而减少当前宏块的预测 模式数量，降低编码复杂度1 16 1 。西北工业大学的赖昌材等提出利用人类视觉系统( h v s ) 为判断标准的帧内预测方法，指出利用模糊积分来判断图像的失真度，并将该数据作为 准则来评价图像质量，并以此在帧内预测编码算法中进行宏块预测模式选择【l7 1 。 1 2 2 视频编码硬件平台简介 视频压缩编码算法涉及到大量的数学处理运算，所以，要实现实时的视频编码对硬 件平台处理能力提出很高的要求。人们在对视频编码算法进行优化的同时，也在不断提 升硬件处理速度。目前，用于实现视频编解码器的硬件平台主要有以下四种。 ( 1 ) 通用处理器：在嵌入式通用处理器的运算能力逐步提高之后，a r m 等嵌入式 通用处理器被用于h 2 6 4 视频应用领域。由于大多数通用处理器上能够运行实时操作系 统，因此适合于需要复杂控制功能的场合。但是通用处理器的计算能力有限，限制了其 在h 2 6 4 视频领域的应用。 ( 2 ) f p g a ：f p g a ( f i e l d p r o g r a m m a b l eg a t ea r r a y ) 凭借强大并行处理能力和可 定制流水线结构也成为了h 2 6 4 编码的一个重要平台，但是由于功耗、体积、成本以及 灵活性的限制，使其无法广泛应用于数字视频领域。 ( 3 ) a s i c ：专用集成电路a s i c ( a p p l l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) 是一种为 特定用户要求和特定电子系统的需要而设计、制造的集成电路。它体积小、成本 低、运算速度快。但是它在灵活性上有一定的缺陷，而且成本较高，不易进行升 级维护，只在视频编码标准成熟后才具有一定的市场潜力，这也限制了其在数字 视频领域的应用。 ( 4 ) d s p ：数字信号处理器d s p 是一种特别适合于进行数字信号处理运算的微 处理器器，其主要应用是实时快速地实现各种数字信号处理算法。它具有处理能力 强、外围接口丰富、开发周期短、芯片功耗低、用户开发自由度大等特点，而被广泛的 4 第一章绪论 应用于数字视频领域。目前，许多d s p 芯片制造商如t i ，a n a l o gd e v i c e 等，都针对视频 信号处理推出了自己的专用芯片，应用比较广泛的有t i 公司的t m s 3 2 0 c 6 4 x 系列a n a l o g d e v i c e 的b l a c k f i n 处理器等等。例女i ：i t i 公司的c 6 4 x 系列的d s p 主频高达9 0 0 m h z ，每秒 钟可以执行7 2 亿次指令运算，这使其特别适合进行视频处型1 8 l 。所以高性能数字信号处 理器的发展必定进一步促进h 2 6 4 在数字视频领域的应用。 在国内外，基于d s p 的h 2 6 4 视频压缩算法的开发和应用早已开始。在国外，t i 公司 推出基于d m 6 4 4 6 的h 2 6 4 编码器，它实现了标准中的基本档次，提供灵活的码率控制， 以适用于不同的场合【i9 】；美国c a v i u m n e t w o r k s 公司致力于视频编码标准的d s p 实现，其 开发的p c i 视频压缩卡支持编码输出h 2 6 4 格式视频，并且基于d s p 的h 2 6 4 压缩芯片 p u r e v u t mc n w 3 x x x 系列以广泛应用于众多视频领域【2 0 1 ；加拿大的a t e m e 公司开发出基 于d s p 和g p p 平台的h 2 6 4 视频编解码器已在数字广播，视频安全监控等领域获得应用 2 1 1 ；c y b e r l i n k 公司开发的p o w e r e n c o d e r 是一款媒体捕获和压缩工具，它支持最新的 h 2 6 4 视频编码标准1 2 引。 在我国，虽在h 2 6 4 的产品开发方面起步稍晚，目前己有不少公司开展了支持h 2 6 4 标准的产品研发。广州富年电子科技有限公司开发出基于h 2 6 4 技术的流媒体服务平台， 并在中国移动网络上投入商用【2 3 】；杭州海康威视凭借他们在h 2 6 4 方面的核心开发能力， 在数字监控领域率先推出h 2 6 4 的产品d s 6 1 0 0 h c 系列视频服务器【z 4 j ；华为海思推出了 第二代高性能h 2 6 4 视频编解码芯片h i 3 5 1 2 ，广泛应用于实时视频通信，数字图像监控 等领域【2 5 】；s e e d 公司推出与h 2 6 4 基本档次和主要档次兼容的h 2 6 4 编解码器，在d s p 端支持6 路c i f 编码或2 路d 1 编码【2 6 】；w i n t e c h 公司推出基于d s p 的采用h 2 6 4 视频编码技 术的可视电话s v 3 0 0 0 已进入市场【2 。 1 。3 本文主要研究内容 h 2 6 4 的优异的压缩性能是以牺牲编码复杂度来实现的，而帧内预测部分是制约其 编码速度的一个主要方面。本文将针对帧内预测部分，根据相邻块的相关性和预测模式 方向相关性对模式选择过程进行改进，以提高编码速度。在h 2 6 4 进行算法优化的基础 上，选择s e e d v p m 6 4 2 作为硬件平台，将h 2 6 4 开源代码x 2 6 4 代码移植到 t m s 3 2 0 d m 6 4 2 中，然后根据d m 6 4 2 的芯片结构和c 6 4 x 特有指令对移植后的代码优化， 以提高其在d s p 平台中的编码速度，最后设计了实时h 2 6 4 编码系统框架。以下是本 文研究的主要内容： 1 、研究h 2 6 4 的主要编码过程，h 2 6 4 的结构以及帧内预测、帧间预测、变换与量 化、熵编码、去块滤波器等过程所采用的关键技术。 2 、提出了一种基于相关性的4 x 4 帧内预测的快速模式选择算法。针对h 2 6 4 帧内 预测的复杂性，对其所采用的模式选择算法进行了改进，根据相邻块的空间相关性和预 测模式的方向相关性提出一种快速的模式选择算法，最后通过仿真实验对算法进行验 证，这是本文的关键部分。 3 、将h 2 6 4 开源代码x 2 6 4 移植到d m 6 4 2 中，根据c c s 的编译环境和硬件资源， 江南大学硕士学位论文 对代码进行适当的调整和修改，同时合理的分配片上存储空间，使移植后的代码能够在 c c s 中正确的执行。 4 、对移植到d m 6 4 2 中的x 2 6 4 代码在整体上进行项目级、c 语言级优化，重点针 对帧内预测、变换和量化、匹配误差计算等部分进行了线性汇编的优化，此外还进行了 c a c h e 、数据搬移和d s p b i o s 的优化。实验结果证明，优化后的代码帧内预测部分的 执行效率获得提高，x 2 6 4 代码整体的编码速度获得改善。 5 、在前面几章的基础上，初步设计一个实时h 2 6 4 编码系统框架，实现视频采集， 视频编码和视频传输任务，任务间采用旗语信号来完成同步与通信。 1 4 论文的内容安排 本文的主要内容安排如下： 第一章主要介绍课题研究的背景、意义以及本文研究的主要内容。 第二章介绍h 2 6 4 标准的主要内容、编码流程和其采用的一些关键技术，重点介绍 编码过程中几个比较重要的模块和其所采用的技术。 第三章首先介绍h 2 6 4 帧内预测的基本原理，然后针对h 2 6 4 帧内预测算法的复杂 性，提出快速模式选择算法，并在v i s u a lc + + 6 0 中进行了算法的验证，同时与j m 8 6 代码进行了对比。仿真实验结果证明文中所提出的算法在保证了编码质量的同时，能够 明显的提高编码速度。 第四章将x 2 6 4 代码移植到d m 6 4 2 中，根据硬件资源的特点对硬件平台的内存空 间进行分配，同时根据c c s 的编译环境对代码进行适当的调整和修改，使其能够正确 的执行。 第五章对移植好的x 2 6 4 代码整体上进行项目级优化和c 语言优化，对代码中的帧 内预测、变换和量化、匹配误差计算等部分进行线性汇编的优化，同时对c a c h e 、数据 搬移和d s p b i o s 进行了优化。最后给出了优化前后的结果对比。 第六章设计一个实时h 2 6 4 编码系统框架，完成视频采集，视频编码和视频传输任 务。 第七章对全文的工作进行了总结，并展望未来，指出进一步的研究方向。 6 第二章h 2 6 4 视频压缩标准 第二章h 2 6 4 视频压缩标准 h 2 6 4 采用的仍然是基于块的混合编码方案，但为了提高其编码效率并使其具有广 泛的应用性，h 2 6 4 视频标准中引入了许多新的视频编码技术，本章就h 2 6 4 视频编码 标准的编解码过程、结构及其所使用的新技术进行简单的介绍。 2 1h 2 6 4 标准概述 h 2 6 4 是由i t u t 的v c e g 和i s o i e c 的m p e g 组成的联合开发组共同开发 的最新的视频编码标准。该标准已于2 0 0 3 年3 月在国际上正式颁布。该标准在同 等图像质量下的压缩效率比以前的标准提高了2 倍以上，因此，h 2 6 4 被普遍认为 是最有影响力的行业标准。 h 2 6 4 和以前的标准一样，也是d p c m ( 差值编码) 加变换编码的混合编码模 式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 更好的压 缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对 误码和丢包的处理；它的应用目标范围较宽，以满足不同速率、不同解析度以及 不同传输( 存储) 场合的需求。 h 2 6 4 与以前的国际标准如h 2 6 3 和m p e g 4 相比，即保留了以往压缩技术的 成熟的技术，又具有其它压缩技术无法比拟的许多优点，比如低码流、高图像质 量、较强的容错能力和网络适应性等。h 2 6 4 具有如上诸多优点，与其所采用的一 些新技术是分不开的。h 2 6 4 所采用的新技术有：多种模式的帧内预测、灵活块尺 寸选择、1 4 像素运动补偿、多参考帧预测、4 x 4 整数变换、算术熵编码技术、去 块效应滤波器等等【7 】【8 】。本章2 4 节中将详细介绍这些关键技术( 帧内预测在3 1 节中介绍) 。 2 2h 2 6 4 编解码器 和前期的编码标准一样，h 2 6 4 标准并没有对整个编解码过程进行详细的定义，而 只是规定了一个编码的视频比特流的句法和该比特流的解码方法，各种编解码器在此框 架下应能够兼容。h 2 6 4 的编码器和解码器的结构分别如图2 1 和2 2 所示。 2 2 。1h 。2 6 4 编码器 从图2 1 中可以看出，除去块滤波器以外，h 2 6 4 的编码器的大部分基本功能模块 ( 预测、变换、量化、编码) 和先前的标准( h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g - 4 等) 采用相同的原理。但h 2 6 4 的主要变化体现在每个功能模块实现的细节上。在图2 1 的 编码器中，有两条数据流通路，一个是“前向”通路( 从左向右) ，一个是“重构 通 路( 从右向左) 。 7 江南大学硕士学位论文 图2 1h 2 6 4 编码器 f i g 2h 2 6 4e n c o d e r n a l 图2 - 2h 2 6 4 解码器 f i g 2h 2 6 4d e c o d e r ( 1 ) 前向通路 以宏块为单位处理输入的一帧或一场数据e ，并以帧内或帧间方式来编码每个宏 块，对宏块中的每个块，采用重构图像的样点来产生预测块p 。在帧内模式中，预测是 从当前己编码、重构的条带洌中产生的。在帧间预测模式中，预测块尸是从表l i s t 0 和 或l i s t l 的参考图像中选择一个或两个参考图像爿一。通过运动补偿预测形成的。用当前块 减去预测块产生残差块见，并对残差块见进行块变换，量化后产生一组量化系数x ， 在进行重排序和熵编码，熵编码系数与辅助信息一起用于解码宏块( 预测模式、量化器 参数、运动矢量信息等) 内的每个块。最后熵编码系数与辅助信息产生压缩的比特流， 进入网络提取层n a l ，用以传输与存储。 ( 2 ) 重构通路 正如前向通路中所述，为了提供进一步预测用的参考图像，编码器必须有重构图像 的功能。因此必须将前向通路产生的量化系数x 经过反量化、反变换后得到一个差分块 或，再与预测块尸相加，得到u f 2 ，再经去块效应滤波器，得到一，作为参考图像。 2 2 2h 2 6 4 解码器 解码器从网络提取层n a l 接收到压缩后的比特流，经过熵解码产生一组量化系数 x ，在经过反量化，反变换得到残差成。利用从比特流中解码出来的头信息，解码器 产生一个预测快p ，它和编码器中的预测块是一样的。将预测快p 与残差成相加后产 8 生遮，在经过滤波后就得到最后的解码输出图像一。 2 3h 2 6 4 的结构 2 3 1h 2 6 4 的档次与级 h 2 6 4 标准规定了三种档次的视频编码，每个档次支持一组特定的编码功能，并且 规定了对相应编码器和解码器的要求，每种档次支持一类特定的应用【l 】。 ( 1 ) 基本档次：利用i 片和p 片支持帧内预测和帧间预测，支持基于上下文的自适 应的变长编码( c o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n g ：c a v l c ) 进行的熵编码，此外 还支持多条带组、任意条带次序( a r b i t r a r ys l i c eo r d e r i n g