（计算机软件与理论专业论文）基于H264的帧内预测和码率控制跳帧算法研究(1).pdf

摘要 摘要 h 2 6 4 是由国际电信联盟( u ) 和国际标准化组织( i s o ) 联合成立的联 合视频专家组( t j o i n t v i d e o t e a m ) 于2 0 0 3 年5 月正式推出的视频编码标准。 与以往的视频编码标准相同，h 1 2 6 4 采用的是基于块的混合视频编码模式，其 基本的源编码算法是：利用时间统计的相关性，开发帧间预钡6 算法：利用预测 残留变换编码，开发空间统计的相关性。同时该标准又使用了一系列先进的编 码技术：如帧内编码中的空域预测、可变块尺寸的运动补偿、4 4 整数变换、 多参考帧选择和内容自适应的二进制算术编码等。h 2 6 4 在编码效率、网络适 应性等诸多方面都超越以往的视频编码标准。因此受到业界的广泛关注。 在提高编码效率方面，没有一个单一的算法做出特别的贡献，而是大量的 小的改善算法综合产生的结果。为了达到高效的编码性能，h 2 6 4 使用率失真 优化( r d o ，r a t ed i s t o r t i o no p t i m i z a t i o n ) 模型为每个宏块选择最佳编码模式 和参考帧。但是由于h 2 6 4 使用全搜索算法，其计算复杂度远远高于现有的其 他标准，无法满足实时视频通信等应用需求，所以必须对算法进行优化以降低 复杂度。 h 2 6 4 中提高编码性能的一个重要手段是帧内编码，它采用了多种预测模 式，这些模式在对i 、p 和b 帧编码时，都需要进行逐一计算。因此可以通过 优化快速算法来降低帧内编码的整体复杂度。本文对帧内预测编码的全搜索算 法和基于边缘直方图的经典快速算法进行了仔细地分析和深入的研究，并在此 基础上提出了一种改进的基于边缘直方图的快速算法，并在x 2 6 4 平台上加以 实现。实验数据证明了提出的算法的与基于边缘直方图的快速算法相比p n s r 略有下降，但有一定的时间节省和比特率节省，进一步提高了快速算法的编码 时间和性能。 码率控制的目的是调整输出码流，从而更加有效的利用带宽，同时尽可能 的达到高的平稳的图像质量。本文探讨了码率控制中的关键技术，研究了h 2 6 4 的码率控制算法。尤其深入研究了h 2 6 4 中码率控制跳帧算法。在此基础上提出 了一种依据运动复杂度的码率控制跳帧算法，并在x 2 6 4 平台上加以实现。实 验结果表明与h 2 6 4 标准中码率控制中跳帧算法相比，本文提出的算法能使缓 冲区占有量更加平稳，能够获取更稳定的输出码流。 华南师范火学硕士学位论文 基于h 2 6 4 的帧内预测和码率控制跳帧算法研究 关键词：视频编码：h 2 6 4 ；帧内编码；码率控制；跳帧 i i b $ t r a c r a b s t r a c t 1 4 2 6 4v i d e oc o d i n gs t a n d a r dh 鸱b e e na p p r o v e di nm a y , 2 0 0 3t , yj o i n tv i d e o r e a mw h i c h 哪j o i n t l yb y 恤玎u - ta n di s o i e c me l e l l l l c n t sc o n l m o l lt on i l v i d e oc o d i n gs t a n d l m t s 雠p r e s c r ai nt h et i 2 6 4 mb a s i c 岫o ft h i sc o d i n g a l g o r i t h mi s , 璐i n gt h et i m e - r e l a t e ds t a t i s t i c s t od e v e l o pi n t e r - f r a m ep r e d i c t i o n a l g o r i t h m , u s i n gp r o j e c t e dr e s i d u a lt r a n s f o r mc o d i n gt od e v e l o pt o 印烈冶s t a t i s t i c a l r e l e v a n c e a n ds o m en 州t e c l a n i q t 赶, s u e l a 印a t i a li n , d i c t i o ni ni n t r a - e o d i n g , 钗i 珥f 小幢b l o c ks i z em o t i o nc o m p e n s a t i o n , 4 x 4i n t e g e rt r a m f o m 僦o n , m u l t i p l e r e f e r c n e ep i c t u r e sa n dc o n t e n ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ( c a b a c ) a 托u s e d i nt h i ss t a n d a r d a s 删l t t t 2 6 4 妇a e l a i e v e c l - s i g n i f i e a mi m l 抛v c m c n ti n c o m p r e s s i o nl , e r f o m m c ca n dt n e t w o r k - f r i e n d l y 托弘曩船吣岫r e l a t i v et oa l l e x i s t i n gs t a n d a r d s s ot h i ss t a n d a r d o b t a i n sm u c ha t t e n t i o nf r o ma c a d e m i ca n d i n d u s l r i a lf i e l d s o nt h ea s p e c to fi m p r o v i n gv i d e oc o d i n ge f l i e i e n e y , i ti sn o tas i n g l ea l g o r i t h m 扛妇s p e c i a lc o n t r i b u t i o n st o b u tt h er e s u l t so fal o to fs m a l li m p r o v e m e n t a l g o r i t h m i no 柑c r a c h i e v eh i 曲c o m p r c 强体f l b f m 柚。e h 2 6 4l 糟c - r o l m s t r a t e - d i s t o r t i o no p t i m i z a t i o l a ( r d o ) t e c h n i q u et os e l e c tt h e 融c o d i n gm o d ea n d l 它f e r , m e e 矗戤f o re a c hm n e r o b l o e k a si - i 2 6 4i l b r u t ef o r c c - 螂c b i n ga l g o r i t l n n i t sc o m p u t a t i o n a lb u r d e ni sf a rm o l et h a n 锄ye x i s t i n gv i d e oc o d i n ga l g o r i t l m a a s - r 既t l t , t h i ss t a n d a r dc n o tb eu s e dt or e a l t i m ev i d e oc o m m u n i c a t i o n , i t s e o m p u t a t i o n a ln e e d st oo r , t i m i d + 1 1 鹭i n l r ac o d i n gi s 柚i m l x , a 锄tp a r to fh 2 6 4 i th 鹤m a n yp l r l 油c l i o nm o d e s a n da l lt h e s el t n o d 醴a 托n e e d e dt oc a l c u l a t e di ni 、pa n dbf l l a n l c s ，s ot h a tt h ef a s t a l g o r i t h mc 姐s i g n i f i c a n t l yr e d u c e 位o v e r a l lc o m p l e x i t y b a s e d0 1 1t h et h o r o u o l r e s e a r c ho ft h ec l a 鲢i ef u l ls e a r e l aa l g o r i t h ml a dt h ef a s ta l g o r i t h mb a s e do l le d 铲 d i i 硎o l lb _ i s t o g r a m ，铋i m p r o v e df a s ta l g o r i t h mb a s e d0 1 1c d 萨d i n 碰o l lh i s t o g r a mi s p r o l o o s c da n dt ob ei m p l e m e n t e do nx 2 6 4 1 1 埒e x p e r i n 船t a lr e s u l t sh a v ep r o v e dt h 越 t h i sp f 唧o s e da l g o r i t h mh a sm o r ec o d i n gi , e r t o r m a 眦0 1 1 伽d i n gt i m ea n d b i tr a t e e x c e p tt h a tp n s rl i t t e l el o w e rt h a nt h a to f t h ef a s ta l g o r i t h mb a s e do l le d g cd i r e c t i o n h l 华南帅托人学硕l 学位论文基于h 2 6 4 的帧内顾铡和码率控制跳帧算法研究 h i s t o g r a m t h et a r g e to fr a t ec o n t r o li st or e g u l a t et h ec o d e db i ts t r e a mt os a t i s f yt h e c h a n n e lc o n d i t i o na n di m p r o v et h er e c o n s t r u c t e dv i d e oq u a l i t y b a s e do nt h e r e s e a r c ho fk e yt e c h n o l o g ya n dt y p i c a la l g o r i t h m so fr a t ec o n t r o l ，e s p e c i a l l yt h e f r a m es k i p p i n ga l g o r i t h m so fr a t ec o n t r o l ，an e wf r a m es k i p p i n ga l g o r i t h mo fr a t e c o n t r o lf o rh 2 6 4b a s e do nt h em o t i o nc o m p l e x i t yi s p r o p o s e da n dt o b e i m p l e m e n t e do nx 2 6 4 t h ee x p e r i m e n t a lr e s u l t sh a v es h o w nt h a to u rm e t h o dh a s m o r ep r e c i s er a t ec o n t r o lp e r f o r m a n c et h a nt h a to fh 2 6 4 t h ep r o p o s e da l g o r i t h m c a nm a k et h eu s a g eo ft h eb u f f e rm u c hs m o o t h e r , a n di ta l s oc a no u t p u tb i ts t r e a m m o r es t e a d i l y k e y w o r d s ：v i d e oc o d i n g ；h 2 6 4 ；i n t r ac o d i n g ；r a t ec o n t r o l ：f r a m es k i p 1 v 华南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到本声明的法律结果由本人承担。 论文作者签名：捌击绎 日期：必口7 年b 月牛日 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名：张廓擘 日期：加d 7 年占月争日 导师签名： 日期：瑚年占月争日 第1 牵绪论 1 1 选题背景和意义 第1 章绪论 2 0 世纪年代，多媒体技术随着人类进入信息时代而得到了迅猛发展 以计算机、多媒体和网络技术为基础的信息技术已成为拓展人类能力的刨造性 工具数字信息化几乎涉及到世界的各个角落，改变了人类的工作、学习和生 活方式而信息化的一个主要特征就是多媒体技术的广泛应用，随着多媒体业 务的不断拓展，多媒体技术已成为产业界和学术界的一个研究热点 多媒体信息主要包括文字、声音、图像、图形和视频等数据，其中视频是 最重要的组成部分之一这是因为视频信息具有直观、形象、准确、高效和应 用广泛等特点，容易被人接受，据统计人类通过视觉获取的信息占全部获取信息 的6 0 ”l 。大信息量的视频数据得到日益广泛的应用，人们对信息的需求已不 局限于传统的电报电话业务，甚至连文件传输、电子邮件等数据业务也不能满足 人们多样化的需求，人们现在期望的是更高品质的集视频、图像、声音、文字 为一体的多媒体应用服务为了能够满足人们的衙求，必然要对数据传输带宽、 数据存储容量等提出更高的要求但是视频数据量非常大，例如，按c c m 6 0 l 建议，普通质量的电视信号数字视频的码率约为2 1 6 m b i t s ，而高清晰度电视 h d t v 则在1 2 g b i t s 以上若未经处理，其存放、网络传送都存在很大问题， 因此，要使视频得到有效的应用，必须首先解决视频压缩编码问题，其次解决 压缩后视频质量保证的问题而以压缩过的形式存储和传输视频数据是最好的 解决途径，所以，研究和开发新型有效的图像压缩编码方法一直以来都是信息 化的热点 经过多年的研究，视频压缩编解码朝着更高的压缩比，更小的失真度，更 快的编解码速度，更小的花费，更实时的播放效果的方向不断努力。并且提出 了许多实现方案。这些方案中，设计一些经济可行的方案，在软件上或者终端 设备上实现多媒体信息的编码和解码，然后利用已经成熟的i n t e m e t 作为编码后 信息的传递工具或者在较低码率的信道中传递视频，进行多媒体通信为适应 技术发展和应用的要求，各种多媒体数据压缩编码标准也在不断发展中目前 牛南帅范人学硕i ：学位论史壤 h 2 6 4 的帧内预测和码串挡制跳贞算法伊f 究 最为重要的视频压缩编码国际标准有国际电信联盟( i t u ) 的h 2 6 x 1 2 1 系列标 准和国际标准化组织运动图像专家组( m p e g ) 的m p e g - x 1 3 j 系列标准，近几 年发展最迅速、影响最大的标准是h 2 6 4 1 4 1 视频编码标准。h 2 6 4 是由i t u t 视 频编码专家组( v c e g ) 和i s o i e c 运动图像专家组( m p e g ) 联合组成的联合 视频组( j v t ，j o i n tv i d e ot e a m ) 提出的高度压缩数字视频编解码标准。i t u - t 的h 2 6 4 标准和i s o i e c 的m p e g - 4 i 5 】第l o 部分( 正式名称是i s o i e c1 4 4 9 6 - 1 0 ) 在编解码技术上是相同的，这种编码技术也被称为a v c ，即高级视频编码。h 2 6 4 和其它的标准一样，也是d p c m 加变换编码的混合编码模式。但它采用“回归 基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + 1 6 1 好得多的压缩性能；加 强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码 和丢包的处理；应用目标范围较宽，以满足不同速率、不同分辨率以及不同传 输( 存储) 场合的需求。技术上，它集中了以往标准的优点，并吸收了标准制定中 积累的经验。与h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g - 4 简单类( s i m p l ep r o f i l e ) 相比， h 2 6 4 在大多数码率f 可节省5 0 的码率叽而且h 2 6 4 在所有的码率下都能持 续提供较高的视频质量。 目前，h 2 6 4 已经在多个应用领域得到应用，如视频会议、有线、卫星、地 面、d s l 等广播电视、标清和高清d v d 、视频点播、交互视频服务、娱乐视频 应用、流媒体服务和视频邮件等服务。h 2 6 4 代表着未来多媒体数据压缩编码 的发展趋势。因此，及时了解和跟踪h ，2 6 4 的发展动态，掌握其核心技术是一 项很有意义的工作。 基于这种背景，很有必要从视频图像压缩编码入手来解决提高视频通信质 量这一问题，当前，在提高编码效率方面，没有一个单一的算法做出特别的贡 献，而是大量的小的改善算法综合产生的结果。因此，本研究课题在全面了解 h 2 6 4 视频编码标准的基础上，针对h 2 6 4 视频编码标准的帧内预测编码算法、 码率控制跳帧算法进行重点研究、优化和改进，以实现快速的编码和高效的压 缩，从而实现视频图像的实时传输。 1 2 视频压缩编码的可能性 视频压缩编码的目的是以尽可能少的比特数来表征尽可能丰富的视频信 2 第1 章结论 息，同时使其率失真曲线尽量接近理论值，从而使它符合预定应用场合的要求 压缩数据量、提高有效性是视频压缩编码的首要目的视频数据可以进行压缩 有几个方面的原因 首先。原始视频数据中存在着极强的相关性，视频信息存在大量的冗余度 可供压缩，这是我们进行压缩的基础因此可以通过去除冗余信息来实现压缩。 并且这种冗余度在解码以后还可无失真地恢复例如，大多数图像内相邻像素 之间存在较大的相关性，称为空间冗余；视频序列前后帧之间有较大的相关性， 称为时间冗余；多光谱遥感图像各谱之阃有相关性，称为频率域冗余；若用相 同的码长表示不同出现频率的符号也会造成比特数的浪费，称为符号冗余等等。 其次，利用人的视觉特性，在不被主观视觉察觉的容限内，通过减少信号 的精度，以一定的客观失真换取数据压缩在许多应用场合。人们并不要求经 压缩及复原以后的图像和原图像完全一致，而允许有少量失真这是因为这些 失真并不能被人眼所察觉，所以在许多情况下是容许存在图像失真是完全可以 接受的，这就给压缩比的提高提供了十分有利的条件在大多数应用中，充分 利用人眼的视觉冗余，对某些失真不敏感，难以察觉的视觉特性，就可以在保 证所要求的图像主观质量的前提下实现较高的压缩比。 此外根据编码对象的相关性，还可以利用先验技术来实现视频压缩编码 在某些特定的应用场合，编码对象的某些特性是可预知的饲如，在可视电话 中，编码对象主要是人的头肩像，可以利用对编码对象的先验知识为编码对象 建立模型，通过提取模型参数对参数进行编码，而不对图像直接进行编码，可 以节省大量码字得到非常高的压缩比 视频压缩编码技术藏是利用各种方法将上述压缩的可能性交为现实 1 3h 2 钭视频压缩编码技术的提出 由于低速率视频传输的应用前景日益被人们所认识，诸如互联网上收发电 子邮件、通过公甩交换电话网p s t n ( p u b l i cs w i t c l d n gt e l e p h o r 七n e t w o r k ) 传输可 视电话、进行视频检索( v i d e or e 嫡e v a l ) 以及移动通信网上的各类视频业务等 应用日益频繁，因此，i s o 、i t u t 都决定开发适用于极低码率传输的视音频 编码国际标准。其中1 9 9 5 年r r i j - t 的l b c ( l o wb i t - - r a 瞳cc o d i n g 低比特率 ， 华南师范人学坝i 。学位论史皋十h 2 6 4 的帧内预测和码牢拄制跳帧算法研究 编码) 小组研制的h 2 6 3 t 8 i 标准获得了巨大的成功，它主要针对低比特视频应用， 被公认为是以像素块为基础的d c t m c 州( 离散余弦变换，运动补偿) 混合编码 方案所能达到的最佳效果。此后l t u t 又及时总结了国际上低速率视频编码研 究中的最新成果，对h 2 6 3 标准作了补充与修订，推出了h 2 6 3 + 和h 2 6 3 + + ， 使功能不断完善。考虑到h 2 6 3 的巨大成功，同时深入分析了电视、计算机和 通信的交叉融合的发展趋势后，专家组认为h 2 6 4 标准应该适应新形势的发展 需要，在低比特率下能够获得较好的图像压缩效果的同时必须能够适应不同的 网络环境，拓宽了应用的范围，增强了可扩展性。在这种背景下，自1 9 9 7 年， i t u t 的v c e g ( 视频编码专家组) 和i s o ，i e c 的m p e g ( 活动图像专家组) 再次合作，成立了j o i n t v i d e o t e a m ( j v t ) ，致力于开发新一代的视频编码标准 h 2 6 4 。1 9 9 8 年1 月，开始草案征集；1 9 9 9 年9 月，完成了第一个草案；2 0 0 1 年5 月，制定了其预测模式t m l 8 ；2 0 0 2 年6 月，t 的第五次会议通过h 2 6 4 的f c d 版：2 0 0 2 年1 2 月，i t u t 在日本的会议上正式通过了h 2 6 4 标准，并 于2 0 0 3 年5 月正式公布了该标准。国际电信联盟将该系统命名为h 2 6 4 a v c ， 国际标准化组织和国际电工委员会将其称为1 4 4 9 6 1 0 m p e g - 4a v c ，它作为 m p e g - 4p a r t l 0 ，是“高级视频编码”。 1 4h 2 6 4 国内外研究状况及其应用领域 h 2 6 4 是近几年国际上研究的热点，微软、a p p l e 、m m 、r e a l 、m o t o r o l a 等都加入到h 2 6 4 技术及标准的研究中目前主要是以微软、a p p l e 和r e a l 三 家公司为主，这三家公司利用该h 2 6 4 技术研制的流媒体播放器成了流媒体世 界的“三剑客”。 h 2 6 4 技术在国外已经逐步得到应用。其中主要的几个方面如下： l ，电视广播服务方面：欧洲的数字电视广播( d v b ) 杯准组织在2 0 0 4 年下 半年通过了采用h 2 6 4 在欧洲进行电视广播。2 0 0 4 年下半年，法国选用h 2 6 4 作为h d t v 接收器和数字电视地面广播服务的付费电视频道。美国的a t s c 标 准组织正在考虑可能在美国的电视广播中采用h 2 6 4 。韩国的数字多媒体广播 ( d m b ) 服务将采用h 2 6 4 。在日本使用数字广播集成服务i s d b t 提供的移动分 区地上广播服务将使用h 2 6 4 编解码器。 4 第l 章绪论 2 、直接卫星广播( d i r e c tb r o a d c a s ts a t e l l i t e ) 服务将使用该标准。包括： 美国的n e w sc o r p 、d i r e c t v 、f _ 虻h o s t a r 、d i s hn e t w o r k 、v o o mt v ；欧洲的 e u r o l 0 8 0 ；德国的p r c m i c l e ；英国和爱尔兰的b s k y b 3 、其他一些著名的组织和公司对h 2 6 4 的应用第三代移动通信合作组织 ( 3 t 3 e p ) 已经在第六次发布中批准h 2 6 4 a v c 作为其移动多媒体电话服务标准的 可选技术苹果公司已经将h 2 6 4 集成进入m a t ：o sx 舨本v 1 0 4 ( 昵称老 虎：1 3 9 e r ) 。并于2 0 0 5 年5 月发布了支持h 2 6 4 的q u i c k t i m e 版本7 0 2 0 0 5 年4 月苹果公司升级了软件d v ds t u d i op r o 以支持授权的高清格式的内容该软件 支持将h 胁d v d 格式的内容刻录到标准d v d 或者h m d v d 媒体上为了播放 刻录在标准d v d 上的h d d v d 内容，所需要的硬件是p o w e r p cg 5 ，软件是 a p p l ed v dp l a y e r v 4 6 - 以及m a co sx v 1 0 4 或者更新e n v i v i o 公司已经可以 提供针对h 2 6 4 组播用的标清实时编码器和离线的高清( 7 2 0 r , 1 0 8 0 i 。1 0 s o p ) 编 码器。e n v i v i o 公司同时提供针对w i n d o w s 、l i n u x 和m a c i n t o s h 平台的h 2 6 4 解码器，h 2 6 4 视频服器和授权工具t a a d b e r gt e l e v i s i o n 公司推出了e n 5 c 鹎o 实时编码器d i r e c t v 和b s k y b 已经把e n 5 9 9 0 编码器用于它们的卫星直播 服务( d b s ) h a m m n i c ( 哈雷) 也推出了它们的实时编码器( 型号：d i v i c o mm v t o o ) 。t f l ( 法国的广播商) 和v i d e o n e t w o r k s l i m i t e d ( v n l ) 在伦敦的家用视频点 播服务已经宣布使用该产品佩斯公司( p a c em i c r o ) 为一些主要的直播卫星 公司提供了机顶盒s o n y 公司的p s p ( p l a y s t a t i o np o r t a b l e ) , 召e 硬件上提供对h 2 6 4 m a i l lp r o f i l el e v e l3 解码的支持 国内在这方面的研究也十分火热目前中国d v d 产业的尴尬境地正是与 m p e ( 吨高昂的许可费用有着千丝万缕的关系相对丽言，m p i g i 虽然相对 于m p e g - 2 已低了很多，但由于先前出台的许可费用过高，依然遭到了业界的 极大不满，不得不修改了其许可费用标准由于h 2 6 4 相对m p e g 4 、m p e g - 2 在性能、国际标准和许可费用上的优势，业界一致公认，h 2 6 4 将必然是i p t v 运营网络的编解码标准，这使得i p t v 产业链上的运营商或厂商都纷纷表示了 对h 2 6 4 的青睐作为业界领先的数字视频核心技术及网络视频完整解决方案 供应商，北京传视数码也和i p t v 产业链上的运营商和厂商一起在h 2 6 4 颁布 之初就迅速加入了此行列的研发，通过对整个标准、算法、专利许可等进行深 ， 华南师范人学硕，f 学位论文萆十h 2 6 4 的帧内预测和码率控制跳帧算法研究 入的研究、理解和优化，开发出了拥有自主知识产权的基于d s p + c p u 硬件架 构的i p t v 终端产品d m d 数字媒体播放机，其将h 2 6 4 的性能优势发挥得淋漓 尽致；不仅有效的利用了h 2 6 4 的许可政策和其优越的性能优势，为麒麟电视 台等运营商节约了大量的运营成本。同时，宽带运营商只需要极少的投资，便 可让用户充分体验网络视频带来的美妙感受。相信，在众宽带运营商和硬件厂 商的推波助澜下，在i p t v 市场异军突起的h 2 6 4 必将渐入佳境。 1 5 研究内容及论文安排 h 2 6 4 应用目标范围较宽，以满足不同速率、不同分辨率以及不同传输( 存 储) 场合的需求，然而，h 2 6 4 优越性能的获得不是没有代价的，其代价是计 算复杂度的大大增加，因此，本文主要对h 2 6 4 的帧内预测编码算法和码率控 制中跳帧算法进行深入地研究，并在此基础上提出两种新的改进算法，并在 h 2 6 4 的参考软件x 2 6 4 上加以实现，由实验结果数据表明：改进后的基于边缘 直方图的快速选择算法在编码时间和编码比特率上有一定的节省；提出的新的 依据视频图像运动复杂度的码率控制跳帧算法，对缓冲区占有量的控制比较平 稳，能够获取比较稳定的图像效果。 本文研究内容安排如下： 第一章绪论。概括了视频压缩的背景、可能性，介绍了视频压缩及h 2 6 4 的发展及现状，说明了论文的研究内容及安排。 第二章视频压缩及h 2 6 4 标准简介。简单介绍了h 2 6 x 系列标准的发展， 阐述了h 2 6 4 的关键技术及其编码的基本结构。 第三章h 2 6 4 帧内预测模式选择算法的研究与改进。研究了帧内预测模式 选择的全搜索算法以及基于边缘直方图的快速选择算法，并对基于边缘直方图 快速算法进行了有效的改进。实验结果表明，改进后的算法运行速度更快，图 像质量更高。 第四章码率控制中跳帧算法研究与改进。在分析码率控制原理和跳帧算法 的基础上，提出了一种依据视频图像运动复杂度的码率控制跳帧算法，该算法 简单，对缓冲区占有量的控制效果较好，能够获取比较稳定的图像效果。 第五章是全文的总结和展望。 6 第2 章规频压缩及h 2 6 4 攫顿编码标准介绍 第2 章视频压缩及h 2 6 4 视频编码标准介绍 2 1 视频压缩的必要性及应用前景 在多媒体信息处理中。最基本的需求是能动态实时的处理声音、动画、视 频信号，而视频图像的数据量是非常大的，若不对视频数据进行压缩处理，这 样大的数据量不仅超出了计算机的存储和处理能力，而且未压缩的视频在网上 传输的效果是无法容忍的。而且很容易将网络资源吞没。造成网络拥塞甚至崩 溃例如，一幅具有中等分辨率( 6 4 0 x 4 8 0 ) 的彩色数字视频图像的数据量约 为7 3 7 m b i t s ，帧，若帧速率为3 0 帧秒，则视频信号的传送速率大约为 2 2 1 i m b i t s s ，一分钟的视频表演则需要1 3 2 6 6 m 以上的硬盘空间数据量大， 难以寻求庞大的存储设备存储这些数据，而且计算机也难以实时地从存储器将 这些数据传送到中央处理器。数字压缩编码技术是使数字信号走向实用化的关 键技术之一因此，为了存储、处理和传输这些视频数据，必须进行压缩 本文第1 2 节通过对视频数据的分析发现，原始视频数据存在的冗余度为 数据压缩的实现提供了可能因此，大量的优秀的视频压缩技术被研发并投入 使用，使得在低成本，较低速率要求，有限带宽的条件下动态实时的处理高质 量的运动图像成为可能，它将对社会产生深远的影响并具有广阔的应用前景 多媒体与互连网相结合，使得多媒体通信系统能提供可视通信、远程监控、远 程教学、集中图像管理和声像资料联网传输等功能，利用多媒体计算机系统进 行教育、训练、演示、咨询、家庭娱乐等，将常规电视数字化及制造高清晰数 字电视、交互式电视等，而当前多媒体市场的繁荣也证实着这种发展前景正一 步一步向人们走近 2 2h 2 8 x 系列标准发展 删t 的v c e g ( 视频编码专家组) 制定的标准包括h 2 6 1 1 1 e l 、h 2 6 3 、h 2 6 3 + 和h 2 6 4 ，主要应用于实时视频通信领域，如视频会议；m p e g 系列标准是由 i s o i e c 制定，主要用于视频存储( d v d ) 、广播电视、因特网或无线网上的流 媒体等两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g - 2 的视频 7 华南师范大学碗一i 学位论史肇 h 2 6 4 的帧内顶铡和码串柠制跳帧算法研究 编码标准：h 2 6 4 标准则被纳入m p e g - 4 的第l o 部分。自从1 9 9 0 年第一个实 用的数字视频编码标准h 2 6 1 制定以来，v c e g 提出了大量重要的标准。 2 2 1h 2 6 1 视频编码标准 h 2 6 1 是1 9 9 0 年i t u - t 制定的视频编码标准，又称为p x 6 4 ，其中p 为 6 4 k b s 的取值范围，是l 到3 0 的可变参数，对应比特率为6 4 k b s 1 9 2 m b s 。 它最初的设计的目的是能够在带宽为6 4 k b i t s 的综合业务数字网i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 上传输质量可接受的视频信号。实际的编 码算法类似于m p e g 算法，但不能向后兼容。h 2 6 1 在实时编码时比m p e g 所 占用的c p u 运算量少得多，此算法为了优化带宽占用量，引进了在图像质量与 运动幅度之间的平衡折中机制，也就是 兑，剧烈运动的图像比相对静止的图像 质量要差。因此这种方法是属于恒定码流可变质量编码。h 2 6 1 能够对c i f 和 q c i f 分辨率的视频进行编码，即亮度分辨率分别是3 5 2 2 8 8 和1 7 6 1 4 4 ，色 度采用4 ：2 ：0 采样，分辨率分别是1 7 6 x1 4 4 和8 8 7 2 。h 2 6 1 编码时基本的 操作单位称为宏块。h 2 6 1 使用y c b c r 颜色空间，并采用4 ：2 ：0 色度抽样， 每个宏块包括1 6 1 6 的亮度抽样值和两个相应的8 8 的色度抽样值。 h 2 6 1 是第一个实用的数字视频编码标准，它定义了视频编码算法，如帧 内图像、帧问误差预测、运动补偿、d c t 、变长编码等技术，之后的视频编码 国际标准基本上都是基于h 2 6 1 相同的设计框架，包括m p e g 1 、m p e g 2 、 h 2 6 2 和h 2 6 3 ，甚至h 2 6 4 。图2 1 给出了h 2 6 1 标准视频编码系统框图。在 此之外，h 2 6 1 还提供了两个重要的特性l i l 】： ( 1 ) 指定了最大的编码延迟为1 5 0 m s ，因为主要针对双向视频通信应用， 超过1 5 0 m s 的延迟会给用户带来视频失真的印象。 ( 2 ) 能够用廉价的v l s i ( 超大规模集成电路) 实现，以便实现视频会议 和可视电话设备的商业化 s 第2 章视频肤缩及h 2 6 4 祝频编码标准介缨 i j 图2 - 1h 2 6 1 标准的视频编解码系统框图 2 2 2h 2 6 3 视频编码标准 1 1 1 j _ t 于1 9 9 5 年8 月公布了低于6 4 k b s 的窄带通信信道的视频编码标准， 即h 2 6 3 标准，它是为低码流通信而设计的h 2 6 3 标准以h 2 6 1 标准为基础， 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧间编码两 个部分在帧内采用改进的d c t 变换和量化，在帧间采用l 2 像素运动矢量预 测技术，使运动补偿更加精确，量化后使用改进的变长编码表( ) 对量化 数据进行熵编码，得到输出码流。h 2 6 3 在h 2 6 1 的建议的基础上，将运动矢 量的搜索增加为半像素点搜索；同时又增加了无限制运动矢量、基于语法的算 术编码，高级预测技术和p b 帧编码等四个高级选项，从而达到了进一步降低 速率和提高编码质量的目的h 2 6 3 的编码速度快，其设计编码延时不超过 1 5 0 m s 码率低，在5 1 2 k 乃至3 8 4 k 带宽下仍可得到相当满意的图像效果，使 用于需要双向编解码并传输的场合和网络不是很好的场合 相对于h 2 6 1 标准，h 2 6 3 视频编码标准专为中高质量运动图像压缩所设 计的低码率图像压缩标准与h 2 6 1 的p 6 4 k 的传输码率相比，h 2 6 3 的码率 更低，单位码率可以小于6 4 k ，并且支持的原始图像格式更多h 2 6 3 编码器 可以对以下5 种标准视频格式进行处理：s u b - 4 3 c i f ，q c m ，c i f ，4 c i f 和1 6 c i f ， 并且还可以应用于很多的视频，如表2 - l 中给出 华南帅范夫学硕l 学位论文 基fh 2 6 4 的帧内顾测和码率挖制跳帧算法研究 表2 1h 2 6 3 编码器对5 种视频格式的处理 图像格式亮度的像素数亮度的行数色差的像素数 色差的行数 ( d x ) ( d y ) ( d x 2 ) ( d y 2 ) s u b q c i f 1 2 89 66 4 4 8 q c i f1 7 61 4 48 87 2 c i f 3 5 22 8 81 7 61 4 4 4 c i f7 0 45 7 63 5 2 2 8 8 1 6 c i f1 4 0 81 1 5 27 0 4 5 7 6 由于，h 2 6 3 信源编码算法的核心仍然是h 2 6 1 标准中采用的d p c m d c t 混合编码算法，原理框图也和h 2 6 1 十分相似。这里只介绍h 2 6 3 与h 2 6 1 之 间的主要区别1 1 2 1 ： ( 1 ) h 2 6 3 的运动补偿使用半像素精度，而h 2 6 1 则用全像素精度和循环 滤波； 。 ( 2 ) 数据流层次结构的某些部分杂h 2 6 3 中是可选的，似的编解码可以配 置成更低的数据率和更好的纠错能力； ( 3 ) h 2 6 3 包含四个可协商的选项以改善性能； ( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码： ( 5 ) 采用事先预测和m p e g 中的p b 帧一样的帧预铡方法； ( 6 ) h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，还支持s u b - q c i f 、4 c i f 和1 6 c i f ，而4 c i f 和1 6 c i f 分别是为c i f 的4 倍 和1 6 倍。 2 2 3h 2 6 3 + 视频编码标准 1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 的第二版，它提供了1 2 个新的可协 商模式和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源格 式，h 。2 6 3 + 允许使用更多的源格式，图像形状和时钟频率也有多种选择，拓宽 了应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨 率，增强了视频信息在易误码、易丢分组异构网络环境下的传输。另外h 2 6 3 + 的图像分段依赖性也可以是受限的，以减少差错传播。h 2 6 3 + 对h 2 6 3 中的不 1 0 第2 章税颇压缩及h 2 6 4 税频编码标准介绍 受限运动矢量模式进行了改进，加上了1 2 个新增的可选模式不仅提高了编码 性能，而且增强了应用的灵活性 2 2 4h 2 6 4 视频编码标准 h 2 6 4 ( h 2 6 4 a v c ) 是i t u - t 的视频编码专家组( v c e g ) 和i s 0 n e c 的 活动图像专家组( m p e g ) 联合制定的新一代视频压缩编码标准，其目的是为 了在低比特率下获碍很好的图像压缩效果并能适应不同的网络环境事实上， h 2 “标准的开展可以追溯到3 年前1 9 9 6 年制定h 2 6 3 标准后，i t u - t 的视 频编码专家组( v c e g ) 开始了两个方面的研究：一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + + ) ；另一个是长期研究计划， 制定一种新标准以支持低码率的视频通信长期研究计划产生了h 2 6 l 标准草 案，在压缩效率方面与先前的i t u t 视频压缩标准相比，具有明显的优越性 h 2 6 4 的设计方案包含两个层次1 1 3 l ：视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 主要致力于有效地表示视频内容；网络抽象层( n e t w o r k a b s t r a c t i o n l a