（通信与信息系统专业论文）基于tms320dm642+dsp的h264编码器结构研究及实现.pdf

摘要 随着信息技术的发展，网络传输速度的提高，视频府j ： ；i 已经开始慢慢地走进我们的生活， 特别是3 g 将为实时视频通信提供足够的带宽3 g 时代从某种意义上来说就是桃频时代。 在这样的 f 景r 还需婴一个具有压缩比高、网络亲平性好的视频压缩标准，视频通信才可能 得到1 泛的j 二，h j 。在2 0 0 3 年3 月n t u t 的视频编码专家组( v c e g ) 及i s o i e c 的i ，i 动酗像专 家组( m p e g ) i j 台组成的联合视频专家组( j v t ) 公布了新一代的视频压缩标推，此标准被称为 i t u t 的h 2 6 4 防议战1 s o h e c 的m p e g 4 的高级视频编码部分( a v c ) ，该标准采卅了许 多先进的技术使得其枉相同编码质量r 相对rh 2 6 3 标准能，省5 0 的码流，儿其分层的 设计思想提高了编码器对不吲网络的亲和性，所以臼该标准推出以来就一商得l b 业界的广泛 关注。但是柏、准中许多先进技术的高复杂度是影响日前实时视频应州的卡要巨l 素之一，所以 研究 l 2 6 4 编码器结构和在基于t l 高性能t m s 3 2 0 d m 6 4 2 d s p 上的实现是非常彳j 意义的。 本文首先从分析h 2 6 4 a v c 编码器的结构开始，具体介绍了h 2 6 4 a v c 编口5 器的各个 模块以及书j 府模块所采取的系列先进技术，在对这些技术进行了一定的研究的基础上，同 时结合了t m s 3 2 0 d m 6 4 2d s p 的特点，先将h 2 6 4 编码器移植到了d s p 平台上，然后又从 项目级、算法级、c 语言级、汇编级等儿个层次上对系统进行了优化，最终使移植到d s p 平台上的h 2 6 4 编码器达到丫实时编码的要求。 关键词：视频编码：h 2 6 4 ；d m 6 4 2 ：优化 a b s t r a c t g o i n gw i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n di m p r o v e m e n to fn e t w o r ks p e e d v i d e oa p p l i c a t i o nh a sb e e nw a l k i n gi n t oo u rl i f e e s p e c i a l l yt h a tt h et h i r dg e n e r a t i o nm o b i l e c o m m u n i c a t i o nt e c h n o l o g yw i l lp r o v i d eu se n o u g hb a n d w i d t hf o rv i d e oc o m m u n i c a t i o n ，s oi nt h i s w a y , t h e3 gt i m ew i l lb et h ev i d e oc o m m u n i c a t i o nt i m e u n d e rt h i sb a c k g r o u n d ，w ea l s on e e da v i d e oc o d e rw h i c hs h o u l dh a v eh i g he f f i c i e n c ya n dg o o da d a p t a b i l i t yo fv a r i o u sn e t w o r k s a n di n t h i sw a t h ev i d e oa p p l i c a t i o nw i l lb e c o m em o r ea n dm o r ew i d e l y o nm a r2 0 0 3 ，an e w i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dw a sr e l e a s e d ，a n dw h i c hw a sj o i n t l yb e i n gm a d eb yi t u - t v i d e oc o d i n ge x p e r t sg r o u p ( v c e o ) a n di s o i e cm o v i n gp i c t u r ee x p e l sg r o u p ( m p e g ) ， n a m e da sj o i n tv i d e ot e a m ( j 矿r ) a n dt h i sv i d e oc o d i n gs t a n d a r dw a sk n o w na sl t u - t r e c o m m e n d a t i o nh 2 6 4a n da s1 s o i e c1 4 4 9 6 ( m p e g 一4 、p a r t1 0 i nt h i ss t a n d a r d , s om a n yn e w t e c h n i q u e sw e r eu s e d u s i n gt h i st e c h n i q u e ，a b o u t5 0 b i t sc a nb es a v e d ，j u s tc o m p a r e dw i t ht h e o l dv i d e oc o d i n gs t a n d a r dh 2 6 3o rm p e g 一4 ，a l s oi th a sg o o da d a p t a b i l i t yt on e t w o r kf o ri t s 2 - l a y e rd e s i g ns t r u c t u r e a n dt h i sv i d e oc o d i n gs t a n d a r dh a sb e e np a i dm u c ha t t e n t i o n f r o m r e s e a r c ha r e aa n di n d u s t r ya l lt h r o u g h ，b u tt h eh i g i l - c o m p l e x i t yo ft h i ss t a n d a r dh a sb e c o m ea so n e o ft h em a j o rf a c t o ro fi n f l u e n c i n gi t sa p p l i c a t i o ni nr e a l t i m ev i d e of i e l d s oi ti ss oi m p o a a n tt o r e s e a r c ht h es t r u c t u r ea n di m p l e m e n t a t i o nb a s e do nt h eh i g he f f i c i e n tt m s 3 2 0 d m 6 4 2d s po f i nt h i s p a p e r ，f i r s t l y , ia n a l y z e d t h es t r u c t u r eo fh 2 6 4 ；t h e n 1i n t r o d u c e di h ek e y t e c h n o l o g i e so fe a c hm o d u l eo fh 2 6 4 b a s e do nt h er e s e a r c ho ft h e s ek e yt e c h n o l o g i e sa n d f e a t u r eo ft m s 3 2 0 d m 6 4 2 ，t h ew o r ko ft r a n s p l a n t i n gh ，2 6 4c o d e rt od s pp l a t f o r mw a sd o n ei n t h ef i r s tp l a c e a n di nt h ef o l l o w i n g ，t h ew o r ko fo p t i m i z i n gh 2 6 4c o d e rw a sd o n eo nt h ep r o j e c t l a y e r , a r i t h m e t i cl a y e r , cl a n g u a g el a y e ra n da s s e m b l el a n g u a g el a y e r a tl a s t ar e a l - t i m eh 2 6 4 c o d e rw a sc o m p l e t e d ，w h i c hb a s e do nd s pp l a t f o r m k e yw o r d s ：v i d e oc o m p r e s s i o nc o d e ；h 2 6 4 a v c ；d m 6 4 2 ；o p t i m i z a t i o n 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ：栖巨确加7 年弓月硒日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期 刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允 许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河 海大学研究生院办理。 论文作者( 签名) ：栖巨匍 删7 年，月稻日 ；i ：一幸绪论 1 1引言 第一章绪论 随着信息技术的发展，3 g 技术的融合，以数字视频技术为核心的新兴电子产品不断出 现，极人地丰富了消费电子产品市场，具有广制的市场前景，不但能够满足人们物质、文化 生活的需要，而且己成为我国电子信息产业的支柱。 视觉信息是人类获取信息的主要来源，由丁其信息楚大，而现有的网络资源相对较为紧 缺，“实时而有效地传输数字视频数据”一商是多媒体数字通信领域研究的课题。视频编解 码理论和技术可以在保证一定图像质量的同时降低视频流的带宽，也因此成为多年来国内外 研讨的对象。面向实际应用，由i s o 1 e c 和1 1 t u t 两大国际标准化组织共同制定的h 2 6 4 1 3 1 标准是视频编码技术的新发展。它在多模式运动估计、整数变换、统一v l c 符号编码、分 层编码语法等方面都有它的独l 之处。冈此h 2 6 4 算法具有报高的编码效率，其应用前景应 是不言而喻的。与原有的h 2 6 1 、h 2 6 3 、m p e g 一2 和m p e g 一4 相比，h 2 6 4 能够提供更高 的乐缩率，采用长距离预测编码，利川新的编码技术，获得了1 r 常高的编码性能，其编码效 率比m p e g - 2 标准平均提高2 3 倍，比h 2 6 3 和m p e g 4 平均提高1 2 倍。在原先已经 公布的视频编解码标准中，为了使编码实现更具有针对性，通常都不对编码器的实现细节做 出强制规定，而只是描述了解码器的组成、流程以及编码码流的结构、语法。 高速的数字信号处理器( d s p ) 技术的快速发展也为实时视频便解码器的实现提供了先 决条件。因而，在特定的应用环境中设计符合标准的实时编码器算法一直都具有实际的研究 意义，同时也会为将来几年内的无线应刖赢得先机。 1 2 视频压缩编码的基本原理及标准 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域 冗余信息和时域冗余信息【1 1 。压缩技术就是将数据中的冗余信息去掉( 去除数据之间的相 关性) 压缩技术包含帧内图像数据压缩技术、1 9 贞间图像数据压缩技术和熵编码压缩技术， 其中帧内图像数据压缩、帧间图像数据压缩都是有损压缩技术，而熵编码【1 】压缩技术则是 无损的压缩技术。 1 - 2 - 1 视频压缩编码的基本原理简介 视频压缩的目的就是要保证一定视频图像质餐的前提下，尽可能地消除时间冗余、空间 冗余、信息熵冗余、结构冗余和视觉冗余等信息，以降低表示、传输和存储图像所需要的 一1 撼i 。t m s 3 2 0 d m 6 4 2l i s p 的h 2 6 4 编码器鲇栅f t | 宄技实现 数据氅。日前基奉都址基丁d p c m 结台变换编码的压缩投术l 。一个典型的视频编码器的 框图如图1 - 1 所孙： 视频 信号 输入 图1 一l 典型视频编码器 编码 码流 输出 对视频图像的，e 缩编码通常是基于分块进行的。图1 1 展示了基于分块的d p c m 和变 换编码相结合编码方法的编码框图，它主要包括具有运动补偿的帧问预测、d c t 变换编码 f 2 l 、量化、熵编码、与相应的信道相适应的速率控制等部分，通过这些环节以在保证褂像 在有令人满意的质量的前提f ，最大限度地压缩码率。 ( 1 ) 视频信号的预处理 原始采集的图像一般都是r g b 格式的，这种格式表示疗法不能满足兼容性问题，同时 不利丁图像的压缩，我们有必要通过式子1 - 1 将图像的亮度信息和色度信息进行分离，这 样既可以满足兼容性问题，同时还可以结合人眼对亮度信号比较敏感对色度信息相对不太 敏感的特点对图像进行更有效的压缩。 y u 矿 一02199：05j87一01j14肛(墨0169 03 3 105 g050 4 1 90 0 8 1b 一一 一一 j i ( 1 - 1 ) 式( 1 - 1 ) 的变换矩阵对应丁s m p t e l 7 0 m 三色坐标和参考向色d m 0 0 。 ( 2 ) 运动估计和运动补偿1 2 1 为了有效地消除帧间冗余信息，编码器采用了具有运动补偿的帧闻预测技术对视频图像 2 第一章绪论 信息进 i 压缩。在运动估计部分，当前帧的亮度信号数据被分成1 6 x 1 6 的f 块，然后利 f j 块 匹配的方法在参考帧中找到每一个子块的最佳匹配块，从而估计出每个f 块的t c l ：移矢量值。 在解码端我们利州估计出的矢量位移信息剌刚像残差信息可以恢复出原始图像附人部分信 息。在这个过科中由运动估计和补偿后得到的图像的残差信息中的图像时问相关性人人地减 少了。 ( 3 ) d c t 变换 对图像的残差信息再进行d c t 变换是为了更进一步地对图像信息进行有损压缩，再对 幽像的残差信息进行d c t 变换后，所得到的d c t 系数间的相关性会得到很女f 的减弱。( d c t 变换就是选择一个正交基对残差数据进行保积变换，求得二维向量在另一个止交基里的表 达，要求在新的n _ e 交基下该二维向量的表达系数体现山具有一定物理意义的特性) 同时由于 如果对一个1 6 x 1 6 的大块进行d c t 变换会使得一些图像中需要保留高频分鼙的部分中的高 频信号过多的损失，所以通常我们采用对更小的二维向量做d c t 变换的方法，以适应图像 多变的特点。 ( 4 ) 量化 在对视频残差信息进行量化之前，前面的所有操作都没有实现对信息的压缩，前面的操 作只是把图像的相关性减弱了，是对图像信息表示方式的变换。量化是编码器中唯一产生信 息损二k 的地方，通过量化保留下重要的d c t 系数，将其数值进一步离散化，并将不重要的 d c t 系数量化到零( 通常这类系数反映的是视频图像的高频分量，高频分苗通常反映在实 际的幽像中是对图像清晰度的影响) ，这是对图像数据进行压缩的很重要的一步。对于采用 帧内编码的子块，由于相邻的直流分量之间的相关性比较强，因而相邻块的d c 分量在采用 d p c m 厉用8 b i t 的均匀量化器量化，但对于不同的d c t 系数可以根据它的重要程度和编码 质量的要求采用不同大小的量化台阶进行量化。 ( 5 ) 熵编码 d c t 系数矩阵在量化之后已经变得很稀疏，相当多的系数已经量化到零了，只剩下了 低频系数和少数高频系数。为了进一步对视频图像信息的熵冗余进行压缩，我们采用一定的 方法对其进行进一步压缩。在进行熵编码压缩过样中比较重要的一步便是要求先对图像信息 进行z i g - z a g 扫描，这样做的原因是在对图像进行过量化厉很多高频分量都被量化到了零， 我们通过z i g z a g 扫描尽可能地将这些系数在从把二维变换系数转换到一维以便于熵编码的 过程中的零系数放鲥一起，以形成一个有利丁尽可能好地进行统计熵压缩的序列。同时熵编 码是基丁信息的统计特性的，我们知道不同的跚像有着不同的统计特性，这也就反映在了其 经过d c t 变换的变换系数上，这些系数的统计特性差别也比较大，这样就要求我们能够根 据所编码图像的当前统计特性能够尽可能地做到白适应熵编码。 ( 5 ) 码流的缓冲1 2 j 由 j 在编码的过程中会不断地采朋i 帧编码、p 帧编码和b 帧编码，一般而言这几种帧 编码对幽像信息的压缩性能是有差异的，这就导致编码器的输出码流会有一个比较大的波 基于t m s 3 2 0 d m 6 4 2d s p 的h 2 6 4 编码器结构研究及实现 动，而网络带宽通常是不会有什么波动的，这样就必须建立一个比较好的缓冲机制，以保址 视频流能够均匀地投递到网络q ，以实现很好的视频流的传输。 1 2 2 图像压缩编码的国际标准简介 大家都知道目前的i 驾像压缩编码国际标准有h 2 6 x 1 i 系列标准乖lm p e g x 1 1 i 系列标准， 这两人标准是分别有国际上两个标准组l ： l t u t 和i s o d e c 分别或联合制定的。不同的 标准往往都是针对不同的虑用场合制定的，同时不同的标准也都有相互重磬的麻朋场台。 h 2 6 1 视频编码标准：h 2 6 1 标准是由n 1 j t 第1 5 研究组为在窄带综合业务数字网 ( n i s d n ) 上开展戏向声像业务盯视电话、视频会议等) 设计，主要针对实时编码和解 码设计，压缩和解压缩的信号延时不超过1 5 0 m s ，码率p x 6 4 k b p s ( p = 1 3 0 ) 。h 2 6 1 标准主要 采用运动补偿的帧问预测、d c t 变换、自适应鲢化、熵编码等压缩技术。只有1 帧和p 帧，没有b 帧，运动估计精度只精确到像素级。支持两种图像扫描格式：q c i f 和c i f 。 h 2 6 3 视频编码标准：h 2 6 3 标准也是由l t u t 制定的低速率视频信 ：压缩标准。它 一方面咀h 2 6 1 为基础，以混台编码为核心，其基本原理框图和h 2 6 1t 分相似，原始数 据和码流组织也相似；另一方面，h 2 6 3 也吸收了m p e g 等其它一些国际籼：准中有效、合 理的部分，如：半像素精度的运动估计、p bi 帧预测等，使它性能优于h ，2 6 1 。h 2 6 3 使坩 的位率可小于6 4 k b s ，且传输比特率i l ，不州定( 变码率) 。h 2 6 3 支持多种分辨率： s q c l f ( 1 2 8 x 9 6 ) 、 o c i f 、c l f 、4 c i f 、】6 c i f 。 m p e g 1 ，2 视频编码标准；m p e g 1 标准是由活动图像专家组( m o v i n gp i c t u r ee x p e r t g r o u p ) 为速率为1 1 5 m b s 的数字声像信息的存储而制定，共分为图像编码、声音编码 和声像同步与复刚3 个部分；m p e g 2 的初衷是得到一个针对广播电视质鼙的视频信号的 压缩编码标准，但实际上虽后得到的是一个通i = l j 的标准，它能在很宽的范匍内对不同分辨 率和不同输出比特率的图像信息有效地进行编码。m p e g 1 视频压缩技术的特点：1 随机 存取；2 快速正向逆向搜索；3 逆向重插；4 视听同步；5 容错性；6 编解码延迟。 m p e g 一1 视频压缩策略；为了提高压缩比，帧内与帧间图像数据压缩技术必须同时使用。 帧内压缩算法与j p e g t l i 压缩算法人致相同，采用基于d c t 的变换编码技术，川以减少空 域冗余信息。帧间压缩算法，采h j 预测法和插补法。预测误差可在通过d c t 变换编码处理， 进一步压缩。帧间编码技术可减少时间轴方向的冗余信息。m p e g 2 被称为“2 】世纪的电视 标准”，它在m p e g 】的基础上忭了许多重要的扩展和改进，但基本算法祠im p e g 1 相同。 m p e g 4 视频编码标准：m p e g 4 的初衷是制定一个通用的低码率( 6 a k b s 以f ) 的 视频编码标准，并打算采用第二代压缩编码葬法，以有效地支持甚低码流的麻川，但由_ f 很多第二代压缩编码算法仍然处于研究阶段，因而m p e g - 4 最终是成了支持目前的标准尚 未全面支持的那些应 = i j ，如移动音砚频通信、交互式多媒体服务等。同时m p e g - 4 与前面 提到的m p e g 一1 2 有很人的不同，它为多媒体数据压缩编码提供了更为j 阔的平台，它定 义的是一种格式、一种框架，而不是具体算法，它希望建立一种更自由的通信与开发环境。 4 第一章绪沧 r 是m p e g _ 4 新的目标就是定义为：支持多种多媒体的应_ l i ，特别是多媒体信息丛丁内容 的检索平| 访问，可根据不同的府刚需求，现场配置解码器。编码系统也是开放的，可随时 加入新的有效的算法模块。麻h j 范围包括实时视听通信、多媒体通信、远地监n 监视、v o d 、 家庭购物，娱乐等。 h 2 6 4 a v c 视频编码标准：h 2 6 4 视频编码标准是由i s o i e cm p e g 羊l t u tv c e g 成 立的联合视频作组( j o i n t v i d e o t e a m ) ，共同制定的。h 2 6 4 集中了以往标准的优点，并 吸收了以往标准制定中积累的经验，采刚简洁设汁，使它比m p e g 4 更容易推广。h 2 6 4 刨 造性了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术。使用了更精细的分象 索运动父昔( 1 4 、1 8 ) $ n 新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。 h 2 6 4 a v c 主要有以f ) l 大优点【2 】： 一高效压缩：与h 2 6 l 和m p e g 4s p 相比，减小近5 0 l g 特率 一延时约束方面有很好的弹性 一具有多种容错技术 一编，解码的复杂性可据具体应用进行裁减 一解码全部细节 支持高质量应片| 一网络亲和性好 1 3 本文采用的处理器平台 视频图像信号的信息量巨大，要想对其进行有效的压缩必须采取很多复杂而人量的运 算，那么在嵌入式或是便携式应用背景下就必须有具体很强处理能力的处理器芯片来担此 重任。4 i 同的数字视频应j = j 都有其不同的最佳处理器解决方案。n 拥有可支持多种标准并 满足主要设计及系统约束需求的各种d s p 。t i 的解决方案范围，。泛，其中包括低功耗 c 5 0 0 0d s p 圳与移动o m a p 应用处理器、高性能c 6 0 0 0d s p 与视频优化的高性能d m 6 4 x 和d m 6 4 4 x ”i 数字媒体处理器，这些不同的处理器的内核不尽相同，从c 6 0 0 0 系列d s p 或d m 6 4 x 和d m 6 4 4 x 来看，为了提供性能它们不单单走的是提高时钟频率这条路线，它 们还采_ i _ i j 了多流水线技术以提高处理器的并行处理能力，特别是在视频优化的高性能 d m 6 4 4 x 中采用了达芬奇技术( d a v i n i c ) 3 3 l ，这里的达芬奇技术不仅仅是一个处理器，它 还包含了在该处理器上的操作系统底层软件，编解码算法等一系列的内容。本文并没有采用 日前性能鹾高的d m 6 4 4 6 处理器，是冈为考虑到系统的成本问题，而是采用了性能完全可 以满足要求的t m s 3 2 0 d m 6 4 2 处理器，该款处理器具有丰富的片上外设和图像处理接口， 时钟采垌了6 0 0 m h z ，这样的处理器完全可以做列实时的编码需求，满足最初的设计需要。 5 毕十t m s 3 2 0 d m 6 4 2d s p 的h 2 6 4 编码器结构斜宄发实现 1 4 论文主要研究工作及论文结构 本论文主要研究1 作主要包括两个部分： ( 1 ) 研究h 2 6 4 a v c 编码器的结构，分析h 2 6 4 a v c 编码器中采j ：i ；的一些新的技术， 并借助】。x 2 6 4 1 ”】、j m “i 、t 2 6 4 i “瞻开源代码利h j 标准c 语言构建一个适合进 行d s p 移植的编码器： ( 2 ) 在第一部分i 勾容的基础上，将编码器移植剑t m s d m 6 4 2d s p l ”l 上，并结合该款 d s p 的特点对h 2 6 4 编码器的编码流程、部分关键算法等进行不同层次上的优 化，以提高其实时编码的能力，并最终借助丁所搭建的测试平台对整个编码器 进行测试。 该论文的结构安排如r ： 第一章：绪论 本章主要介纠了视频编码的基本原理、目前视频编码的一些国际标准以及本系统采用的 处理器平台，最后介纠了本论文的研究内容和论文结构。 第二章：h 2 6 4 编码器的结构平相麻的关键技术 本章借助于h 2 6 4 的官方标准文件，分析了h 2 6 4 编码器的结构和相应的用以提高编码 性能的关键技术。 第三章：1 m s 3 2 0 d m 6 4 2 芯片硬件结构及软件开发 本章介绍了本论文采_ i _ 的处理器芯片t m s 3 2 0 d m 6 4 2 的硬件结构，重点介纠对软件开 发比较重要的硬什结构，比如该款d s p 的内核、总线结构、内存模式等；同时还介绍了基 于该款d s p 的软件开发矗法。 第四章：h 2 6 4 t a v c 编j i ； 器框架构建及其d s p 移植 本章介绍了本论文所搭建的h 2 6 4 编码器编码流稗，并结合d s p 移植这个特点进行了 必要的优化，并对帧内4 x 4 子块的预测到底采用9 中模式中的哪一种算法和帧间宏块划分模 式算法进行了优化，最终介绍了编码器的d s p 移植。 第五章：基于t ic 6 4 x 内核d s p 的h 2 6 4 编码器优化 本章介绍了针对1 1 的c 6 4 x 内核d s p 的一些优化，重点介绍了存储器优化以及采用线 性汇编对核心算法进行的优化，摄后介绍了本系统的测试平台是任何搭建的。 第六章：结束语 本章总结了论文的全部工作，并对进一步提高编码器的性能的一些研究重点进行了简要 的分析。 6 第一璋h2 6 4 编码器的结构和相应的关键技术 第二章h 2 6 4 编码器的结构和相应的关键技术 2 1概述 h 2 6 4 a v c 是国际两大视频标准组织共同制定的新标准，该标准与以往的标准相比从编 码框架上并：没有太大的区别但从其没计角度出发却是有了很大的改进，它不再像h 2 6 3 那样采j j 很多编码选项而是采川“闸4i 基本”的设计思想，同时采_ i = | j 了分层的砹计思想，这 一点在以往的编码标准里面是没有的，浚设计思想不但很大程度上提高了编码器的网络亲和 性，而且对编码器的抗误码性能的提高也非常有用。 n g n 、3 g 和n g b w 发展的一个主要目标即为包括视频在内的多媒体虑州。对此， h 2 6 4 a v c 定义了3 种视频服务类掣，即会话型服务( 如可视电话、视频会议等) 、现场或先 期录制的视频流型服务和多媒体消息类服务m m s 。为适应n g ni p 网络及带宽资源有限的 时变嬲移动，无线信道的传输需要，h 2 6 4 a v c 无论从网络层匹配自适应能力、提高溏压缩 编码效率及信道抗干扰能力等方面均进行了较精心的设计有较大幅度的性能增强与改进， 该编码器在保证相同的视频图像质量的前提f 可比现在的h 2 6 3 或m p e g 4 提高5 0 左右的 压缩性能，而这些性能的提高也是需要代价的，h 2 6 4 花费了很大的压缩算法复杂度的代价， 这样就给该标准的实时应用带来了凼难，这一点也正是本文要解决的问题。 本章重点就是要介绍一fh 2 6 4 编码器的结构以及它所采用的一些新技术。 2 2 h 2 6 4 编码器的结构分析 h 2 6 4 编码器仍然采用了基于块的采_ l _ | jd c t 变换编码加d p c m 的差分编码相结合的混 合编码结构。同时，h 2 6 4 在混合编码的框架f 引入了新的编码方式，提高了编码效率，更 贴近实际应用，与h 2 6 x 系歹标准一样，该标准也只是定义了编码码流的结构和语法，而没 有具体指定编码器该如何实现，标准中只是提供了实现h 2 6 4 编码器优越的性能的一些方 法，这样对开发者而言就会有比较大的研究和实现空间。 摹j 。t m s 3 2 0 d m 6 4 2d s p 的h 2 6 4 编码揣结_ ；：j 研究发实现 2 2 1 编码器框架 际丽丽1 i ! 兰塑 p i 忑习一 i 垄塑j +d嘲匹i。正蛩吨蜀磐-a + o 霾心_ 。吨到吨圈“? 訇 0 叫翁蚓l 擞l 凰圈。& 目飚一 图2 一lh 2 6 4 编码器框图 匿2 - 1 为h 2 6 4 a v c 编码器的框图，其中的，。表示当前待编码的帧；，二一1 表示当采用 帧间编码时螅参考图像帧；“，：为未经过环路滤波的重建帧：f 二为编码后的重建帧；d 。 为经过预测而形成的斟像残差信息；d 。表示经过反变换斤的幽像残差：x 表示d c t 变换 的系数经过域化后的值。 整个编码器可以理解为由两个通道组成： ( 1 ) 前向编码通道1 3 】：输入待编码的图像帧f 。，对f 。楚以1 6 x 1 6 的宏块为基本处理 单元的。接着判断当前是采用帧山编码还是帧问编码，如果采川了，喷内编码时就利用当前编 码帧的已编码部| 、j “f 二进行预测。如果采州的是帧问编码进行对当前帧编码时，当前帧要 经过运动估计和运动补偿等技术对其进行编码。最终编码扁的视频码流再经过网络层( n a l ) 形成最终的码流。 ( 2 ) 后向帧重建通道1 3 1 ：在进行帧闯编码时，需要参考其它编码帧的参考图像数据， 所以编码器要为每一个需要作为参考r 赜的宏块形成重建块。重建块是由量化后的d c t 系数 工经过反量化和反d c t 变换得到的重建残差系数d 。o 预测数据p 相加而形成的。同时为 了消除块效应对重建帧进行了去块滤波，最终得到了重建的帧f 。 我们从圈2 - 1 中可以清楚地发现对了帧内编码和帧间编码它们进行预测求残蒡过程中 的参考信息是有着比较大的区别的，对于帧内选择“f ：作为参考帧而对于帧间选择了 f ：。这种差异是有两种编码方法的具体预测方法所认定的。同时也可以看出两者的参考 图像都是经过后向通道重建图像得到的，而没有直接用原始输入的幽像作为参考帧，这是为 了有效地防j r 图像漂移而引起错误累积现象。所以在编码器中安排了一个雨1 解码器一样的重 构环节，这样就做到了编码器和解码器的参考信息的同步。 8 产一 第。章h2 6 4 编码器的结构和相应的关键技术 2 2 2 编码器的分层结构 在1 4 2 6 4 编码器中与以往编码狂层次结构设计上有着显著的改进。在h 2 6 4 编码器中采 用了分层殴计思想【jj ，将编码器分_ = = j 编码屡( v i d e oc o d i n gl a y e r , v l c ) 和网络抽象层 ( n e t w o r k a b s t r a c t i o nl a y e r , n a l ) ，具体结构如图2 2 所示。编码层负责高效率的视频编码 压缩；网络抽象层负责网络的适配，印提供对不同网络接口进行匹配的f l j 适应处理能力，它 针对下层网络的特性对码流进行封装。网络抽象层从编码层获得数据信息。包括头信息、段 结构信息及实际净荷信息，再借助丁r t p 协议( 实时传输协议，该协议承载在u d p 协议基 础之上，在原有数据包上打上时戳雨j 包序号，以保证数据实时有序传输) 进而将它们映射到 下层的各传输协议上。我仃j 借助i j 这样的协议可以发现v l c 层什么数据丢火了，即使基本 编码图像丢失，借助冗余编码图像仍可获得较“粗糙”的图像恢复。我们也可咀借助丁诸如 基1 ：时间的著错隐藏1 3 1 、基r 空间的差错隐藏和频域的差错隐藏等差错恢复技术来陔复丢失 的部分图像信息。因此可以说n a l 层的引入人人提高了h 2 6 4 a v c 对不同网络及复杂信道 的适应能力。 图2 2h 2 6 4 分层结构 2 2 3 编码器的多参考帧技术 多参考帧技术在以往的h 2 6 x 系列视频编码器标准中是没有的，在h 2 6 4 编码器中当编 码一帧帧间编码帧时可以从一纽前向或后向参考帧中选择一个或两个图像帧作为参考帧，通 常它要首先从时间域上距离最近的参考帧开始搜索然后再向距离较远的参考帧搜索接着选 择一个最为匹配的一帧作为参考帧，选择参考帧是在1 6 x 1 6 宏块层次上的即对r1 6 x 1 6 宏块中的子块所选取的参考帧肯定是同一个参考帧，而对于一个片中的不同1 6 x 1 6 宏块可以 基- t m s 3 2 0 d m 6 4 2d s p 的h2 6 4 编蚂措结构研究发实现 选择不同的参考帧。因此，这样很显然就使得编码器的复杂度明显提高了，但网时也可以使 得运动估计时能够获得更为匹配块。这一特性对周划性的运动、平移运动和在两个不同的场 景之间来f i 1 l 变换摄像机的幽像压缩效果提高更为明碌。 厉面的章铮将会有对这一技术的具 体分析，分析该技术到底是否适合本系统。 2 3h 2 6 4 帧内、帧问预测技术 在本章的概论中曾经提到过，h 2 6 4 编码器的压缩性能的大幅度提高是以牺牲编码压缩 的算法复杂度换取的。在h 2 6 4 中有5 种类型的片p 1 对1 ：这5 种类型的片可以归结为3 种 编码方法：j 片、p 片、b 片。编码器在做预测编码时以分为帧内预测编码和帧问预测编 码两种预测编码方式，与以往的编码器标准相比都订了很大的改进，从某种意义上h 2 6 4 编码器的编码性能的提高也就是通过帧内预测技术目i l 琐间预测技术的改进而提高的，f 面我 们分别分析一r 这两种编码技术。 2 3 1 帧内预测技术 在 l 2 6 4 中，为了提高编码效率。在做帧内编码的过群中，采用了多种帧内预测模式p 1 ， 这样能够根据不同运动特性更好地消除图像信息的辛间兀余。目前亮度块的预测可分为：帧 内4 x 4 、帧内8 x 8 、帧内1 6 x 1 6 和lp c m 模式【7 l 。对r 帧内4 x 4 模式而言，由丁它采用了较 小的预测宏块，这样就特别适合那些细节复杂的图像；而对于帧内1 6 x 1 6 模式而言，它采刖 的宏块比较人，所咀它一般用于编码幽像比较平坦的匣域；lp c m 模式是一种特殊的模式， 它运用于当图像不经过通常晌预测、变换、量化过样而是直接传输图像的原始数据信息时比 采用预测编码的过程获得更好效果的情况，这中方法通常在一些特殊的场合使用；而对r 帧 内8 x 8 的预测模式是2 0 0 5 年加入的【3 l ，这主要是 jr 高清晰应用方面。这几种帧内模式到 底什么时候需要采用它们中的哪一种是根据拉备朗h 码率失真模型来决定的。 帧内预测编码是利川幽像信息的空间域相关性来压缩空间域的冗余的，它根据已编码的 相邻宏块( 主要指当前编码宏块的左边宏块、上方宏块和右上方宏块) 来预测当前编码宏块 的，然后对预测值和实际值作差，再对残差信息作d c t 变换和量化。从而达到压缩编码的 效果。 标准中对下帧内4 x 4 的编码模式提供了9 种预测编码模式口j ，这9 种模式代表了空间域 纹理方向的顶测模式。具体预测模式见图2 - 3 。 1 0 。 第章h2 6 4 编码 ： 的结构和相戍的关键技术 mabcdefgh ( a ) 利用左边、上 边、右上像素点对 a 呻像素进行预测 3 图2 - 3 帧内4 x 4 亮度块预测 0 ( b ) 帧内4 x 4 块的9 种预测方向 6 陶中的9 种模式分别为： 模式0 ：垂直预测模式，根据a 、b 、c 、d 像素值来进行预测； 模式1 ：水平预测模式，根据l 、j 、k 、l 像素值来进行预测： 模式2 ：d c 预测模式，根据a 、b 、c 、d 、l 、j 、k 、l 像紊的均值来预测； 模式3 ：。f 左对角线预测4 模式，由4 5 。方向从右上方到右一f - 方进行内插预测； 模式4 ：下右对角线预测模式，由4 5 。方向从左上方到右下进行内插预测； 模式5 ：右垂直预测模式，由2 6 6 0 方向从左上方到右f 方进行内插预测； 模式6 ：下水平预测模式，由2 6 6 0 方向从左上方到右下方进行内插预测； 模式7 ：左垂直预测模式，由2 6 6 0 方向从右上方到左r 方进行内插预测； 模式8 ：上水平预测模式，由2 6 6 。方向从左f 方到右上方进行内插预测； 在编码的过程中需要根据一定的算法依据r d o 模型选抒代价最小的一种作为虽终的预 测模式。 对于1 6 x 1 6 的亮度块采用了乖商预测( 模式0 ) 、水平预测( 模式1 ) 、d c 预测( 模式2 ) 、 平面预测( 模式3 ) ，相对y - 4 x 4 的亮度块预测模式少了很多，这一点可以理解为既然采用 了】6 x 1 6 的宏块进行帧内编码，那么说明该宏块的图像应该比较平坦，没有太多的细节，所 以就没有必要支持那么多种纹理方向的预测模式。同时对丁8 x 8 的亮度宏块预钡4 模式和 1 6 x 1 6 的预测模式基本相同，只是它们模式的编号不同而已。 在标准中为了进一步减少由1 二4 x 4 预测模式的不同而带来的额外的信息量，采用丁对帧 内预测模式进行信号话的方法米实现对预测模式信息的一种类似“基于知识”的压缩，过程 如i - 图2 4 所示： 肇十t m s 3 2 0 d m 6 4 2d s p 的h 2 6 4 编码器结构删究技实 ，、 ，一7 毹v - i n t n 4 ”_ p 高、 、 _ m o d e * = = i ? 一7 一1 y e s 2 3 2 帧间预测技术 y e s t ， 图2 4 预测模式信号化 1 9 贞问预测编码利j j 连续帧中的时间冗余来进行运动估计和补偿。在h 2 6 4 中支持蹲种帧 问编码帧类型：p 帧和b 帧；其中的p 帧表示其只参考参考对列o 中的参考帧，而b 帧可 以选择地参考参考对列0 、1 中的参考陨，m j 面的介绍我们知道，对丁p 帧和b 帧其内部 宏块也有可能采用了帧内编码的方法进行编码。同时在h 2 6 4 中采用了更加精细的运动估计 和更加灵活的树形宏块分割方法，预测模式也较以往的编码标准丰富了很多。 ( 1 ) 树状结构运动补偿 对1 ：帧间预测的宏块不荐像以往的编码标准中只采用一个固定的宏块大小，在h ，2 6 4 中采用了7 种宏块划分方法口1 ( 如图2 5 所示) ，这样一来被划分的宏块之间的相关性就变 得更强1 ，更能够刻画一些划像的细节，每个子宏块都会有自己的独立的运动补偿，同时每 个子宏块也必须对麻一个运动矢量，对丁一些图像信息如果进行比较细的宏块划分，由于f 块与参考幢中的宏块的相关性变强了，这样就会获得更好的压缩效果，从另一个角度出发， 在编码这些子宏块时，必须给每个子老块传输一个m v 给解码器端，这样传输的数据鼙也 就变人，从这个角度出发压缩性能反而会变辇，冈此必须根据拉各朗f _ 码率失真模型1 2 性这 两者之间作一个比较好的权衡，同时我们还必须在支持的宏块划分种类和图像编码实时性之 间作一个权衡，因为如果要支持较多种类的宏块划分，那么运算量将会有较为明显的增加， 罗 ；一浊顶 、：纛v r一可 第二章h 2 6 4 编码器的结构和相盹的关键技术 编码速度就会有所f 降，柏反则会较少一些。所以在实际的编码过桦中需要在：编码速度、 视频图像的压缩率、图像的质量之间作一定的权衡。 1 6 x 1 6 宏块类 刑 6 x 1 61 6 x 88 x 1 68 x 8 爨粤田固一一鄹 图2 5 宏块及子宏块分割 ( 2 ) 分数像素的运动估计和运动补偿 在h 2 6 4 编码标准中对帧间预测的宏块子宏块( 从1 6 x 1 6 到4 x 4 ) 采川了较h 2 6 3 或是 m p e g 一4 更为精细的精度，对于亮度块采用了1 4 像素精度，而对丁色度块则采用了更为精 细的1 8 像素精度的运动补偿。图2 - 6 、图2 7 、图2 - 8 分别示出了亮度1 2 像素精度内插、 1 4 像素精度内插和色度块的1 8 像素精度内插的具体情况： 图口圆口口 阐圈阐圈圈 图2 6 亮度块的1 2 像素内插 1 3 ， 。蝌 皋十t m s 3 2 0 d m 6 4 2d s p 的h 2 6 4 编码器结构研究及实现 图2 7 亮度块的1 4 像素内插 g bh t a h 麟 | n vr p k r n 图2 - 8 色度块的1 8 像素内插 其中1 2 像素