（信号与信息处理专业论文）h264avc视频编码算法及其dsp实现研究.pdf

摘要 h 2 6 4 a v c 是目f f 大力发展研究的、适应于低码率传输的新一代视频压缩标 准，它具有更高的压缩比、更好的i p 和无线网络信道的适应性，在数字视频通信 和存储领域得到越来越广泛的应用。另外，近几十年； 乏d s p 技术的高速发展可为 实现复杂的新一代视频编解码系统提供平台。因此，h 2 6 4 a v c 视频编码算法及 其d s p 实现的研究已经成为目前视讯行业研究的热点和难点。 本文对h 2 6 4 a v c 的关键技术进行了较系统的研究，完成的主要，【+ 作是： 算法研究方面：对照j m 参考代码对h 2 6 4 1 a v c 的率失真优化策略、帧内预 测、帧间多尺寸块模式、整数核变换量化、码流封装等部分进行深入研究。在总 结已有方法优缺点的基础上，提出了一种基于混合特征的h 。2 6 4 a v c 快速帧内预 测模式决策方法，该方法利用联合特征信息对已有预测模式进行预先筛选，从而 加快决策速度，实验证明该方法在保证编码性能的基础一卜，可以使帧内编码时问 相对原r d o 全搜索方法降低近5 0 提出了一种基于合并分裂合并思想的 h 2 6 4 1 a v c 快速帧间预测块模式决策方法。该方法构造了块合并和块分裂准则， 并从8 x 8 尺寸块出发，代入准则依次进行判决，从而剔除了部分块尺寸模式，实 验结果表明，该方法相对于原全搜索方法，能将帧间编码时间减少近7 0 ，而对 编码性能参数影响甚微。 d s p 实现研究方面：研究了d s pt m s 3 2 0 d m 6 4 2e v m 的开发原理以及d s p 代码的优化方法。在v c + + 中用d r a w d i b 视频函数组实现了视频显示界面，并通 过p c ia p i 函数实现了p c 和d s p 之间的视频通信。在c c s 环境下实现了 h 2 6 4 ，a v c 基本层的i 帧编码嚣，并用d m 6 4 2e v m 进行了硬件仿真。针对所耍 现编码器的d s p 代码提出了数据类型、存储器、c 语言、汇编等级别的有效优化 方法，优化后编码速度提高4 倍多。用p cj 二豹1 4 2 6 4 a v c 解码器对编码后的吗 流文件进行解码，测试结果表明编解码性能参数完全符合h 2 6 4 a v c 标准的要求。 关键词：h 2 6 4 a v c 率失真优化策略帧内预测帧间预测模式决策 t m s 3 2 0 d m 6 4 2视频显示界面i 帧编码器 a b s t r a c t n e w g e n e r a t i o nv i d e oc o m p r e s s i o ns t a n d a r di i 2 6 4 a v c ，w h i c hi ss u i t a b l ef o r1 0 w b i tr a t et r a n s m i s s i o n i sd e v e l o p e ds t r o n g l yn o v v i th a sh i g h e rc o m p r e s s i o nr a t i oa n d b e t t e ra d a p t a b i l i t yf o ri pa n dw i r e l e s sn e t w o r k 。w h i c hm a k ei tu s e dw i d e l yi nf i e l d so f d i g i t a lv i d e oc o m m u n i c a t i o na n ds t o r a g e i na d d i t i o n ，d s pt e c h n o l o g y ，w h i c hd e v e l o p s s oq u i c k l yr e c e n t l y , c o u l dp r o v i d eap l a t f o r mf o rt h ec o m p l i c a t e dn e w g e n e r a t i o nv i d e o c o d i n gs y s t e m c o n s e q u e n t l y , r e s e a r c ho nh 2 6 4 a v cv i d e oc o d i n ga l g o r i t h m sa n di t s r e a l i z a t i o nw i t hd s ph a sb e c o m eah o ta n dd i m c u l ts u b j e c ti nv i d e oc o m m u n i c a t i o n i n d u s t r y t h ek e yt e c h n o l o g yo fh 2 6 4 a v cw a ss t u d i e ds y s t e m a t i c a l l yi nt h i sp a p e r a n d t h em a i na c h i e v e m e n t so f w o r kw e r e 】i s t e da sf o l l o w s ： r e s e a r c ha c h i e v e m e n t so na l g o r i t h m s ：r a t ed i s t o r t i o no p t i m i z e ds t r a t e gv ii n t r a p r e d i c t i o n ，v a r i a b l e s i z e d b l o c ki n t e r p r e d i c t i o n m o d e d e c i s i o n ，i n t e g e rc o r e t r a n s f o r m a t i o na n dq u a n t i z a t i o n ，a n dc o d ee n c a p s u l a t i o nw e r es t u d i e dd e e p l yb yt h e r e f e r e n c ej mc o d ei n t h i sp a p e r a c c o r d i n gt ot h ea n a l y s i so no l dm e t h o d s am i x c d f e a t u r e s - l z l a s e df a s ti n t r ap r e d i c t i o nm o d ed e c i s i o nm e t h o df o rh 2 6 4 a v cw a sp r o p o s e d i nt h i sm e t h o dm o d e sw e r ef i l t e r e db ym i x e df e a t u r e si na d v a n c e a n dt h ed e c i s k m a p p r o a c hw a ss p e e d e du p t h ee x p e r i m e n tr e s u l t ss h o w e dt h a tt h en e ws c h e m ew a sa b l e t oa c h i e v ear e d u c t i o no fu pt o5 0 t i m ef o ri n t r ae n c o d i n g w i t hs i m i l a re n c o d i n g p e r f o r m a n c et ot h eo r i g i n a lr d o f u l lr e s e a r c hm e t h o di ni - i 2 6 4 a v cr e f e r e n c es o f t w a r e f u r t h e r m o r e af a s ti n t e rb l o c km o d ed e c i s i o nm e t h o df o rh 2 6 4 a v cw a sp r o p o s e di u t h i sp a f ) e r w i t ht h ei n i t i a lb l o c ks i z e8 x 8 a l lt h eb l o c ks i z em o d e sw e r ef i l t e r e db y c e r t a i nm e r g i n ga n ds p l i r i n gs t a n d a r d s ，w h i c hw e r ec o n s t r u c t e da tt h eb e g i n n i n g t h e e x p e r i m e n t sr e s u l t ss h o w e dt h a t ，c o m p a r e dw i t ht h eo r i g i n a lf u l lr e s e a r c hm e t h o d t h i s f a s tm e t h o dc o u l dr e d u c ei n t e re n c o d i n gt i m eb y7 0 w i t hl i t t l ei n f l u e n c eo ne n c o d i n g p e r t o r m a n c e r e s e a r c ha c h i e v e m e n t so nd s pr e a l i z a t i o n ：t h e e x p l o r ep r i n c i p l e o fd s p t m $ 3 2 0 d m 6 4 2e v ma n dt h eo p t i m i z a t i o nm e a n sf o rd s pc o d ew e r es t u d i e dav i d e o d i s p l a yg u lw a s m a d eb y u s eo fd r a w d i bv i d e of u n c t i o n si nv c + + a n dt h e c o m m u n i c a t i o nb e t w e e np ca n dd s pw e r er e a l i z e dt h r o u g hp c ia p lf u n c t i o n s h 2 6 4 a v cif r a i n ee n c o d e ro fb a s i cp r o f i l ew a sr e a l i z e di nc c s a n di tw a se m u l a t e d o nd m 6 4 2e v m ? e f i e c t i v eo p t i m i z e dm e t h o d so fd a t at y p e m e m o r ：cc o d e ? a n d a s s e m b l e rw e r ep r o p o s e df o rd s pc o d eo ft h ee n c o d e r ，a n db yt h e mt h ee n c o d i n gs p e e d c o u l db ea c c e l e r a t e dt om o r et h a n4t i m e sc o m p a r e dw i t ho r i g i n a lc o d e t h e nt h ec o d e d o c u m e n t sw e r ed e c o d e db vt h ed e c o d e ro np c ，a n dt h et e s td a t as h o w e dt h a tt h e p e r f o i t n a n e ea c c o r d e dw i t lh 2 6 4 ，a v cs t a n d a r dw e l l k e yw o r d s ：h 2 6 4 a v c r a t ed i s t o r t i o no p t i m i z e ds t r a t e g yi n t r ap r e d i c t i o n i n t e rp r e d i c t i o nm o d ed e c i s i o n t m s 3 2 0 d m 6 4 2 v i d e od i s p l a yg u iif r a m ee n c o d e r 加北1 ：业大学硕十学位论文 第一章的青 第一章前言弟一旱日i j 商 1 1 本论文的研究背景及意义 图象压缩编码从1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史，小 仅在理论研究上取得了重大进步，而且在实际应用中也获得了很大成果。近十年 来，图象编码技术得到了迅速发展和广泛应用，并且h 臻成熟其标志就是多个 关于图象编码的国际标准的制定，即国际标准化组织i s o 和国际电工委员会i e c 关于静止图象的编码标准j p e g j p e g 2 0 0 0 ，关于活动图象的编码标准m p e g l 、 m p e g ，2 、m p e g 4 等，以及国际电信联盟i t u t 制定的视频编码标准h 2 6 x 系 列。这些标准采用的图象编码算法融合了各种性能优良的图象编码方法，代表了 目前图象编码的发展水平。 h 2 6 4 a v c 1 j 是由i s o i e c 与i t u t 组成的联合视频组( t ) 制定并= j ；二2 0 0 3 年3 月正式获得通过的新一代视频压缩编码标准。1 9 9 6 年制定h 2 6 3 标准后， t u t 的视频编码专家组( v c e g ) 开始了两个方瓤的研究：一个是短期研究计划，在 h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + + ) ：另一个是长期研究计划， 制定一种新标准以支持低码率的视频通信。长期研究计划产生了h 2 6 l 标准草寨， 在压缩效率方面与先期的i t u t 视频压缩标准相比，具有明显的优越性。2 0 0 1 年， i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后i s o 与i t u 开始组建包括柬自 i s o i e c m p e g 与i h t v c e g 的联合视频组( j v t ) ，j v t 的主要任务就是将h 2 6 i ， 草案发展为一个国际性标准。于是，在i s o f l e c 中浚标准命名为a v c ( a d v a n c e d v i d e oc o d i n g ) ，作为m p e g 4 标准的第1 0 个部分；在i t u - t 中i f 式命名为h 2 6 4 标准。 h 2 6 4 的主要优点如下【2 j ：在相同的熏建图象质量下，h 2 6 4 比h 2 6 3 + 和 m p e g - 4 减小了约5 0 的码率。对信道时延的适应性较强，既可工作于低时延模 式以满足实时业务。如会议电视等：又可工作于无时延限制的场合，如视频存储 等。提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理， 提高解码器的差错恢复能力。在编解码器中采用复杂度可分级设计，在图象质量 和编码处理之间可分级，以适应不同复杂度的应用。相对于先期的视频压缩标准， h ，2 6 4 引入了很多先进的技术，包括4 x 4 整数变换、空城内的帧内预测、1 4 象素 精度的运动估计、多参考帧与多种大小块的帧删预测技术等。 虽然h 2 6 4 a v c 的编码效率远比以先静的视频编码标准高，但出_ 】二其具有相 当复杂的编码技术及模式选择，使得其运算复杂度也远高f 先前的编码标准。根 曲北。i ：业大学硕士学位论文 第一蘑河苦 _ - - _ _ _ - _ - _ _ _ _ _ _ _ - _ l - _ - - _ _ l _ _ - 一ii _ - - - _ _ _ _ _ _ _ _ - _ - _ - - _ 一 据j v t 会议文件的评估结果，h 2 6 4 a v c 参考编解码软件j m 2 1 ，相较于m p e g 4 m o m u s y sf p d a m l 0 2 0 4 1 4 ，其编码器复杂度约为1 0 倍以上，而解髑器复杂度则 为3 倍以_ ：。如此高的复杂度将使得h 2 6 4 a v c 难以使用在具有即时需求的应用 j ：。因此如何在不致牺牲h 2 6 4 a v c 的编码效率之前提下，降低其运算复杂度使 其适于实用化的程度，成为目前相当重要的研究方向。 另一方面，多媒体终端设备具有广泛的应蒯6 u 景，可以应用于视频会议、可视 电话、视频监控、p d a 、数字电视等各个领域，尤其足在3 g 时代，高效、使用的 多媒体终端设备一直是通信领域研究和丌发的主要方向之一。多媒体通信终端的 实现主要有两点：一方面需要快速、稳定的处理器作为媒体信号处理的；严台，j 方面需要适合多媒体通信协议标准的软件算法尤其是对音视频信号的压缩处 理算法。两者的结合才能产生高效的多媒体通信设备。h 2 6 4 a v c 的出台握供了 适合通信的视频标准和算法指导，而数字信号处理器( d s p ) 的高速发展为实现高 效的音视频信号处理提供了可能性。因此，将两者集合，把h 2 6 4 a v c 算法在d s p ：实现，对于多媒体通信的研究具有一定的意义和价值。 1 2 国内外的研究现状 【2 1h 2 6 4 a v c 热点技术的研究现状 h 2 6 4 a v c 标准中的关键技术包括：多种更好的运动估汁( 小数像豢、多模 式、多参考帧) 、4 4 小尺寸块的整数变换、更精确的帧内颈测、熵编码等。其中 针对帧内( i n t r a ) 和帧间( i n t e r ) 宏块的精确快速的预测模式决策算法、快速的高 精度运动估计算法、高效率的熵编码算法是研究的热点和难点，其研究现状如下： 多模式决策算法：由于多种预测模式的存在，这就要求在编码时对这些模式 进行择优，而择优的方法很多，存必要对其进行研究。择优过程中，f f 2 6 4 a v c 将基于t w i e g a n d 提出的率失真优化策略( r d o ) p 1 作为重要可选模式。对j 陋 内预测，目前参考代码中用的是全搜索的方法这种方法的计算量比较犬，因此 可以对决策步骤进行优化，形成一些快速帧内模式决策方法，所了解到的快速方 法有f e n g p a n 等在j v t 会议中提出的基于边缘方向宜方图的方法h 啪b o j u n m e n g 等提出的基于分组像素点的方法铲等，它们在不同程度上优化了原全搜索方法。埘 于帧间预测，目前有d w u 等提出的旗于均匀区域的快速帧间预测模式决策f 6 】、 p e n gy i n 等提出的基于误差表面单调性的快速帧间预测模式决镣【7 1 等。 运动搜索算法：二维运动估计算法中以块匹配算法最为常用。其中全搜索算 法可以提供给定失真准煲i 下的最优解，但计算复杂度太高。许多快速匹配算法可 以提供较快的搜索速度，但预测性能不太好。因此，为了在低计算复杂性视频编 两- i l ：1 ：业大学硕叶：学位论文第一章前? j _ _ _ _ _ - _ _ _ _ _ - - _ _ - _ _ _ _ - - - _ 囊- - - _ _ l _ _ _ i_ lu 码算法中应用运动补偿来消除视频信号的时间冗余，必须研究速度快且性能好的 运动估计算法。针对较早的编码标准如h 2 6 3 、m p e g 4 等提出的优化算法有j i 步 搜索法、对数搜索法、梯度搜索法、四步搜索法，六边行搜索法、钻石搜索法以 及带状搜索法等。新的快速运动估计算法u m h e x a g o n s ( 中固专利) 是一种运算 量相对于h 2 6 4 a v c 中原有的快速全搜索算法可节约9 0 以上的新算法，仝名叫 “非对称十字型多层次六边形格点搜索算法”( u n s y m m e t r i c a l ，c r o s sm u t i h e x a g o n s e a r c h ) 【8 】，这是一种整像素运动估值算法。由于它在高码率大运动冈象序列编码 时，在保持较好率失真性能的条件下，运算量十分低，已被h 2 6 4 a v c 标准惟式 采纳。 熵编码算法：h 2 6 4 a v c 标准中使用了c a v l c 【9 i 和c a b a c i m j 两种熵编码算 法。基于内容的自适应二进制算术编码( c a b a c ) 与自适应可变长度编码( c a v l c ) 相比较有3 个优点：1 ) 内容建模提供编码符号条件概率的估计，利用恰当的内容 模型，根据在当前要编码的符号附近已经编码符号的不同概率模型之删转换可去 掉符号间冗余；2 ) 算术编码为每个字母符号分配非整数位，因此符号几乎以他们 的熵速率编码，对概率 o 5 的符号很奄效。相比h u f f m a n 编码，算术编码可以史 现小数码长的分配，更符合香农的信息论，使压缩率大大提高：3 ) 自适应算术编 码允许熵编码器适应变化的符号的统计性，即对每个帧f - 目j 宏块源图象和低质量的 预测之问的差值编码。通常，大量的运动向量、不同序列和位速率的统计性在时 间和空间上发生变化，因此采用考虑已经编码的运动向量的累进概率的自适应模 型可以使算术编码器更好的适应当前符号的统计性。 除了上述热点技术之外，视频数据在网络传输中的差错控制投术【“q2 1 、变尺 寸整数d c t 变换、可变步长的量化机制、自适应的码率控制以及去除方块效应的 环路滤波技术也是视频编码中的重要技术。具有更高压缩能力但是运算量巨大的 小波视频压缩、分形视频压缩以及面向存储检索的基于视频对象的压缩技术，n ： 在受到更多的研究与关注。 1 2 2d s p 实现的现状 近几年来数字多媒体处理系统已经逐步取代传统的模拟系统而今年基于 m p e g 4 的数字系统又全面取代m p e g 。i 系统，国内已经有领先厂商应用d s p 推 出基于h 2 6 4 a v c 的数字系统并投入市场。在早期的m p e g - 1 类产品中，视频有 专用芯片，d s p 只处理语音。在m p e g 4 及h 2 6 4 a v c 类产品中d s p 全面完成视 频和语音处理工作。相比较a s i c 而言，数字监控行业在d s p 平台上进行视频产 品开发有以下几方面的优势：第一，用户丌发自出度更大，支持多种个性化丌发， 可以满足市场不断提出的新的要求，在第一时问提升产品性能，增强产品的竞争 坩北i ：业人学硕十学位论文第一章前言 能力；第二，d s p 处理能力强，可以在一个d s p 上同时实现多路音视频信号的日i 缩处理，同时为了及时满足应用的需要、还提供了很多视频争用功能，比如视频 滤波、d e i n t e r l a c e 处理、高分辨显示输出、o s d 功能等，甚至象网络接口、i d e 接口都成为了视频d s p 的主要功能，这样使进一步大幅度降低产品的成本成为叮 能( 这一点很重要) ；第三，开发周期短，实现快速技术更新和产品换代；第四 ：芷= 片功耗低，对提高产品的稳定性提供可靠保障。 t i 公司于2 0 0 3 年1 月推出了数字媒体处理器，i m s 3 2 0 d m 6 4 2 i i3 i ，该器件适用 fv o i p 、视频点播( v o d ) 、多通道数字录像应用，以及需要高质量的音视频编解 码领域，该器件一经推出便受到了业界的普遍关注，t l 为方便广大客户对d m 6 4 2 的开发，推出了d m 6 4 2 的e v m 板( 评估板) ，极大的方便和简化了人们对d m 6 4 2 的应用。因此，用d m 6 4 2e v m 实现h 2 6 4 ，a v c 己成为当今视讯行业的热点技术。 而目前用d m 6 4 2 实现实时的h 2 6 4 a v c 时主要存在以下难点，一是算法的优化： 二是c 代码的实现和优化；三是存储器的优化。这三方面因素也成为目前受关注 度最高，研究力度最大，并有待进一步有效解决的问题。 1 3 论文的主要工作 本论文对视频编码原理及当今流行的视频编码标准进行了研究，针刑 h 2 6 4 a v c 标准的新特性深入学习和理解其关键算法及其编解码系统原理，分 析h 2 6 4 a v c 编解码器的运算瓶颈所在，优化部分算法，并利用d s p 刀发平台实 现和优化了h 2 6 4 a v ci 帧的编码器。其具体内容有： 1 熟悉视频编码的基本原理，了解各类视频编码标准及其适用领域。 2 理解了h 2 6 4 a v c 高级视频编码标准中各类关键技术的原理，掌握其编解码 系统原理；对关键技术和热点技术，如整数核变换量化、更精确的帧内预测 编码、多种更好的运动估计、熵编码等进行深入研究。 3 通过对j m 参考代码的分析，理清了率失真优化策略、多模式决策策略、整数 核变换量化等复杂算法的代码实现思路。 4 针对帧内、帧问预测模式决策方法进行深入研究，对现有各类方法的性能进 行分析和比较，引入新思路或者融合已有方法的优点，形成快速决策方法。 5 熟悉d s pd m 6 4 2e v m 的结构和应用，深入学习了d s pc 6 0 0 0 系列的丌发原 理，对d s p 程序的优化方法进行研究。 6 用v c + + 实现了视频显示界面，深入理解d s p p c i a p i 函数，实现了p c 与d s p 问的视频通信。 7 利用d s pt m s 3 2 0 d m 6 4 2e v m 实现和优化了h 2 6 4 a v c 基木层的i 帧编隹5 器，并用p c 机上的解码器正确进行解码。 矾北一l ：业人学硕士学位论文 第一章h 2 6 4 a v c 概述及芙键技术介纠 第二章h 2 6 4 a v c 概述及关键技术介绍 2 1h 2 6 4 a v c 编解码系统 h 2 6 4 标准压缩系统由视频编码层( v c l ) 和网络提取层( n a l ) 1 1 4j 两部分组 成。v c l 中包括v c l 编码器与v c l 解码器，主要功能是视频数据压缩编码和解 码，它包括运动补偿、变换编码、熵编码等压缩单元。n a l 则用于为v c l 提供一 个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送， 采用统一的数据格式。n a l 层可以使h 2 6 4 的v c l 层和其他一些多媒体传输层灾 现映射，并通过这些层实现传输编码得到的数据功能，如图2 1 所示。例如： 1 r t p i p 层，用束提供任何实时的有线或无线的网络服务。 2 文件格式，例如i s o 用于存储的m p 4 和m m s 服务。 3 h 3 2 x 协议，可以提供有线和无线的传统服务以及m p e g 一2 系统的广播服务等。 图2 - 1h 2 6 4 标准压缩系统 i 竺羔曼竺! l _ ( 巫田o 匿咽 * b * f ，a n 悴莆弋 田一年疆学 惠 疆弹? 一叫去高二， 翻2 - 2h 2 6 4 视频编码层f i 臼绷解码系统摧崮 h 2 6 4 视频编码层的编解码系统框图如图2 2 所示。其中，摄像头采集和采集 数据处理部分为预处理环节，为编解码器提供源图象。编码器采用变换和预测的 混台编码方法。将帧内预测、运动估计后的残差数据进行变换量化，然后再进行 熵编码，编码后的码流与其他所需信息一起封装成n a l 单元供网络传输。解码器 对n a l 单元进行解码，解出头信息，得到参考预；j 8 | l 数据，然后将其与解出的预测 残差数据相加，便可得到解码重构图象。最后通过显示设备输出解码图象。 2 2h 2 6 4 a v c 的系统层次划分及码流封装 h 2 6 4 协议可以分为34 - - 7 集t 1 1 ，即基本层、主要层和扩展层，如图2 - 3 。基 本层只包含了实现4 2 6 4 协议的最基本的模块，主要包含有1 帧编码、p 帧编码、 c a v l c 、s l i c e ( 片) 结构划分以及冗余帧编码4 个大的模块，基本层主要用于视 陌北【：业大学硕士学搬论文第二章h 2 6 4 a v c 概述及芙键技术介 f 颂会议。为了提高编码系统的适应性和码流的鲁棒性，协议标准又在基本层之上 定义了主要层和扩展层。主要层在基本层的基础上去掉了s l i c e 结构划分及冗余帧 编码部分，而添加了b 帧编码、权重预测、场图象场宏块的编码以及c a b a c 等 馍块，主要用于网络的视频流。而扩展层则是在基本层的基础上添加了b 帧编码、 权重预测s p 与s i 帧编码和对s l i c e 进行分区编码与差等保护等模块，主要用于消 费电予应用。本文主要研究的是基本层。 扩晨昱，一“ 。 层 ? s p 与s 、 一 b hj拨1 t # 槲 - 1 - , - i! 枉审孙删二c a b , a , l 图2 3h 2 6 4 的系统层次划分 h 2 6 4 采用基于网络适应层单元n a l u 的码流结构，使码流具有很大的灵活 性和鲁棒性。根据j m 8 4 l ”j 定义的码流格式，h 2 6 4 码流结构投传输层协议及码流 的应用环境不同可以分为两种：r t p 封装( 图2 - 4 ) 与能高效检测出n a l ! i l 元边 界的附录b 字节流格式封装( 图2 - 5 ) 。对于附录b 字节流格式，每个n a i 。单元 前面放三或四个特定的被称为前导码( s t a r t c o d e ) 的字节，j m 8 4 中均取4 个字= 符0 0 o oo o0 1 。n a l 的边界可以通过搜索这3 或4 个特定的前导码来确定，并通过使用 预防码来防l 七前导码竞争。 通常，h 2 6 4 中各种语法单元经过c a v l 。c 或c a b a c 编码得到的码字写入缓 存形成最原始的数据位串( s o d b ) ，丽最终要写入码流文件的附录b 字节流是由 原始数据位串经过4 层封装得到的( 如图2 6 ) 。 n a l u ln a l u 2n a l u 3n a l u 4 l 、厂l 二二二二二二、广二二二二 r t p 乜业1 2 十 竹t 口t r f i 浊找荷 陶2 - 4 r t p 封装格式 一 s t a l l c t x l en a l u i s t a r t e o d e ：n a l u 2m a t t e t x l e n a l u 3 l 一：二二 一一一 附录b # 节汛 图2 - 5 附录b 字节流封装格式 图2 - 6 附录b 字宵流封鼗屡次 通常，对于一个图象序列按附录b 格式进行编码后，如果插入b 桢，丽且允订 b p p u m 一，一r一一+一 荫北1 ：业大学硕十学位论文 第二章h 2 6 4 a v c 概述及关键技术介2 一帧划分成多个s l i c e ，则不同类型的n a l 单元排列次序应如下图 醐2 7 不同类l ! n a l u 的排列次序 其中，参数集是用柬给解码器提供信息束进行大量的v c l n a l 单元解码的。 两种典型的参数集的作用是： 1 ) 序列参数集，对一系列顺序的图象编码时所用的参数。 2 ) 图象参数集，对一个视频序列中编码过的图象解码时所用的参数。 而每个s l i c en a l 单元的封装结构又如图2 - 8 和图2 9 所示( 其中p a r t i t i o n 为 数据分区) ： i n 时 悒，s p 悄 ：! 二一、， 注：填充位足有盘c a s a c 摸式r 才斋望：对 ：i d r 耐象只乜奢一 f l s h c e ，h 只自十外m 酗2 8i d r 帧及w b s p 帧s l i c en a l u 结构( 不对s l i c e 进行分区，邑一帧只划分一个s l i c e ) 肝毋尽p 舳 ，一、， s h c e ls l i 。c 2s i l c 心 蚪：1 网牛体前译码2 ：一。7 - 商n a l u 3 # 节时弃地光惶，仅仡c a b a c 时才【 l 仅n m 们数撕 图2 9l p b s p 0 贞s l i c e p a r t i t i o nn a l u 结构 ( 对s l i c e 进行分区，并采用差等保护，且帧可划分为多个s l i c e ) 2 3h 2 6 4 a v c 编解码的视频格式 本文中所研究的h 2 6 4 视频编码器接收的视频格、， 一、 式为y c b c r 描述，采样格式为4 ：2 ：0 ，即指在图象 、一 、 、 水平和垂直方向上每2 个连续的采样点上取2 个y 样 ， 、 本，1 个红色色差c r 样本，1 个蓝色色差c b 样本，相i 、- z 、 当于每个像素用1 5 个样本表示可用图2 - 1 0 描述， 图2 - 1 04 ：2 ：0 幽象采样格式 黜 酱筒觜简辫筒霹黼 蕊 曲北l ：业人学硕士学位论文 第二章l 2 6 4 a v c 概述及天键技术介纠 其中“，表示亮度y 采样，“0 ”表示色差。 此外，h 2 6 4 中定义了5 种标准图象尺寸：s u b q c i f 、q c i f 、c 1 f 、4 c i f 、1 6 c 1 f ， 其中q c i f ( 17 6 1 4 4 ) 和c i f ( 3 5 2 2 8 8 ) 是、i 用最为广泛的标准尺寸格式。 2 4h 2 6 4 a v c 的关键技术介绍 2 4 1 帧内预测 通过实验发现，帧内相邻宏块通常具有很类似的性质，因此，i t 2 6 4 利用相邻 宏块的空间相关性来进行帧内预测编码，以提高帧内编码的效率。对于一个给定 的宏块，首先利用相邻的周围宏块对此宏块避行预测( 通常利用此宏块左边和卜 边的宏块来预测，因为它们已经被编码并重建过) ，然后对实际宏块和预测宏块对 应像素做差值，并对差值变换编码，从而可以在一定程度上减少一个i 帧的数掂量。 h 2 6 4 的帧内预测编码方法一个显著的特征就是帧内预测在空间域进行，丽不像其 他视频编码标准( 如h 2 6 3 + 、m p e g 。4 ) 一样在变换域。 为进一步提高预测编码效率，对于亮度分量，h 2 6 4 对含有较多空域细肖信息 的宏块采用4 x 4 预测( 9 种模式) ，而对于较平坦的区域采用1 6 1 6 的预测模式( 4 种模式) ，另外还提供了不经预测和变换量化的步骤i - p c m 模式。 对于4 x 4 的亮度块预测，如图2 1 l 所示，把1 6 x 1 6 的亮度宠块划分成1 6 个4 x 4 的子块，每个子块的像素点a - p 用与其 mab cde fgi ，i 相邻的上面和左面已经编码并重建的像 ，i 一- a ：b cl ? 素采样点a m 进行帧内预测。图2 1 2 中 kiik i 说明了各模式的预测方向。对于模式 o “：op 3 8 ，待预测像素的值由采样点4 m 的 图2 - 1 14 x 4 帧内颅测的各像素点分布 加权平均得到。编码器根据预测块p 和当前块的最小残差为每个块选择预测模式。 图2 1 24 x 4 亮度块的9 种预测方向 对于1 6 x 1 6 的亮度预测，类似于4 x 4 亮度预测，用与每个宏块相邻的已编码 重建的像素采样点值对宏块像素值进行预测，其预测方向如图2 一1 3 所示。 对于8 x 8 的色度预测，其4 种预测模式和1 6 1 6 亮度预测模式相似。只是模 蹦北j ：业大学硕十学位论文 第一二章h 2 6 4 a v c 概述及关键技术介鲥 _ - - i ii i _ - _ - - e l 式标号不同，d c ( 模式o ) ，水平( 模式1 ) ，垂直( 模式2 ) ，平面( 模式3 ) 。通 常两色度块采用同种模式预测。 0 ( t d )i ( ，k 、：)2 ( d c j 3 l y m 、 幽2 1 31 6 x 1 6 亮度块的4 种预测方向 对于一些很不规则的图象，可以对其采用i - p c m 模式进行直接编码。i i p c m 模式不经过预测和变化量化步骤，真接编码采样点的值并传送。 2 4 2 帧问预测 h 2 6 4 的帧间预测是基于块的预测，它利用已编码重建的帧场对当莳帧场进 行运动补偿，它与先前视频编码标准不同的地方是：可变块尺寸、多参考帧以及 小数像素。下面分别介绍这三个特点： 1 多尺寸块模式 h 2 6 4 采用如图2 1 4 所示的可变尺寸块进行帧问预测，其中，一个1 6 1 6 的 亮度宏块可以划分为1 6 x 1 6 ，1 6 8 ，8 1 6 和8 8 四种模式( 图2 1 4 ( a ) ) ，每个划 分区域都是一个宏块分区；如果选择8 x 8 模式，那么宏块中的8 8 分区还可以再 细分为8 x 8 ，8 x 4 ，4 x 8 和4 4 四种模式( 图2 - 1 4 ( b ) ) ，称为宏块子分区。这些块 尺寸模式可以形象地表示成树形结构，如图2 1 5 所示。其中，大的分割尺寸适合 于平坦区域，而小尺寸适合于多细节区域。论文的3 4 节将就如何选择合适的尺、j _ 模式进行深入研究。 ：! 下一； ， 23 图2 1 4 ( a ) 宏块分区1 6 x 1 6 、8 x1 6 、1 6 x 8 、8 x 8 模式 ( b ) 宏块子分医8 x 8 、4 8 、8 x 4 、4 x 4 模式 2 双向、多参考帧 一一j 二一 ， t 卜1 1 i l i 广、- i j 。l薯“卜l 一i 7 、一】 i 一 一，_ 、。 1 1 is i 图2 - 1 5 变尺寸块模式的树形结构 在h 2 6 4 中，可采用多个参数帧的运动估计，即在编码器的缓存中存有多个 刚刚编码好的参数帧，编码器从其中选择一个给出更好的编码效果的作为参数帧， 并指出是哪个帧被用于预测，这样就可获得比只用上一个刚编码好的i 陵作为预测 隋j f ：业大学硕七学位论文 第二章h 2 6 4 a v c 概述及戈踺技术介 “ - l _ _ _ - - _ _ i i _ - _ _ _ - _ _ _ - _ _ - _ - _ - - - - - _ - - - - - _ _ _ 帧的更好的编码效果。h 2 6 4 帧间预测环节中包含双向的多个参考帧，每个方向f ： 最多可以有1 5 个参考图象。 3 小数像素 在h 2 6 3 中采用了半像素估计，在1 t 2 6 4 中则进一步采月j1 4 像素，以提高运 动矢量位移的精度，降低码率。h 2 6 4 中采用了6 阶f i r 滤波器的内插获得1 2 像 素位臀的值。当1 2 像素值获得后1 4 像素值可通过线性内插获得。列r4 ：2 ： 0 的视频格式，亮度信号的1 4 像素精度对应予色度部分的1 8 像素的运动矢鼍 因此需要对色度信号进行l 8 像素的内插运算。理论上，如果将运动补偿的精度增 加一倍可有o 5 b i t s a m p l e 的编码增益，但实际验汪发现在运动矢量精度超过l 8 像紊后，系统基本上就没有明显增益了，因此，在h 2 6 4 中，只采用了l 4 像豢精 度的运动矢量模式，而不是采用1 8 像素的精度。 2 4 3 整数核变换量化 视频压缩编码中以往的常用单位为8 x 8 块。在h 2 6 4 中却采用小尺寸的4 4 块由于变换块的尺寸变小了，运动物体的划分就更为精确。这种情况f ，图象 变换过程中的计算量小了，而且在运动物体边缘的衔接误差也大为减少。 当图象中有较大面积的平滑区域时，为了不产生因小尺寸变换带柬的块州扶 度差异，h 2 6 4 可对帧内宏块亮度数据的1 6 个4 x 4 块的d c q l 系数进行第二次4 x 4 块的变换，对色度数据的4 个4 4 块的d c 系数( 每个小块个，挺4 个d c 系数) 进行2 x 2 块的变换。 h 2 6 4 不仅使图象变换块尺寸变小，而且改用整数“核”变换，并用蝶形运算实 现，这样避免了乘法运算，且能够在不影响编码性能的前提下，有效地降低计算 复杂度，也更有利于硬件实现。出于编码器和解码器的变换和反变换的精度相同， 可以有效地消除“反变换误差”。整数核变换量化的具体过程见论文的3 5 节。 2 4 4 熵编码 多媒体数据压缩的方法可分为有损压缩和无损压缩两种，而无损压缩编码义 可称为熵编码或者冗余编码，这种编码是利用信源的统计特性进行压缩编码的， 也称统计编码。视频编码中常用| ! 辱是熵编码中的变氏编码( 也称h u f f m a n 编码) 和 算术编码。 h 2 6 4 中所要编码的参数包括：序列层、图象层和片层( s l i c e ) 的语法单元， 宏块类型，已编码块类型，量化参数，参考帧索引，运动矢量以及残莲数摄。片 层以上的语法单元用定长或者变长的直接二进制编码方式，片层及片层以f 的语 法单元及编码参数用变长编码( v l c ) 或者基于 下文的二进制算术编码 辑j i ：业大学硕士学位论文 第二章h 2 6 4 a v c 概述及关键技术介 “ - - l _ - - _ _ - - - - _ - _ - - _ -