（微电子学与固体电子学专业论文）基于h264基线规范的算法研究与实现.pdf

基于h 2 6 4 基线规范的算j 击研究与实现 摘要 随着通信技术和微电子技术的发展，在手持移动终端中提供视频图像服务是 一大趋势。但由于数字图像信号信息量大，而存储空问和传输带宽有限，因此必 须进行有效的压缩。h 2 6 4 a v c 标准是i t u t 的视频编码专家组和i s o i e c 的运 动图像专家组组成的联合视频工作组发布的一个的数字视频压缩标准，具有优秀 的压缩性能，并适于在不同信道上传输，因此得到广泛应用。h 2 6 4 a v c 标准中 的基线规范特别适合手持移动终端中的图像处理，因此本论文对其进行研究。本 论文优化基线规范中相关算法，构建实时编解码器，并进行硬件实现。 本论文首先根据基线规范的算法原理和系统设计指标，提出了一种新颖的、 基于改进的d m a 总线的视频编解码处理器。该处理器外部接口简单，方便集成 到不同的系统中。该处理器采用限制性的流水技术，满足实时性要求，节省各级 流水的缓存。严谨的系统状态机设计使得该处理器能在数码相机，视频摄像，视 频电话，和视频播放模式下工作。 然后本论文研究编解码处理器中各部分的算法优化和硬件实现架构。在预测 域，本论文分析了帧内预测和帧间预测的算法原理，创新点体现在：( 1 ) 提出了 多种利于实时硬件实现的帧内预测模式快速选择方案：( 2 ) 提出了包含硬件复用 的帧内预测编解码器硬件架构。该架构采用编解码复用以节省硬件，采用5 级流 水以提高速度，采用可配置的帧内预测处理器以支持1 7 种预测模式；( 3 ) 提出 了一种新的高速运动估计搜索算法一蝶形搜索算法：( 4 ) 提出蝶形搜索算法的 硬件实现，该实现方法解决了一类快速搜索的硬件实现问题。在预测域，本论文 也研究了小数运动估计与补偿的算法及硬件实现。在变换域，本论文分析了整数 离散余弦正变换反变换和量化反量化的算法原理，并提出基于双变换复用的硬 件架构。在变换域，本论文还研究了变换域的一个重要应用全零块检测法。 在熵域，本论文研究了c a v l c 和c a v l d 的算法原理，构建了基于快速查表法 的硬件实现架构。在重建域，本论文着重研究了去块滤波器的算法原理，提出了 一种新的基于块的硬件架构。该硬件架构由于考虑了前级处理模块的输出数据特 点，较相关结构具有更高的处理速度。 最后本论文进行了m a t l a b 级视频编解码器仿真，并在x i l i n x 公司的 v i r t e x l ip r of p g a 开发系统对编解码器进行验证。结果表明，本论文设计的视频 编解码器达到设计指标。 关键词：数字图像处理；视频编解码器；h 2 6 4 a v c ；帧内预测；帧间预测；运 动估计；d c t ；c a v l c ；去块滤波器 基于h 2 6 4 基线搜范的算法研究与实现 a b s t r a c t w i t ht h e d e v e l o p m e n t o fc o m m u n i c a t i o n t e c h n i q u ea n dm i c r o - e l e c t r o n i c t e c h n i q u e ，i ti st h et r e n dt op r o v i d ev i d e os e r v i c e sf o rh a n d - h o l dm o b i l et e r m i n a l s l i m i t e db yt h em e m o r ya n de h a r m e lb a n d w i d t h ，t h ed i g i t a li m a g es i g n a lm u s tb e c o m p r e s s e d t h eh 2 6 4 a v cs t a n d a r d r a i s e db yt h ej v to fi t u _ 1 r ，v c e ga n d i s o i e c m p e g , i sag o o ds e l e c t i o nt ot h i sa p p l i c a t i o n t h eh 2 6 4 a v cs t a n d a r dh a s g o o dc o m p r e s s i o np e r f o r m a n c ea n df r i e n d s h i pw i t hd i f f e r e n tc h a n n e l sa n ds oi ti s w i d c l yu s e d t h eb a s e l i n ep r o f i l ew i t h i nt h eh 2 6 4 a v cs t a n d a r di ss u i t a b l ef o rt h e a p p l i c a t i o nt oh a n d - h o l dm o b i l et e l n l i l l a l s t h i st h e s i sf o c u s e so ut h eb a s e l i n ep r o f i l e , i n c l u d i n gt h er e l a t i v ea l g o r i t h m sa n dr e a l - t i m eh a r d w a r ei m p l e m e n t a t i o n s a tf i r s t , t h ea r c h i t e c t u r eo fv i d e oc o d e cw i t ha d v a n c e dd m a b u si sp r o p o s e d ， a c c o r d i n gt oa l g o r i t h m si nt h eb a s e l i n ep r o f i l ea n ds y s t e md e s i g ns p e c i f i c a t i o n t h e c o d e ch a ss i m p l ee x t e r n a li n t e r f a c ea n dc a l lb ee a s i l yi n t e g r a t e di nd i f f e r e n ts y s t e m s b yt h el i m i t e dp i p e l i n et e c h n i q u e ，t h ec o d e cm e e t st h er e a l - t i m er e q u i r e m e n ta n d s a v e st h eb u f f e rb e t w e e ns t a g e s t h ec o d e ec a nw o r ku n d e rt h e s em o d e s ：d i g 如d c a m e r a , d i g i t a lv i d e o , v i d e op h o n e ，a n dv i d e ob r o a d c a s to w i n gt ot h ed e d i c a t e dd e s i g n o f t h es y s t e ms t a t em a c h i n e a n dt h e nt h i st h e s i sr e s e a r c h e st h eo p t i m i z a t i o no ft h ea l g o r i t h m sa n dt h e c o r r e s p o n s i v eh a r d w a r ei m p l e m e n t a t i o n sw i t h i nt h eb a s e l i n ep r o f i l e i nt h ep r e d i c t i o n 缸l d , t h ep r i n c i p l e so ft h ei n t r ap r e d i c t i o na n di n t e rp r e d i c t i o na r ea n a l y z e d n 蛇 a r e a t i v ew o r ki n c l u d e sm a i n l y ：( 1 ) t h ep r o p o s e ds e l e c t i o nm e t h o d so fi n t r ap r e d i c t i o n m o d e s ，w h i c ha r ee a s i l yi m p l e m e n t e db yh a r d w a r e ；( 2 ) t h ep r o p o s e di n t r ac o d e e a r c h i t e c t u r ew i t hd e r 斌u n ga n de n c o d i n gh a r d w a r er e u s e d ，w i t hf i v es t a g ep i p e l i n e s f o rs p e e d u pa n dw i t hr e c o n f i g u r a b l ei n t r ap r o c e s s o rf o r1 7p r e d i c t i o nm o d e s ；( 3 ) t h e p r o p o s e dh i g hs p e e dm o t i o ne s t i m a t i o na l g o r i t h m , c a l l e da st h eb u t t e r f l y - s h a p e d s e a r c ha l g o r i t h m ；( 4 ) t h eh a r d w a r e i m p l e m e n t a t i o no fb u t t e r f l y s h a p e d s e a r c h a l g o r i t h m , w h i c hs o l v e st h ed i f f i c u l tp r o b l e mo ft h eh a r d w a r ei m p l e m e n t a t i o no fo n e c l a s sf a s tm o t i o ne s t i m a t i o na l g o r i t h m s i nt h i sf i e l d ，t h et h e s i sa l s ow o r k so nt h e a n a l y s i so fa l g o r i t h ma n ds p e c i a lh a r d w a r ei m p l e m e n t a t i o no ft h ef r a e t i o u a lm o t i o n e s t i m a t i o na n dc o m p e n s a t i o n i nt h ei r a n s f o r mf i e i d , b a s e do i lt h eu n d e r s t a n d i n go f t h ei n t e g e rd c t i d c ta n dq i q ，t h i st h e s i s p r o p o s e dt h er e l a t i v e h a r d w a r e a r c h i t e c t u r e t h ea d v a n c e da p p l i c a t i o n - t h ed e t e c t i o no fa l l - z e r ob l o c k si sd i s c u s s e di n t h i sf i e l d t h ep r o p o s e dc a v l c c a v l dh a r d w a r ea r c h i t e c t u r ei sd e s c r i b e di nt h e e n t r o p y c o d i n gf i e l db a s e do nt h ea n a l y s i so ft h e i rp r i n c i p l e s i nr e c o n s t r u c t i o nf i e l d , 基于h 2 6 4 基线规范的算法研究与实现 t h i st h e s i sf o c u s e so i lt h ei m p l e m e n t a t i o no ft h ed e b l o c k i n gf i l t e r o n eb l o c k - b a s e d h a r d w a r ea r c h i t e c t u r ei sp r o p o s e d b e c a u s et h ei n p u td a t ac h a r a c t e rf r o mt h ef o r m e r m o d u l eh a sb c c nc o n s i d e r e d ，t h i sa r c h i t e c t u r ea c h i e v e sf a s t e rp r o c e s ss p e e dt h a no t h e r s i m i l a ra r c i l i t e c t u r e a tl a s t , t h es i m u l a t i o nu n d e rm a t l a bp l a t f o r ma n dt h ev e r i f i c a t i o nu n d e rt h e x i l i n x sv i r t e xi ip r of p o a - b a s e dd e v e l o p m e n ts y s t e ms h o wt h a tt h e p r o p o s e dv i d e o c o d e m e e tt h ed e s i g ns p e c i f i c a t i o n k e yw o r d s ：d i g i t a li m a g ep r o c e s s i n g , v i d e oc o d e c ，h 2 6 4 a v c ，i n t r ap r e d i c t i o n , i n t e rp r e d i c t i o n , m o t i o ne s t i m a t i o n , d c t , c a v l c ，d e b l o c k i n gf i l t e r 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明 并表示了谢意。 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内 容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在鳃密后遵守此 规定。 作者签名：圈盏逮 导师签名： 基于h 2 6 4 基线规范的算法研究与实现 第1 章引言 1 1 论文的研究背景与意义 i t 业是最近3 0 年发展最快的产业，i t 业的代表是网络、计算机和通信【l 】。 随着i t 技术的进步，无论网络，计算机或通信系统对高性能视频业务的需求都 在不断膨胀。例如，在3 g 无线网络中，重要的业务包括可视电话和手机电视 2 】。 甚至有许多互联网研究组织宣布，未来在互联网上，主要的数据将是视频和语音 【3 】。由于数字视频信号信息量大，直接进行存储和传输比较困难，因此，必须 对其进行压缩编码【4 1 。原有的视频压缩标准压缩性能不够好，并且网络友好性 差，压缩信号抗干扰能力不强，这些缺点促进了h 2 6 4 a v c 标准的提出与应用 h 2 6 4 m p e gga v c ( a d v a n c e dv i d e oc o d i n g 。以下简称为h 2 6 4 ) 是i t u - t 的视频编码专家组( v c e gv i d e oc o d i n ge x p e r t sg r o u p ) 和i s o i e c 的运动图像 专家组( i i p e g , m o v i n gp i c t u r ee x p e r t sg r o u p ) 的联合视频工作组( w t ，j o i n tv i d e o t e a m ) 于2 0 0 3 年5 月共同发布的一个新的数字视频压缩标准，它既是u - t 的 h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第1 0 部分【5 】。在技术上，和以前的标准相 比，h 2 6 4 中有多个亮点【6 】【9 】，如基于上下文的自适应变长编码( c a v l c ， c o n t e x t ，a d a p t i v ev a r i a b l ei 七n g t hc o d i n g ) ，高精度、多模式的位移估计，基于4 4 块的整数变换，分层的编码语法等。因此，h 2 6 4 具有很高的编码效率，在 相同的重建图像质量下，h 2 6 4 比上一代编码标准m p e g 2 平均节约6 3 的传输 码流，比m p e g 4 a s p ( a d v a n c e ds i m p l e p r o f i l e ) 要平均节约3 7 的传输码流【6 】。 同时，h 2 6 4 增强了对各种信道的适应能力，以满足不同速率( 从4 0k b p s 到 1 0m b p s ) 、不同清晰度以及不同传输( 存储) 场合的需求【l o 】【l l 】。h 2 “可用于 移动掌上电视( m o b i l e i v 、d v b h ) 、网络电视( i p t v i p i v o d ) 、数字电视广播 ( d v b s d v b - t h d t v ) ，固定和移动可视电话( v i d e o p h o n e ) 、i p 视频会议、 远程监控、高清d v d 播放机( h dd v d ，蓝光高清) 、d v d 录像机( d v r r p v r ) 、便 携式媒体播放机( p ) 、数字摄像机( d v ) 、数字监控( s u r v e i l l a n c e ) 等。而 且它的基本规范( b a s e l i n ep r o f i l e ) 是开放的，使用无需版权。 h 2 6 4 标准自提出后获得了迅猛的发展2 0 0 4 年6 月，d v d 论坛正式批准 了h d d v d 光盘物理格式v e r s i o n1 0 ，h 2 6 4 成为主要的编码格式之一。2 0 0 4 年9 月新一代光盘规格之一的蓝光光盘宣布将正式支持影像编码技术h 2 6 4 。 2 0 0 4 年1 1 月，d v b 组织正式批准接纳h 2 6 4 为下一代s d t v ，h d t v 编码标准 之一。h ，2 6 4 已被3 g p p 采纳。h 2 6 4 也是国内i p t v 和手机电视的信源编码候选 基于h 2 6 4 基线规范的算挂研究与实现 标准之一。 基于h 2 6 4 标准的蓬勃发展和广阔的市场前景，开展相关h 2 6 4 标准的核心 技术研究和相应产品开发具有重要的理论意义和实用价值。目前国内的一些科研 机构和企业已经认识到这一点。并进行h 2 6 4 标准的技术研究与产品开发。复旦 大学自1 9 9 8 年开始进行图像处理核心技术和专用芯片设计的研究，已设计出基 于静态图像压缩标准j p e g 和j p e g2 0 0 0 的数码相机芯片，并将目光投到动态图 像标准h 2 6 4 上。通过与国内知名企业华为公司合作，开展基于h 2 6 4 标准的算 法研究和视频编解码器设计在本论文的完成过程中，受到“华为科技基金”支 持，在此表示感谢。 1 2 论文主要工作 本文核心是h 2 6 4 基线规范的算法研究和编解码器系统设计。与以前的视频 标准一样，h 2 6 4 标准主要规定了视频解码器的技术细节。h 2 6 4 标准主要支持 3 种规范，基本规范( b a s e l i n ep r o f i l e ) ，主线规范( m a i np r o f i l e ) ，和扩展规范 ( e x t e n d e dp r o f i l e ) 不同规范应用在不同方面。本文研究的基线规范主要应用 在实时场合，比如手机电视，视频会话等。基线规范包括帧内预测、帧问预测( 运 动补偿) 、整数变换，反变换、量化，反量化、基于上下文的自适应变长编解码、去 块滤波等算法。论文的主要工作有以下几个方面： 1 ) 系统结构设计。首先进行系统实时性分析，以帮助确定各部分算法实现 时的并行度。并在研究大量文献的基础上，根据系统设计指标，对整个 视频编解码系统架构，编解码流水线操作，系统状态机进行设计。提出 了一种新的实时视频编解码器结构，并应用到电路设计中。 2 ) 算法研究与硬件实现。在论文的开展过程中，作者结合h 2 6 4 标准文档， j m 软件校验模型，以及大量相关文献建立了基于m a t l a b 平台的软件 编解码器。在此平台上，进行了大量的算法研究工作，提出有效算法， 并应用到电路设计中。 3 ) 仿真与验证。首先是基于m a t l a b 平台的系统仿真，然后编写v m i o g 代码，并在x i l i n x 公司的基于x c 2 v p 3 0 芯片的开发系统m l 3 1 0 上，对 硬件系统进行验证 1 3 论文的创新点 在满足系统设计指标的基础上，为了提高电路性能，本文对h 2 6 4 标准基线 规范算法进行优化并提出新的电路架构。本文的创新点主要有以下凡点： ( 1 ) 提出了一种基于h 2 6 4 基线规范的视频编解码器架构。该编解码器采 用改进的d m a 总线结构，外部接口简单，容易集成在不同的系统中。该编解码 器采用限制性流水技术，充分保证各级流水不溢出，节省了各级流水问的缓存器。 2 基于h2 6 4 基线规范的算祛研究与实现 通过严谨的系统状态机设计，该编解码器能工作在数码相机，视频摄像，视频电 话，和视频播放模式下。 ( 2 ) 提出了多种帧内预测模式快速选择方案。这些方案采用s a d 作判断标 准，在部分或全部帧内预测模式中进行选择，计算量小，利于硬件实现。 ( 3 ) 提出了帧内预测编解码器硬件实现架构。该架构编解码硬件复用，通 过状态机实现各种预测模式的转换，通过5 级流水实现快速处理，通过可配置帧 内预测处理器实现对帧内预测1 7 种预测模式的支持。 ( 4 ) 提出了一种新的高速运动估计算法一蝶形搜索算法。该算法采用新 的简单有效的搜索模板蝶形模板；采用快速截止技术，该截止技术通过提前判 断d c t 变换系数全零来停止搜索；采用中值运动向量预测技术以确定初始搜索 点。仿真表明，本算法较钻石搜索算法不但搜索速度提高4 3 2 6 0 0 - 8 0 ，并且图 像质量更好。 ( 5 ) 提出一类快速运动估计算法的硬件实现方案。尽管快速运动估计算法 由于数据流控制流不规则而不利于硬件实现，但h 2 6 4 标准中运动估计计算量较 以往标准有很大提高，同时实时手持系统中对硬件规模，硬件延时比较敏感，因 此全搜索算法不能满足要求，仍然需要采用快速运动估计算法。本文在蝶形搜索 算法的实现中，通过并行存储方案解决了数据流的不规则问题。该并行存储方案 通过循环存储再用数据，减少了对外部存储器的带宽要求；通过简单的地址编码 方案提供对任意搜索位置的参考数据输出。该存储方案结合树结构处理器和控制 单元，完成整个的运动估计操作。尽管是基于蝶形搜索，但该方案稍加改动能实 现三步搜索，钻石搜索，六边形搜索等具有一定形状搜索模板的一类快速运动估 计算法。 ( 6 ) 提出基于块的去块滤波器实现架构。考虑到前级整数d c i t 反变换的输 出块顺序，本文提出基于块的去块滤波器结构。由于该结构能与前级整数d c t 反变换并行工作，不需要等待几块或整个宏块整数d c t 反变换完成才开始工作， 从而节省了处理时间。 1 4 论文组织结构 论文共分6 章 第1 章是引言。介绍了论文的研究背景，研究意义，论文的主要工作，论文 的主要创新点。 第2 章介绍系统架构设计。为了方便后文论述，本章首先介绍了相关基本概 念。然后引入基线规范的视频编解码器算法原理。接下来分析了实时性要求，并 提出设计指标。根据设计指标，设计系统状态机和系统流水线。最后，给出系统 设计架构，并分析系统架构各部分功能。 基于h 2 6 4 基线规范的算法研究与实现 第3 章介绍预测域相关算法与硬件架构。本章分3 个部分，第1 部分介绍预 测编码的基本原理，第2 部分介绍h 2 6 4 标准中的帧内预测算法及相关硬件实现， 第3 部分介绍帧间预测算法及相关硬件实现。第l 部分从理论上揭示预测编码原 理。第2 部分首先分析h 2 6 4 标准中各种预测模式，然后提出了多种优化方案进 行预测模式选择，以满足实时手持移动终端要求。基于改进的帧内预测算法，第 2 部分最后提出h 2 “帧内编解码器的硬件实现架构。该硬件架构采用编解码复 用以节省硬件，采用5 级流水以提高速度，采用可配置的帧内预测处理器以支持 1 7 种预测模式。第3 部分着重介绍运动估计与补偿首先介绍整数运动估计。 由于h 2 6 4 标准采用可变块，整数运动估计计算量大大增加，因此本文提出了一 种快速搜索算法一蝶形搜索算法。快速搜索算法的硬件实现是一个难点，本文 提出了一种解决方案。该方案能应用到一类快速搜索算法的实现中。本部分最后 研究了小数运动估计与补偿，提出快速的硬件实现架构。 第4 章介绍变换域、熵域和重建域的算法与硬件实现。本章首先分析变换域 的算法原理，提出了硬件复用的变换和量化结构，并就变换域的一个重要应用一 全零块检测法作出研究，提出h 2 6 4 标准中基于判决门限的易于硬件实现的检 测法。然后，本章通过解析c a v l c c a v l d ，提出了基于快速查表法的硬件架构。 最后，本章介绍重建域的算法与实现。通过研究去块滤波器前级处理模块的输出 数据特点，提出了基于块的硬件实现架构。 第5 章介绍本文设计的视频编解码器的仿真和验证情况。介绍了仿真和验证 方案并给出了相应结果和相关分析。 最后，第6 章给出本文研究工作的总结，为下一步研究提出相关研究内容和 研究方向。 4 基于h 2 6 4 基线规范的算法研究与实现 第2 章h 2 6 4 基线规范的系统设计 系统设计是自顶向下的设计流程中的一个关键步骤。它是一项复杂的任务， 需要考虑因素很多。本章从基本概念着手，引入h 2 6 4 基线规范系统设计的几个 关键方面。 2 1 基本概念 2 1 1 图像采样格式 图2 1 显示了三种图像采样格式。 图2 1 图像采样格式( 逐行) ( 1 ) 4 ：4 ：2 。每4 个亮度像素相应的有4 个c b 和4 个c r 色度像素。即y 、 c b 、c r 具有同样的水平和垂直清晰度，每一个像素位置，都有y 、c b 、c r 分量。 ( 2 ) 4 ：2 ：2 。也称为y u v 2 。每4 个亮度像素相应的有2 个c b 和2 个c r 色 度像素。色度分量和亮度分量具有同样的垂直分辨率，但水平分辨率色度分量是 亮度分量的一半。在c c i r 6 0 1 标准中，它是分量彩色电视的标准格式。 ( 3 ) 4 ：2 ：0 也称为y v l 2 。每4 个亮度像素相应的有1 个c b 和1 个c r 色 度像素。水平分辨率和垂直分辨率色度分量都是亮度分量的一半。主要用于视频 会议，数字电视，和d v d 存储。 h 2 6 4 标准( 2 0 0 3 年5 月版本) 采用4 ：2 ：0 采样格式，色度和亮度样值仅为 8 b i t 。但为了支持娱乐级的视频质量，j v t 引入了4 ：2 ：2 与4 ：4 ：4 采样格式。 2 1 2 宏块和块 h 2 6 4 标准仍然是基于块的编码。一幅图像中所有像素分成若干个宏块 ( m a c r o b l o c k ) 。每个宏块包含一个1 6 x 1 6 像素亮度宏块，一个8 x 8 像素c b 宏块， 和一个8 x 8 像素c r 宏块。图像中宏块编号采用光栅扫描顺序。 基于h 2 6 4 基线规范的算法研究与实现 为了更准确的预测，h 2 6 4 标准对宏块进一步划分到块( b l o c k ) 。h 2 6 4 标 准亮度宏块包含6 种不同大小的块，1 6 x 8 ，8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 。色度块 类似，大小减半。块的划分和编号如图2 2 。 1 6 x 1 6 8 x 8 目田田圈 1 6 x 8 8 x 1 6 8 x 4 4 x 8 8 x 8 4 x 4 4 x 4 脚 图2 2 块的划分和编号 2 1 3 片 一幅图像可编码成一个或多个片( s l i c e ) 。每片由多个宏块构成。片的编解 码独立，以限制误码的扩散和传播【1 2 】。h 2 6 4 标准中定义了5 种片类型，如表 2 1 。 表2 1h 2 6 4 中片类型 片类型描述 i 片只包含i 宏块( 采用参考同一片内以前宏块进行帧内预测的宏块) p 片包含i 宏块和p 宏块( 采用参考以前帧进行帧间预测的宏块) b 片包含b 宏块( 采用参考以前帧和以后帧进行帧问预测的宏块) s l 片包含i 和p 宏块，参考不同参考帧重构相同的图像 s p 片包含s i 宏块( 采用特殊帧内编码方式的宏块) 2 1 4 规范和级 与早期的一些视频编码标准一样，h 2 6 4 也提出了规范( p r o f i l e ) 和级( 1 e v e l ) 的概念规范定义了可以用来生成标准比特流的一组编码工具和算法，级定义了 对比特流某些关键参数的限制( 如取样速率、图像尺寸、编码比特率等) 。f l 2 6 4 标准( 2 0 0 3 年5 月版本) 包含3 个规范，如图2 3 ： ( 1 ) 基线规范：i 和p 片编码，支持基于上下文的自适应变长编码( c a ) 。 主要用于低延时和低功耗应用，如视频电话，视频会议，无线实时通信等。 ( 2 ) 主要规范：i ，p ，b 片编码，支持隔行编码，基于上下文的自适应变 长编码c a v l c 和基于上下文的自适应算术编码( c a b a c ) 。主要用于数字广播 与数字视频存储 ( 3 ) 扩展规范：i ，p ，b ，s p ，s i 片编码，支持基于上下文的自适应变长 编码( c a v l c ) ，不支持基于上下文的自适应算术编码( c a b a c ) 和隔行编码。 主要应用在流媒体中。 6 基于h 2 6 4 基线规范的算法研究与实现 h 2 6 4 中，所有规范都使用同一组级定义标准定义了1 6 个级，具体参考 标准协议。 h 2 6 4 后续版本中，新增加了4 个规范，不再赘述。 图2 3h 2 6 4 标准中的规范 2 2 基于基线规范视频编解码器算法原理 h 2 6 4 标准沿袭以前的h 2 6 x 标准d 3 【1 5 】，采用混合编码，如图2 4 。预测 域对图像进行预测，减少时域或空域冗余，包含帧内与帧间预测技术。变换域对 预测后的图像信号进行变换，变换后系数相关性很小，利于压缩。目前图像处理 主要用离散余弦编码( d c t ) 。熵域利用信源的统计特性进行码率压缩编码，主 要有变长编码和算术编码【1 6 】【1 7 】。 图2 4 图像混合编码 h 2 6 4 标准并没有明确地规定一个视频编解码系统如何实现，而是规定了一 个视频比特流和该比特流的解码方法，在实现上具有较大灵活性，需要根据应用 折衷。本文拟设计的视频编解码系统主要应用在手机等无线移动终端上，因此选 择基线规范。 图2 5 显示了基于基线规范的视频编解码器。为了增加网络友好性，增强 抗干扰能力，h 2 6 4 采用分层模型，分为视频编码层( v c l ) 和网络提取层( n a l ) 。 基于h 2 6 4 基线规范的算法研究与实现 其中，视频编码层实现视频图像处理，网络提取层方便视频编码数据在外部网络 的传输及存储介质上的存储。对于视频编码层，预测域主要包括帧间预测与帧内 预测，变换域包括整数d c t 变换反变换和量化反量化，熵域主要包括基于上下 文的变长编解码。 图2 5 ( a ) 为编码流程。从该图可以看出，编码过程分为两条路径。其中正向 路径的数据流程为：输入的当前帧经过帧间预测或帧内预测后，进行整数变换和 量化；量化后的数据经过基于上下文的自适应交长编码后，经网络提取层打包， 再送出。反向路径主要包括整数反变换、反量化及为去除块效应引入的去块滤波 器，最后得到重建帧。该重建帧用作下一次预测的参考帧，以使解码后的图像不 失真。 图2 5 ( b ) 为解码流程。从该图可以看出，解码流程为：编码后的数据经过网 络提取层解包后，经过基于上下文的自适应变长解码、反量化、整数反变换处理， 得到的数据与帧间搜索、帧内搜索所得的预测值叠加，再经过去块滤波器去除块 效应后即得到编码前的图像。 + 视频编码层 l 荸三l l i 丽 一厂一、厂研受 厂= 石 - j 主点l j 谨 幽 广1 基广，11 兰广 变长 j 编码 ；圉r 预测 1 坷盟卜 值 l 匮 g 茎卜l ( 曜母叶翌卜 il 薹旧橛糯 旧：譬圈囤网一；卧蓝a 如商姜擎h 图2 5h 2 6 4 基本规范的编解码算法流程 基于h 2 6 4 基线规范的算法研究与实现 2 3 系统实时性分析 处理单个宏块的最大时钟数为： n u 加傩： 丝：丝 傩( 2 1 ) w i d t h h e i g h t 。f 其中w i d t h 为图像宽度；h e i g h t 为图像高度；，为帧频。c l k 为系统时钟频 率。 根据式( 2 1 ) ，如果帧频，为3 0 f p s ，图像格式为c i f ( 3 5 2 2 8 8 ) ，系统时 钟为5 4 懈i z ，则处理一个宏块最多4 5 4 6 个时钟。 处理单个宏块的最大时钟数确定后，有利于确定系统的流水线以及各级流水 线的并行度，进而在各级模块实现时合理分配时钟。 2 4 系统设计指标 本文核心是设计基于h 2 6 4 基线规范的编解码器，主要应用在手机等移动终 端上。系统主要功能包括： ( 1 ) 数码相机功能。即单幅静态图像的i 片编解码。 ( 2 ) 视频聊天。即实时动态图像编解码 ( 3 ) 视频摄像。即实时动态图像编码。 ( 4 ) 视频播放。即实时动态图像解码。 根据这些功能，系统主要的设计指标如表2 2 。 表2 2 系统指标 功能说明 工作频率， 5 4 m l - z满足实时系统的性能需求 适应m 核的设计，只有d m a 、 全同步，单时钟 m c u 接口 支持图像速度 3 0 铀 支持图像格式 4 ：2 ：0 ，y u v 支持图像大小c ( 3 5 2 x 2 8 8 ) 编码输出码流 2 0 0 k b p s - - i m b p s 2 5 系统状态机 根据系统功能，设计系统的状态机如图2 6 。系统包含5 个状态： ( 1 ) i n i ：初始化状态。对系统进行初始化操作。 ( 2 ) w a r r ：等待状态。等待用户发出命令。 ( 3 ) e n c o d e ：编码状态。完成一帧图像的编码。 ( 4 ) d e c o d e ：解码状态。完成一帧图像的解码。 9 基于h 2 6 4 基线规范的算法研究与实现 ( 5 ) d e c i d e ：判决状态。判决下一步是编码或解码。 状态的跳变如下： i n i - w a i t ：初始化完成后跳变。 ，a i t - e n c o d e ：等待状态如果收到用户编码命令跳变。 w a i t - d e c o d e ：等待状态如果收到用户解码命令跳变。 e n c o d e - d e c i d e ：一帧图像编码完成后跳变到该状态， 编码或解码。 e n c o d e - w a i t ：编码时如果接收到用户结束命令。 d e c o d e d e c i d e ：一帧图像解码完成后跳变到该状态， 编码或解码。 d e c o d e - w a i t ：解码时如果接收到用户结束命令 d e c i d 胁e n c 0 d e ：判断下一帧编码。 d e c i d e - d e c o d e ：判断下一帧解码 以确定下一帧是 以确定下一帧是 d e c i d e w a i t ：收到用户结束命令。 根据该状态机，如果实现数码相机功能时，其状态跳变为w a i t - e n c o d e 。 视频摄像时，其状态跳变为w a i t - e n c o d e - d e c i d e - e n c o d e 。视频播放 时，其状态跳变为w a i t d e c o d e - d e c m e d e c o d e 。视频聊天时其状态 跳变为w a i t - e n c o d e - d e c i d e - d e c o d e - d e c i d e - e n c o d e 。 图2 6 系统状态机 2 6 系统流水线 根据图2 5 的基线规范算法流程，可以确定系统的流水操作。各级流水以完 成一个宏块的处理为时间单位，流水的划分主要考虑计算复杂度【1 8 】 1 9 】。 帧间预测主要包括整数运动估计和小数运动估计与补偿。编码时，首先进行 1 0 基于h 2 6 4 基线规范的算法研究与实现 整数运动估计。完成后，围绕整数运动估计得到的最佳运动向量位置，进行小数 运动估计补偿。由于整数运动估计的计算复杂度比较高，且与小数运动估计交互 的数据量小，因此作为流水线的一级来实现。小数运动估计与补偿放在下一级。 解码时，只需用n 4 , 数运动补偿，因此将整数运动估计与小数运动估计分开是合 理的。 i l 4 l 3 l 2 l l 回s t e p 2 l i 图2 7 系统流水线 m 旧l伍1 2h 瑾岫 m b lm b 2m b 3m b n m b lm b 2m b 3 m b n d b l m b 2m 旧3m 旧n t 姗 图2 8 编码流水操作 帧内预测包含亮度预测和色度预测。亮度预测包含i n t r a4 x 4 预测方式和 i n t r a1 6 x 1 6 预测方式。i n t r a 预测方式包含种预测模式，预测_4x4 9 i n t r a1 6 x 1 6 方式包含4 种预测模式。色度预测包含4 种预测模式。因此，帧内预测计算复杂 度比较高。编码时，如果是i 帧预测，只需帧内预测，如果是p 帧预测，需要帧 内预测与帧间预测。解码时，帧内预测与小数运动向量补偿只会选择一种。基于 以上原因，将帧内预测与小数运动估计与补偿放在一级，但分开在不同的模块中。 整数d c t 变换反变换和量g 反量化( q i q ) 作为后续单元，放在一级。而 基于内容的变长编解码( c ，】l c d ) 及其后的网络提取层放在后一级。 为了节省各级流水间的缓存器( s r a m 或寄存器) ，流水中采用了限制技术， 即后级流水完成后前级流水才开始处理下一宏块。采用限制性流水技术的主要原 因是各级的处理时钟不固定。对不同的视频图像，各级处理时钟可能相差几百个 时钟周期。这样造成前级大量的数据过来，后级处理需要大量的缓存，可能在极 画 一 画 一一 基于h 2 6 4 基线规范的算法研究与实现 端情况下造成缓存溢出，从而引发错误。为了不溢出，需要在最坏的情况下考虑 缓存，这会造成硬件的浪费。根据系统流水线分配，编码时流水操作如图2 8 ， 解码时流水操作如图2 9 。 l 2 l 3 l a 2 7 系统结构 图2 9 解码流水操作 图2 1 0 典型的视频处理系统 典型的视频处理系统如图2 1 0 。数字视频处理芯片承担着图像采样、处理、 压缩、存储、显示、传输等操作。目前视频处理芯片多采用d s p 架构【2 0 】或s o c 架构 2 l 】。比较而言，基于s o c 架构由于采用了功能强大的微处理器( 如a r m 核和p p c 核) ，设计和应用更加灵活，同时高的集成度降低了系统功耗。基于s o c 基于h 2 6 4 基线规范的算法研究与实现 架构的视频处理芯片一般采用总线方式，各功能模块挂在总线下面。典型的总线 主要有基于a r m 的a m b a 总线【2 2 】， o p e n c o r e s 组织的w i s h b o n e 总线等。 基于p p c 的o p b 和p l b 总线 2 3 】， 系统功能模块主要有3 a 模块( 自动曝 光( a e ) ，自动聚焦( a f ) ，和自动白平衡( a w b ) ) ，图像预处理模块，各种接 口模块，总线控制器模块，压缩解压缩模块( 基于不同的视频标准) 。 图像预处理模块主要完成伽玛校正、色彩校