（微电子学与固体电子学专业论文）块尺寸可变运动估计的vlsi设计.pdf

堕尘堡三些查兰三兰竺圭兰堡竺圣 2 7hj j i a ，lz h a n g an e wc r o s sd i a m o n ds e a r c ha l g o r i t h mf o rb l o c km o t i o n e s t i m a t i o n i c a s s p 2 0 0 4 ：i i l 3 5 7 3 5 9 2 8a c y u e 衔c i e mb l o c k s i z es e l e c t i o na l g o r i t h mf o ri n t e 卜f r 锄ec o d i n gi n h 2 6 4 m p e g 一4 a v c i c a s sp - 2 0 0 4 ：i i l l 6 9 1 7 0 2 9a m t o u r a p i s ，o c a ua i l dm l l i o u h i g h l ye 瓶c i e mp r e d i c t i v ez o n a l a 1 9 0 r i t h m sf o rf a s tb l o c k m a t c h i n 2m o t i o ne s t i m a t i o n i e e et r a i l s a c t i o no n c i r c u i t sa n ds y s t e m s f o r v i d e o t e c h n o l o g y ，v o l l 2 ，n 0 1 0 ，o c t ，2 0 0 2 ：9 3 4 9 4 6 3 0c h c h e u n 臣lm p oan o v e lc r o s s d i a m o n ds e a r c ha l g o r i t h m 士、o rf a s t b l o c km o t i o ne s t i m a t i o n i e e et r a n s a c t i o no nc i r c u i t sa i l ds v s t e m sf o rv i d e o t e c h n o l o g y ，v o l l 2 ，n o 1 2 ，d e c ，2 0 0 2 ：1 1 6 8 1 1 7 7 31y yw a n g ，yt p e n g ，c j t s a i v l s ia r c h i t e c t u r ed e s i g no fm o t i o n e s t i m a t o ra 1 1 di n 一1 0 0 df i l t e rf o rm p e g 一4a v c h 2 6 4e n c o d e r s i s c a s 2 0 0 4 ： i i l 4 9 1 5 2 3 2 n z h a l l g ，b c y i n ，k o n gd e h u i ，wyy u e s p a t i a lp r e d i c t i o nb a s e di n t r a - c o d i n g i e e ei n t e m a t i o n a lc o n f e r e n c eo nm u l t i m e d i aa n de x p o ( i c m e ) ， 2 0 0 4 ：9 7 1 0 0 3 3 x “，r q “，yk c h e n f a s tm u t i f r 锄em o t i o ne s t i m a t i o na 1 9 0 r i t h mw i t h a d a p t o v es e a hs t r a t e g i e si nh - 2 6 4 i c a s s p 2 0 0 4 ：i i l 3 6 9 3 7 2 3 4 j l e e ，b 、mj e o n f a s tm o d ed e c i s i o nf o rh 2 6 4 i c m e ，2 0 0 4 ：l13l l1 3 4 坠玺堡三些尘薹三耋堡：! ；兰堡篁兰 a b s t r a c t h 2 6 4i st h el a t e s tv i d e oc o d i n gs t a n d a r d ，w h i c hw a sp u b l i s h e db vi t u t a n di s o ，i e ci n2 0 0 3 t h ec o d i n ge 撮c i e n c yo fh 2 6 4v i d e oc o d i n gs t a n d a r di s t w i c et h a nh 2 6 3 w h i l et h ec o m p l e x i t yi sd o u b l eo fh - 2 6 3 h 2 6 4i sr e g a r d e da s t h ep a r tl oo f m p e g ，4 t h eh 2 6 4v i d e oc o d i n gs t a n d a r di sa n a l y z e di n d e t a i l ，a n dt h ef b r t h e r r e s e a r c h e so fm o t i o ne s t i m a t i o na l g o r i t h mh a v eb e e nm a d e a c c o r d i n gt ot h e r e q u i r e m e n to ft h em o t i o ne s t i m a t i o ni nh 2 6 4 ，as e to fa l g o r i t h mh a v eb e e n d e s i g n e d ，s u c ha sm u l t i r e f e r e n c ef r a m es e l e c t i o na l g o r i t h m ，v a r i a b l eb l o c km o d e s e l e c t i o na i g o r i t h ma n df a s t s e a r c h i n gm e t h o d t h e s ea i g o r i t h mh a v eb e e n s i m u l a t e dt h r o u g ha b o u t3 0v i d e ot e s ts e q u e n c e sa n dt h ev l s ia r c h i t e c t u r eo f t h e s ea l g o r i t h m sh a v eb e e nd e s i g n e ds u c c e s s f u y t h ev l s io f16 xl6i n t r ap r e d i c t i o na n d4 x 4i n t r ap r e d i c t i o nh a v eb e e n c o m p l e t e d t h ev l s ia r c h i t e c t u r eo fi n t e r p r e d i c t i o nh a v ea l s ob e e n a c c o m p l i s h e d t h es i m u l a t i o na n ds y n t h 船i sh a v eb e e nd o n e t h e16 xl6l u m a i n t r ap r e d i c t i o nc o s t5 7 0 5 9 a t e s ，t h e1 6 x 1 6c h r o m ai n t r ap r e d i c t i o nc o s t5 7 4 0 g a t e sa n dm e4 x 4i n t r ap r e d i c “o nc o s t4 2 6 6g a t e s t h er e s u l t sc o n f o mt ot h e r e a u i r e m e n t k e y w o r d sh ，2 6 4 ，v i d e oc o d i n g ，m o t i o ne s t i m a t i o n ，j n t r ap r e d i c t i o n ， i n t e rp r e d i c t i o n ，v l s i 哈尔滨工业大学- | 二学硕l 学位论文 1 1 课题背景 第l 章绪论 随着新世纪超大规模集成电路技术和电子计算机技术突飞猛进的发展，人 类社会已经进入了一个多媒体时代。多媒体的发展给人们带来了越来越多的方 便，使人们的生活有了同新月异的变化。视频编码技术则是多媒体技术中的核 心。从上世纪8 0 年代起，人们开始对视频技术进行大量的研究工作，并且取 得了很大的成就，以至于远程教育、视频会议、多媒体邮件、可视电话、远程 视频聊天等等无一不成为现实。 众所周知，视频信息具有一系列的优点，如直观性、准确性、高效性、广+ 泛性等等。然而我们在交流视频信息的过程中，肯定不可避免传输和存储大 量的数字视频信息，而庞大的视频数据无疑给数据的传输和存储以及计算机处 理速度增加了很大压力，也成为阻碍计算机多媒体技术发展的一个瓶颈。要想 解决这个问题，要首先解决视频编码问题，其次是视频压缩后的质量保证问 题。然而这两者之间是矛盾的，我们的主要任务就是要协调两者之间的关系， 使视频序列的传输和存储达到最优。国际标准化组织( i s o ) 和国际电信联盟 ( i t u ) 等国际组织也相继推出了m p e g 和h 2 6 x 等视频编码标准，使视频编 码技术得到了很大的发展。 超大规模集成电路设计也已经成为当今电子科技发展的主流方向。目前有 越来越多的具有自主知识产权的芯片被设计者设计出来。由于集成电路芯片具 有面积小，稳定性高，成本低等特点，因此用超大规模集成电路( v l s i ) 来设 计实现h f 2 6 4 视频编码协议不但能保证功能的正确性，也能保证芯片有很高的 性价比。 运动估计是视频编码的重要组成部分，本文主要是针对i t u th 2 6 4 协 议，对视频编码的运动估计部分进行研究。并且完成满足h 2 6 4 协议的运动估 计模块的v l s i 设计。设计出的模块可以形成具有自主知识产权的i p ，用于一 系列符合 l 2 6 4 协议的视频芯片上。超大规模集成电路能够保证设计出的芯片 成本低，可靠性高，也为后续产品的发展提供了有利的保证。 哈尔滨工业大学= _ f ：学烦士学位论文 1 2视频编码的发展与现状 1 2 1 视频编码协议的发展与现状 近些年来，视频传输的应用前景日益为人们所认识，如通过普通公用电话 网，传输可视电话、互联网多媒体、视频检索以及无线移动网上的各类视频、i k 务等。而视频作为信息含量最丰富的载体，在现代通信技术中所承担的作用远 远超过其它媒体。要想更好的实现视频信息的远程传输，就必须解决好视频压 缩问题，为视频的压缩技术制定统一的国际标准 2 1 。 ( 1 ) h 2 6 1 标准。目前，视频编码标准主要有国际电信联盟( i t u t ) 的 h 2 6 x 标准和i s o 运动图像专家组( m p e g ) 的m p e g x 系列。1 9 8 8 年形成 草案，1 9 9 0 年通过i t u t 的h 2 6 1 协议，是视频编码技术走向实用化的重要 一步。它是视频编码4 0 年研究成果的结晶。它是为窄带综合业务数字网州 i s d n ) 上开展多路( p x 6 4k b s ) 双向传输声音和图像业务( 可视电话、会议) 而 制定的，其中p = i 3 0 ，又称为p x 6 4 标准。它建议采用中间格式 c i f ( c o n u n o ni n t e r m e d i a t ef o r m a t ) 和q c i f ( q u a n e rc i f ) 解决不同制式通信f 司的 矛盾。2 0 世纪9 0 年代初相继提出的m p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) i 、m p e g 2 、h 2 6 3 等标准都是在h 2 6 1 的基础上发展和改进的。这些国际 标准普遍采用的混合编码技术，这是当时最实用的高效编码方法”1 。 ( 2 ) h 2 6 3 标准。1 9 9 5 年国际电信联盟提出针对低比特视频应用，适应 极低码率( 即小于6 4 k b p s ) 传输信道的音频视频编码国际标准，即h 2 6 3 标 准，主要用于p x 8 k b p s 速率信道、面向可视电话业务。它是目前以像素块为 基元的d c t m c 混合编码技术所能达到最佳效果的一种方案，并获得巨大成 功。在1 9 9 8 年与2 0 0 0 年，i h j t 及时总结国际上低速率视频编码研究中的 最新成果，对h 2 6 3 标准做了补充和修订”3 。h 2 6 3 采用第一代技术，在低速 率视频传输质量、抗误码能力等方面有明显提高，在视频业务的传输中得到广 泛应用。h 2 6 3 标准已经成为当今视频编码的主流。 h 2 6 3 标准以混合编码为核心技术，即用帧问预测减少时域冗余，用变换 编码减少残差信号的空域冗余，相应的解码器具有运动补偿能力。运动补偿 h 2 6 3 采用半像素精度，与h 2 6 1 中采用的全像素精度和一个环路滤波器的设 计不同。被发送的符号采用可变长编码技术。h 2 6 3 第一版中包含四个基本模 啃尔滨工业大学工学硕 二学位论文 式：非限制运动矢量模式、基于语法的算术编码模式、高级预测模式以及p 、 b 帧模式。由于仅限于五种固定图像大小、形状和图像时钟频率，应用的灵活 性较低。为在窄带网络环境p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 和无线移 动信道e 传输视频信息，i t u t 在1 9 9 8 年1 月通过h 2 6 3 标准的第二版， 通常称h 2 6 3 + ，增加1 2 个新的高级模式，修正第。版中的一个模式。修订版 首先在视频格式多样化上做了改进，由于便于国际上不同制式p l 、 n t s c ( n a t i o n a lt e l e v i s i o n s t a n d a r dc o r m i t t e e ) 、 s e c a m ( s e q u e n t i a lc o u l e u r a v e cm e m o i r e ) 的彩色电视信号的互连，i t u 提出先把不同制式的彩色电视信 号转换为“公共中间格式”( c o m m o ni n t e r m e d i a t ef o r m a t ( c i f ) ) ，这个格式 为3 5 2 x 2 8 8 x 2 9 7 ，即每行3 5 2 个像素，2 8 8 行，每秒2 9 7 帧。改进后的标准 h 2 6 3 + 提供一些新技术，如附加增强信息模式和参考帧再采样模式，进一步扩 大适用范围，支持图像冻结和快照，阻及多分辨率视频的应用。改进后的标准 h 2 6 3 + 采用非限制运动矢量模式、增强p b 帧模式、先进帧内编码模式、交替 帧间编码模式等技术使视频编码压缩的能力得到进一步提高。h 2 6 3 十还增加一 些新技术来增强其抗误码的能力，如分片结构模式、增强参考帧选择模式、独 立分段解码模式和数据分割模式等，使视频信号经过压缩编码后能够在具有较 火噪声干扰的窄带信道p s t n ( i n t e g r a t es e r v i c e sd i g “a 1n e t w o r k ) 和无线移动信 道等上传输。通过使用去方块效应滤波器、降低分辨率更新模式和修正量化模 式等新技术，重建图像的主观质量显著提高。 ( 3 ) h 2 6 4 标准。近年来，国际电信联盟v c e c ( 视频编码专家组) 和 i s o 的m p e g ( 活动图像专家组) 的专家们组建了j v t ( 联合视频小组) 共同 研究视频图像的高效压缩编码。他们制定的标准被分别称为h 2 6 4 和m p e g - 4 高级视频编码( m p e g 一4a d v a l l c e dv i d e oc o d i n g ) 。h 2 6 4 标准在视频编码效 率和图像质量上有了很大的提高，可以预见，它在许多方面将取代现有的 m p e g 一2 和m p e g 4a s p ( a d v a n c e ds i n g l ep r o f i l e ) ，占领更多市场。 h 1 2 6 4 是在i t u t 和i s o j e c 等组织先前制定的编码标准的基础上提出 的，从技术上讲它并没有推翻早期标准的总体框架和结构，其整体框架和结构 与h 2 6 3 的编解码是十分相似的。它们的相似点主要表现在以下几方面： 第一、将每副图像画面分为像素块，这样对图像画面可以进行块处理。 第二、利用图像画面存在的空间冗余，对一些原始的块进行变换、量化和 熵编码( 或者变长编码) 。 哈尔滨工业大学t 学硕士学位论文 在h 2 6 4 中，熵编码可以用简单的通用变长编码( u n i v e r s a lv a r i a b l e l e n g t hc o d e s ) 或者用基于上下文的白适应二进制算术编码( c o n t e x t b a s e d a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 5 1 。基于内容的自适应变长编码 ( c a v l c ) 对剩余的4 x 4 ( 或2 x 2 ) 块的“之”字型扫描传输系数进行编码。 c a v l c 充分利用了4 x 4 块量化系数的以下一些特征： 1 通过预测、转换和量化，系数块通常都是稀疏的( 含大量的0 ) ， c a v i 。c 利用游程码对长0 串进行压缩； 2 通过“之”字型扫描的高端的非n 系数通常是一个+ l 或1 的序列， c a v l c 将高频系数+ 1 或1 的数量通过压缩作为信号发出； 3 斗目邻块之问的非0 系数的数量是相关联的，系数的数量是通过查找表进行 编码，对查找表的选择依赖于相邻块中非0 系数的数量； 4 非0 系数个数的数量级在重排序数组的开始( 接近直流系数) 的地方比 较高，在高频部分比较低，c a v l c 充分利用这一点，采用依靠最近编码的数 量级自适应选择量级参数查找表的方法。 通过这种方法与传统的变长编码( v l c ) f 拘结合，将能更为充分利用信源的 各种相关特性和人的视觉特性更好地压缩数据，降低所需的传码率。 图1 - 1h 2 6 4 视频编码系统 f i g u r e l 一1h 2 6 4v i d e oc o d i n g s y s t e m 哈尔滨工业大学= _ f ：学烦士学位论文 1 2视频编码的发展与现状 1 2 1 视频编码协议的发展与现状 近些年来，视频传输的应用前景日益为人们所认识，如通过普通公用电话 网，传输可视电话、互联网多媒体、视频检索以及无线移动网上的各类视频、i k 务等。而视频作为信息含量最丰富的载体，在现代通信技术中所承担的作用远 远超过其它媒体。要想更好的实现视频信息的远程传输，就必须解决好视频压 缩问题，为视频的压缩技术制定统一的国际标准 2 】。 ( 1 ) h 2 6 1 标准。目前，视频编码标准主要有国际电信联盟( i t u t ) 的 h 2 6 x 标准和i s o 运动图像专家组( m p e g ) 的m p e g x 系列。1 9 8 8 年形成 草案，1 9 9 0 年通过i t u t 的h 2 6 1 协议，是视频编码技术走向实用化的重要 一步。它是视频编码4 0 年研究成果的结晶。它是为窄带综合业务数字网州 i s d n ) 上开展多路( p x 6 4k b s ) 双向传输声音和图像业务( 可视电话、会议) 而 制定的，其中p = l 3 0 ，又称为p x 6 4 标准。它建议采用中间格式 c i f ( c o n 瑚o ni i l t e r n l e d i a t ef o h n a t ) 和q c i f ( q u a r t e rc i f ) 解决不同制式通信间的 矛盾。2 0 世纪9 0 年代初相继提出的m p e g 0 v i o v 证gp i c t u r e se x p e n sg m u p ) i 、m p e g 2 、h 2 6 3 等标准都是在h 2 6 1 的基础上发展和改进的。这些国际 标准普遍采用的混合编码技术，这是当时最实用的高效编码方法”1 。 ( 2 ) h 2 6 3 标准。1 9 9 5 年国际电信联盟提出针对低比特视频应用，适应 极低码率( 即小于6 4 k b p s ) 传输信道的音频视频编码国际标准，即h 2 6 3 标 准，主要用于p x 8 k b p s 速率信道、面向可视电话业务。它是目前以像素块为 基元的d c t ，m c 混合编码技术所能达到最佳效果的一种方案，并获得巨大成 功。在1 9 9 8 年与2 0 0 0 年，i h j t 及时总结国际上低速率视频编码研究中的 最新成果，对h 2 6 3 标准做了补充和修订”3 。h 2 6 3 采用第一代技术，在低速 率视频传输质量、抗误码能力等方面有明显提高，在视频业务的传输中得到广 泛应用。h 2 6 3 标准已经成为当今视频编码的主流。 h 2 6 3 标准以混合编码为核心技术，即用帧问预测减少时域冗余，用变换 编码减少残差信号的空域冗余，相应的解码器具有运动补偿能力。运动补偿 h 2 6 3 采用半像素精度，与| l 2 6 1 中采用的全像素精度和一个环路滤波器的设 计不同。被发送的符号采用可变长编码技术。 l 2 6 3 第一版中包含四个基本模 x ：尘堡三些_ 人兰! ：兰丝圭兰堡堕兰 1 3视频编码器的集成电路设计方法 视频编码并法的迅速发展的同时v l s i 技术也在飞速向前发展，这为硬件 实现复杂的视频编解码标准提供了强大的保证，也使视频处理芯片的集成度更 大、性能更高。由于集成电路制造工艺的发展，芯片内电路的规模越来越大 线路越来越复杂，现在已经能够将一个电子系统集成在一个芯片之中( s y s t e m o nac h j p s o c ) ，为了应付日益复杂的集成电路设计，集成电路设计方法学的 研究得到了广泛的重视，现存基于平台的设计方法学可以沈是自顶向下( t 0 p d o ) 和自底向上( b o 仕0 m i p ) 相结合的设计方法学。目前t o p d o w n 设计方法 学仍是集成电路设计的主流方法，其主要特征是综合技术和硬件描述语言的使 用。单个功能完整的i p ( i n t e l l e c t l l a lp r o p e r t y ) 模块采用t o p d o w n 设计方法进行 设计时，首先建立其行为功能模型，模拟f f 确后进行模块划分，r t l 缴仿真验 证后进行综合，得到功能和刚序均讵确的门级网表，最后还可利用自动布局布 线工具得到其版图。 一个完整的自顶向下的数字集成电路设计由高到低包括4 个主要的抽象层 次：行为级、寄存器级、门级和版图绒。层次越低越靠近晟终的物理实现，层 次越高h d l 代码复杂性越低，低一级设计描述代码长度约为高一一级代码长度 的l o 倍。 行为级( b e h a v i o m ll e v e i ) 或叫算法级f a i g o r i t h ml e v e i ) ，它是设计的最高抽 象绒别，在这一级，设计者着重分析算法的行为特征，目标是找到最佳的行为 功能描述。在行为级，电路的结构没有确定，而且涉及最后是利用a s l c 芯片 还是用f p g 刖c p l d 等可编程器件实现也没有确定，所以在该抽象层次上的设 计独立于硬件实现。 寄存器传输级( r t l ) ，或称结构级，它的主要特征是设计的电路体系结构 已经确立但仍然独立于实现技术。在寄存器传输级，组成体系结构的各个模 块如a l u ，r a m 或其它单元等的互连关系用网表来表示。这些模块主要由组 合逻辑加寄存器构成，在某螋局部包含一些可逻辑综合的行为描述。 在门级( g a t el e v e l ) ，硬件的实现方式已经基本确定，门级设计网表与芯片 厂家的工艺库直接相关。在这一级，还可以实现不同厂家和不同： 艺之削的相 互转换。 而版图级( l a y o u tl e v e l ) 设计完成后即可交付制造。 芯片的设计过程过程可以用d d g a i s k j 的“y 型图”描述，如图1 2 所示。 芯片的设计过程过程可以用d dg a j s h 的“y 型图”描述，如图1 2 所示。 晴尔滨工业大学工学颇十学位论文 结构域 行为域 处理器 寄存 儿何域 图1 2 芯片设计的y 图表示 f i g u r e1 - 2 y - c h a r to f c h i pd e s i g n 1 4本文主要研究内容及结构 本文主要研究的了基于h 2 6 4 视频编码标准中运动估计部分的v l s i 设 计，其中包括对h 2 6 4 视频编码标准原理的研究，以及对编码标准中运动估计 部分算法的研究，最后完成了运动估计部分的v l s i 设计。本文的章节结构如 下： 第一章绪论，其中介绍了课题背景，视频编码的发展与现状以及超大规模 集成电路设计的基本方法等； 第二章对h 2 6 4 视频编码标准的原理及实现进行了深入的研究其中包括 h 2 6 4 编解码器原理，码流结构以及帧内帧间预测原理等； 第三章对运动估计算法及实现进行了详细的研究。其中包括三个方面的算 法：参考帧选择算法，块尺寸选择算法，搜索算法；并通过实验提出了自己的 算法。 第四章主要是根据算法进行v l s i 设计，其中主要包括帧间预测，帧内预 测的v l s i 设计，最终给出电路结构及仿真结果； 本文最后为结论。 竺竺堡三些查兰三耋璧：兰竺堡兰 。 片) 、改进误码性能( 数据分割) ，但不支持隔行扫描和c a b a c ，这个档次主 要应用于流媒体中。 如图2 1 所示为i t2 6 4 档次。对于h2 6 4 每个档次都具有不同的功能，他 们之间互相具有交叉性。在同一个档次巾也有很广阔的应用范围，钊对不同的 编解码要求，每个档次中都设置了不i - j 的参数( 如采样速率、图像尺寸、编码 码率等) ，根掘这些参数能得到编解码器性能的不同数( 1 e v e l ) 。 扩展档次 212h 2 6 4 码流结构 图2 - 1 h 2 6 4 的档次 f i g u r e2 - 1h2 6 4p r o f i l e 在h 2 6 4 视频编码协议中，码流是咀n a l 单元为单位的。实物、情况f ， 个n a l 对应于一幅静止的图像，这样码流也就可以看成是由若干图像的码 流构成。或者说整个码流可以看成是由许多的n a l 构成”t 。一个或者是多个 相关的n a i 。可以构成一个防问单元( a c c e s su n i t ) 。对于每个n a l 单元包括 一一个原始字节序列负荷( r b s p ) 、一组对应于视频编码数掘的n a l 头信息。 哈尔滨工业人学工学硕j 学位论义 在n a l 中真j f 包含图像信息的是r b s p 。所以我们在编码时要给r b s p 加上头 构成n a l ，而在解码时则要根据情况去掉n a l 的头，提取r b s p 的内容。 n a l 头中则包含着禁止位，参考索引以及n a l 类型等信息。h 2 6 4 的码流构 成以及n a l 单元的结构如图2 2 所示。 h2 6 4 码流 m 虬m 札n a ln a l n 乩头r b s p 图2 2h2 6 4 码流构成及n a l 单元构成 f i g u r e2 - 2h 2 6 4b i t s t r e 锄a n dn a l s t n l c t u r e 2 1 3 h 2 6 4 语法元素的分层结构 编码器输出的比特码流中，每个比特都隶属于某个语法元素。在h 2 6 4 定 义的码流中，语法元素被组织称有层次的结构，分别描述各个层次的信息。如 图2 3 所示。语法元素的分层结构有利于更有效的节省码流【8 1 。例如，在一幅 图像中，经常会在各个片之间有相同的数据，如果每个片都同时携带这些数 据，势必会造成码流的浪费。更为有效的方法是将该图像的公共信息抽取出 来，形成图像一级的语法元素，而在片级只携带该片自身读友的句法元素。在 h 2 6 4 中，语法元素可以归为五大类分别描述：视频序列、图像、片、宏块、 子宏块。 哈尔滨工业大学工学硕士学位论文 视频序列 图2 - 3h 2 6 4 语法兀素的分层 f i g u r e2 - 3h 2 6 4s y n t a xe l e m e n t s h 2 6 4 的分层结构是经过精心设计的，与以往的视频编码标准相比有很大 的改进，这些改进主要针对传输中的错误掩藏，在有误码时可以提高图像重建 的性能。在以往的标准中，分层结构每一层的头部和它的数据部分形成管理与 被管理的依赖关系。而一旦头部丢失，数据部分的信息几乎不可能再被正确解 码出来。而在h 2 6 4 中，分层结构最大的不同时取消了序列层和图像层，并将 原本属于序列和图像的头部的大部分语法元素游离出来形成序列和图像两级参 数级，其余的部分则放入片层。参数级是一个独立的数据单位，不依赖与参数 级外的企图语法元素。只有在编码器认为需要更新参数集的内容时，才会发送 出新的参数集。在这种机制下，由于参数集是独立的，它可以被多次重发或者 采用特殊技术加以保护【9 】u o j 。 2 2h 2 6 4 编解码器原理 2 2 1h 2 6 4 解码器原理 h 2 6 4 包含视频编码层( v c l ) 和网络提取层( n a l ) 。v c l 包括核心压 缩引擎和块、宏块的语法级别的定义，它的设计目标是在尽可能地独立于网络 地情况下进行高效地编解码；而n a l 则负责将v c l 产生的比特字符串适配到 各种各样的网络和多元环境中，它覆盖了所有的片级以上的语法级别，同时支 持以下功能：独立片解码、起始码唯一保证、s e i 以及流格式编码数据传送。 哈尔滨丁业大学工学硕十学位论文 总的来说n a l 负责将符合h 2 6 4 码流规范的压缩视频流解码，并重建图像。 图2 4 所示的是解码器框图： 图2 - 4 解自马器原理框图 f o g u r e2 4d e c o d e rs t r u c t i l ec h a n 从上面图2 4 ，我们可以看出基本的解码过程如下：解码器从n a l 视频码 流中读取压缩的码流，通过对码流进行熵解码，重排序等工作，便能获得一系 列的量化参数x 。然后让这些量化参数经过反变换和反量化得到视频数据的参 差值d 。与此同时，解码器使用从码流中解码得到的头信息创建一个预测块 p r e d ，而p r e d 与参差数据d 求和得到图像的块数据，最后这个块数据还要 通过解块滤波( 使边缘平滑) 得到最终的重建图像的解码块f 。 为了更清楚的描述解码器的工作过程，我们用图2 5 来详细描述一幅图像 的完整解码过程。 圈2 5 解码器解码流程图 f i g u r e 2 5d e c o d i n gp r o c e s s 玎o wc h a t 坠耋鎏：! ：些查兰三兰堡兰垒堡銮 h 2 6 4 标准中采用的仍然是变化和预测的混合编码方法。图2 6 中输入的 帧或场f n 以宏块为单位被编码器处理。首先，按帧内或帧问预测编码的方法 进行处理。 如果采用帧内预测编码，其预测值是由当前片中已经编码的参考图像经过 运动补偿( m c ) 后得出的。为了提高预测精度，从而提高压缩比，可以使用 帧蚓预测，帧间预测需要参考图像来进行运动估计，估计出当前图像和参考图 像之问的差别。实际的参考图像可在过去或未来( 指显示次序上) 已经编码解 码重建和滤波的帧中进行选择。经过运动估计预测以后得到一个预测的帧，将 这个预测的帧和当前的帧相减得到参差，这个参差再经过变换，量化产生一组 量化后的量化系数，再经过熵编码，与解码所需的一些边信息一起组成个压 缩的码流，经过n a l 供传输和存储使用【l l j 【1 “。 由上面所说的编码过程，我们可以看出，为了提供进一步预测用的参考图 像，编码器必须有重建图像的功能。因此必须使残差图像经过反量化，反变换 后得到的值与预测值相加，得到未经滤波的帧，为了去除编码解码环路中产生 的噪声，提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤 波器，滤波后的输出f n 即为重建图像，可以用做参考图像。 2 3h 2 6 4 帧内预测原理 2 3 1 帧内预测基本原理 视频压缩中所采用的帧内预测技术用于去除当前图像中的空间冗余，新的 编码标准h 2 6 4 采用了比以往编码更为精确和复杂的帧内预测方式。在当前图 像编码的过程中，当无法提供足够的图像之间的时间相关信息时，往往对当时 图像采用帧内预测。由于当前被编码的宏块与相邻的宏块有很强的相似性，因 此在 l 2 6 4 中的帧内预测用于计算编码宏块与其相邻块之间的空间相关性，以 提高编码效率“。 在帧内预测中，当前编码的宏块上方及左方的宏块用于计算出当前宏块的 预测值( 如图2 7 所示) 。预测时，当前块是由a 、b 、c 、d 块中有关的象素 点获得的。获得的预测值与当前宏块的差值将进一步编码将其传输到解码器 端。解码器利用该比特流中用于表示预测方式相关比特与解码出残差信号的比 特，计算出当前宏块的预测值，恢复图像元素的原始象素值。 h 2 6 4 标准中支持1 6 x 1 6 、4 x 4 的亮度帧内预测以及8 x 8 的色度帧内预 哈尔滨工业火学工学坝士学位论文 测。除此之外，在h 2 6 4 标准中还提供了一种称作是“ip c m ”的编码方式。采 用“ip c m ”方式编码时，解码器可以直接恢复当前宏块的象素值而不必经过其 他任何计算。在一些特殊情况下，特别是图像内容不规则或者是量化参数非常 低时，该模式比起“常规操作”效率更高。使用ip c m 能够保证：( 1 ) 允许编 码器精确的表示象素值；( 2 ) 提供表示不规则图像内容的准确值，而不引起重 大的数据量增加；( 3 ) 严格限制宏块解码比特数，但不损害编码效率。 图2 7 帧内预测相邻块位置 f i g u r e2 - 7b l o c kl o c a t i o ni ni n t r ap r e d i c t i o n 2 3 2 帧内1 6 x 1 6 亮度预测模式 在1 6 x 1 6 的亮度帧内预测中，共有4 中不同的预测模式( 见表2 1 ) 表2 - 11 6 x 1 6 帧内预测模式 t a b l e 2 - i1 6 x 1 6i n t r ap r e d i c t i o nm o d e s 预测模式序号 预测模式 0 帧内1 6 x 1 6 垂直预测( v e r t i c a l ) 1 帧内1 6 x 1 6 水平预测( h o r i z o n t a l ) 2 帧内1 6 x 1 6 直流预测( d c ) 3 帧内1 6 x 6 平面预测( p l a n e ) 在预测模式0 中，当前宏块的所有象素是由上方的象素预测得到的( 如图 2 - 8 a ) ；在预测模式l 当中当前宏块象素值是由左边宏块的象素值得到的( 如 图2 - 8 b ) ；在预测模式2 中，当前宏块象素值是由上边喝左边象索平均值推导 出来的( 如图2 8 c ) ；在预测模式3 中，则是利用线性“p l a n e ”函数以及左边和 上边象素推导出了相应当前宏块的象素值( 如图2 8 d ) ，这种模式适用于亮度 变化平缓的区域。 这四种模式所涉及到的相邻的象素点一共有3 3 个( 当前块上方1 6 个，左 哈尔滨_ t 业大学工学坝士学位论文 方1 6 个，咀及左上方1 个) ，也就是说在计算当前宏块象素值的时候只需要周 围3 3 个象素点的值，大大减少的运算的复杂度。四种模式的示意图如图2 _ 8 所示，其中h 表示水平，v 表示垂直。 ( a ) 垂直( b ) 水平 ( c ) 直流( d ) 平面 图2 84 种1 6 x 1 6 帧内预测模式 f i g u r e 2 81 6 x 1 6 i n t r ap r e d i c t i o nm o d e s 2 3 1 3 帧内4 x 4 亮度预测模式 帧内4 x 4 亮度预测模式相对于1 6 x 1 6 的亮度预测模式较为复杂，它包括 了九种预测模式。上述的1 6 x 1 6 帧内预测模式需要周围3 3 个象素点的值，而 4 x 4 的帧内预测则需要周围1 3 个象素点的值，如图2 9 所示。所有的9 种预 测模式都是通过这1 3 个象素点来实现的。4 x 4 帧内预测的9 种模式可以用预 测方向来描述，每个方向代表着一种模式，如图2 1 0 所示。 q i j k l 图2 94 x 4 帧内预测象素 f i g u r e2 - 9i n f r ap r e d i c 石o np i x e l s 心，。谚。 砀， 65 2 1 04 x 4 帧内预测方向 f 逗u r e2 一l o4 _ x 4 n t r ap r e d i c t i o nd i r e c t i o n 哈尔滨工业大学t 学硕上学位论文 图2 - 9 所示，4 x 4 亮度块上方和左方象素a 0 为已经编码并且重构的象 素，他们用做编解码器中的预测参考象素。a p 为待预测象素，利用a q 值和九种模式来实现它们。表2 2 给出了这九种预测模式的具体描述。 表2 2 帧内4 x 4 亮度预测模式 t 曲1 e2 24 x 4i n t r a1 u m ad r e d i c t i o nm o d e s 模式描述 0 由上方象素垂直推出相应象素值 1 由左方象索水平推出相应象索值 2 由上方和左方的象素平均值推出相应象素值 3 由4 5 度方向象素内插得山相应象素值( f 左对角线) 4 由4 5 度方向象素内插得出相应象素值( 下右对角线) 5 由2 6 6 度方向象素内插得出相应象素值( 右垂直) 6 由2 6 6 度方向象素内插得出相应象素值( f 水平) 7 由2 6 6 度方向象素内插得出相应象素值( 左垂直) 8 由2 66 度方向象素内插得出相麻象素值( 上水平) 为了更形象的描述4 x 4 帧内预测模式，我们用图2 1 1 来描述。图中箭头 所指的方向代表了每种预测的方向。 o 垂直 水平 2d c 酽酽酽 3 下左对角线 4 下右对角线5 右垂壹 眵酽r 铲旷扩 图2 1 1 帧内4 x 4 亮度预测示意图 f i g u r e2 1 14 x 41 u m ai n t r ap r e d i c t i o n 哈尔滨： 业人学工学硕。l 学位论文 帧成为前向运动补偿，利用后向参考帧预测当前帧称为后项运动补偿，利用 前、后同时进行预测，就称为双向预测运动补偿。双向预测在实时通信中是不 能应用的，例如会议电视和可视电话等。因为后向预测在当前帧之后进行，会 引入编码延迟。它可用在广播电视系统中，如采用m p e g 标准的编码系统 中。 2 4 2 h 2 6 4 中的树状结构运动补偿 h 2 6 4 视频编码标准中运动补偿采用树状结构。每个宏块( 1 6 x 1 6 象素) 可以按照四种方式进行分割：1 个1 6 x 1 6 ，或者2 个1 6 x 8 ，或者两个8 x 1 6 ， 或者4 个8 x 8 。而对于每个8 x 8 的子宏块来说还可以进一步以4 种方式分割： 1 个8 x 8 ，2 个4 x 8 或2 个8 x 4 ，及4 个4 x 4 。这些分割和子宏块大大提高了 各宏块之间的关联性。这种分割下的运动补偿则称为树状结构运动补偿，如图 2 一1 2 所示。 每个分割或者是予宏块都有一个独立的运动补偿。每个m v 必须被编码、 传输，分割的选择也需要编码压缩到比特流中。对大的分割尺寸而言，m v 选 择和分割类型只需少量的比特，但是运动补偿残差在多细节区域中的能量非常 的高，这些高能量地区的编码却需要大量的比特。小尺寸的分割运动补偿残差 能量低，但是需要较多的比特表征m v 和分割选择，分割尺寸的选择影响了压 缩性能。整体而言，大的分割尺寸适合于平坦的区域，而小尺适合于多细节区 域。 8 8 口罔田田 8 8 8 4 4 84 x4 口目田田 图2 1 2 宏块与子宏块的分割 f i g u r e2 - 1 2m a c r o b l o c k sa n ds u b m a c r o b l o c kp a r t i t i o n 宏块的色度划分( c r 和c b ) 则为相应亮度的一半( 水平和垂直各一半) 。 哈尔滨t 业人学工学倾 ：学位论史 色度采用和亮度块同样的分割模式，只是尺寸减半( 水平和垂直方向都减 半) 。例如，1 6 x 8 的亮度块，其相应的色度块尺寸为8 x 4 。4 x 8 亮度块，其相 应的色度块尺寸为2 x 4 。而色度块的m v 也是通过相应的亮度m v 的水平和垂 直分量减半而得。 2 4 _ 3 运动矢量及其预测 帧间编码宏块的每个分割或者予宏块都是对参考图