（电工理论与新技术专业论文）h264视频帧内解码器的fpga实现.pdf

f p g a i m p l e m e n t a t i o no fi n t r af r a m ed e c o d e r f o rh 2 6 4 a b s t r a c t h 2 6 4i st h el a t e s tm u l t i m e d i ac o m p r e s s i o ns t a n d a r dp r o m u l g a t e di nm a y 2 0 0 3 i tu s e sal o to ft h el a t e s tv i d e oe n c o d i n gt e c h n o l o g y c o m p a r e dw i t ht h ep r e v i o u s s t a n d a r d ，t h ec o m p r e s s i o ne f f i c i e n c ya n df l e x i b i l i t y h a sb e e ng r e a t l yi m p r o v e d n o wi t sw i d e l yu s e di nm u l t i m e d i at r a n s m i s s i o n ，s t o r a g e ，e t c t h i sd i s s e r t a t i o nm a i n l yd i s c u s s e st h eh a r d w a r ei m p l e m e n t a t i o no fi n t r af r a m e d e c o d e rf o rh 2 6 4 ，i n c l u d i n gi n v e r s eq u a n t i z a t i o n ，i n v e r s et r a n s f o r ma n di n t r a p r e d i c t i o n t h ec o n t r i b u t i o n so f t h ep a p e ra r es u m m a r i z e da sf o l l o w s ： ( 1 ) w i t ht o p d o w nm e t h o d ，t h eh 2 6 4i n t r af l a m ed e c o d e r w a sd i v i d e di n t o f o u rm a i np a r t s ，i n c l u d i n gi n v e r s eq u a n t i z a t i o n ，i n v e r s et r a n s f o r m ，i n t r a p r e d i c t i o na n dm a c r o b l o c kr e c o n s t r u c t i o np r i o rt od e b l o c k i n g f i l t e r t h e nt h ef i r s tt h r e em o d u l e sw e r ed e t a i l e d ，i n c l u d i n gf u n c t i o n ，h a r d w a r e a r c h i t e c t u r ea n do p e r a t i o nt i m i n g ( 2 ) t os a v eh a d w a r er e s o u r c e s ，b ya n a l y z i n ga n de x t r a c t i n gt h er e u s a b l e p a r t so fi n v e r s eq u a n t i z a t i o n ，i n v e r s eq u a n t i z a t i o na n d i n t r a p r e d i c t i o n ， ar e u s a b l ec o m p u t i n gu n i tw a sd e s i g n e d ，w h i c hc o u l db eu s e db ye a c h m o d u l e m e a n w h i l e ，t o m e e t r e a l t i m e r e q u i r e m e n t s ， a f o u r p i x e l s - p a r a l l e ld e c o d i n gm e t h o dw a sa d o p t e d t oa c c e l e r a t ed e c o d i n g s p e e d ( 3 1 f o ri n t r ap r e d i c t i o nm o d u l e ，t os a v es t o r a g er e s o u r c e sa n dr e d u c ep o w e r c o n s u m p t i o no fm e m o r ya c c e s s ，at h r e e t i e r r e f e r e n c ep i x e ls t o r a g e s t r u c t u r ew a sp r o p o s e d ，b yw h i c ht h em e m o r yu n i t so fr e f e r e n c ep i x e l w a sc o m p o s e do fl i n eb u f f e r ，m a c r o b l o c k - l e v e lr e g i s t e r sa n d 4 x 4 b l o c k l e v e lr e g i s t e r s ( 4 ) t h ed i s s e r t a t i o nf u l l f i l l e dt h er t lc o d i n g ，f u n c t i o n a ls i m u l a t i o na n d a f p g ap r o t o t y p ei m p l e m e n t a t i o no ft h eh 2 6 4i n t r af r a m ed e c o d e r d e m o b a s e dv e r i f i c a t i o nw a sa c h i e v e dt h r o u g hd e c o d i n gr e a l - a p p l i e dv i d e o s t r e a m ，r e s u l to fv e r i f i c a t i o ns h o w st h a tt h ed e s i g nc a ns u p p o r tr e a l 。t i m e d e c o d i n gw i t hh 2 6 4m a i np r o f i l ev i d e os e q u e n c e s k e yw o r d s ：h 2 6 4 ，i n t r af r a m ed e c o d e r ，f p g ai m p l e m e n t a t i o n 插图清单 视频压缩标准的发展3 h 2 6 4 中的档次9 h 2 6 4 视频编码器结构1 0 h 2 6 4 视频解码器结构1 1 帧内编码示意图1 2 h 2 6 4 帧内解码系统框图。1 3 变换系数编码过程1 4 帧内4 x 4 亮度块预测模式1 7 帧内1 6 x 1 6 亮度预测模式2 1 宏块级重建过程。2 3 标准规定的4 x 4 预测块的解码顺序2 5 4 x 4 块结构解码时序2 5 解码端宏块中各块的传输顺序2 6 反量化反变换模块整体流程2 7 反量化反变换模块的系统结构2 8 基本的反量化单元2 9 h 2 6 4 的三种整数变换矩阵3 0 普通残差反变换蝶形运算单元3l 哈达码变换蝶形运算单元31 色度直流分量哈达码变换的输入矩阵与输出矩阵3 2 可重用的反变换蝶形运算单元3 2 帧内1 6 x 1 6 亮度d c 系数的反变换反量化过程：3 3 色度d c 系数的反变换反量化过程3 4 普通残差的反量化反变换过程。3 5 自适应块解码结构的帧内预测解码器3 5 自适应块解码结构各模块解码时间3 6 宏块按列预测解码顺序3 7 变量h 的具体实现电路4 0 变量a 的具体实现电路。4 0 变量b c 的具体实现电路4 1 中间变量计算整体时序安排4 2 m a i ns e e d 的具体实现电路4 3 四像素并行的像素预测计算单元4 5 参考像素存储地址安排4 6 参考像素存储器的更新过程4 6 参考像素寄存器组及其更新过程。4 7 滑动窗结构4 8 相邻块参考像素的覆盖过程。4 9 4 x 4 块左上边参考像素的缓存过程5 0 色度d c 预测及其参考像素5 2 帧内1 6 x 1 6p l a n e 模式下具体预测解码过程5 3 两级s e e d 结构。5 4 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 o l 2 1 1 2 3 1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 1 1 1 l 1 1 1 1 1 l 2 2 2 2 2 2 2 2 2 2 3 3 3 - i - - - - 一 - _ - - 一 - - 一 一 - 一 _ - - - - - - - - _ - - - - _ - - - - - 1 2 2 2 3 3 3 3 3 3 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图 基于s e e d 的p l a n e 模式预测解码5 4 测试平台示意图5 5 功能仿真流程5 6 j m 中帧内1 6 x 1 6d c 系数块的解码过程5 8 帧内1 6 x 1 6d c 系数的反量化反变换仿真波形5 8 j m 中色度d c 系数块的解码过程5 9 色度d c 系数的反量化反变换仿真波形5 9 j m 中其它4 x 4 块残差数据的解码过程5 9 其它4 x 4 块残差数据的反量化反变换仿真波形6 0 帧内预测解码仿真波形6 0 系统级功能仿真平台6 l e p 2 s 18 0d s p d e v e l o p m e n tb o a r d 6 2 h 2 6 4 帧内解码器的f p g a 综合时序结果6 2 h 2 6 4 帧内解码器的f p g a 资源消耗情况6 3 f p g a 原型验证平台6 3 f p g a 原型验证与功能仿真相结合的联合验证方法6 5 3 o 1 2 3 4 5 3 1 2 3 4 5 6 7 8 9 1 1 1 1 1 1 - - - - - - _ - - - - - - - 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 图图图图图图图图图图图图图图图图 表格清单 亮度量化参数q p y 与色度量化参数q p c 1 4 帧内4 x 4 预测模式1 6 i n t r a4 x 4v e r t i c a l 各点预测值1 8 i n t r a4 x 4h o r i z o n t a l 各点预测值1 8 i n t r a4 x 4d c 各点预测值18 i n t r a4 x 4 各点预测值18diagonaldown l e f t i n t r a4 x 4d i a g o n a ld o w n 各点预测值1right 9 i n t r a4 x 4v e r t i c a l 各点预测值19eight i n t r a4 x 4h o r i z o n t a ld o w n 各点预测值1 9 i n t r a4 x 4v e r t i c a ll e f t 各点预测值2 0 i n t r a4 x 4h o r i z o m a lu p 各点预测值2 0 帧内8 x 8 色度块预测模式2 2 约定的残差数据存储格式2 7 反量化中不同位置的l e v e l s c a l e 值2 9 帧内4 x 4 预测模式所需的参考像素3 8 帧内4 x 4 预测模式时预读参考像素所需的周期数3 8 帧内4 x 4 预测模式的像素预测过程4 3 右上边参考像素e f g h 的获取过程4 8 左上边参考像素m 的获取过程。5 0 帧内4 x 4d c 预测模式的计算过程5 0 帧内1 6 x 1 6d c 预测模式的计算过程5 1 帧内1 6 x 1 6d c 预测模式的计算过程5 2 e p 2 s 18 0 系列器件特性6 2 o 1 2 o l 2 3 4 5 6 7 8 9 1 l 1 1 2 3 4 5 6 7 8 9 l 1孓x扣孓妯孓孓。孓孓孓铷禾舢舡舢舢舡禾缸舢孓 表表表表表表表表表表表表表表表表表表表表表表表 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得佥月曼兰些盔堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签字毒摧相签字日期：2 0 p 年牛月如日 学位论文版权使用授权书 本学位论文作者完全了解佥月巴王些太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金胆工些太 当l 可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名：襄瞒怕 导师躲欺够每j 签字日期：劢j o 年午月；o 日签字日期：沙和年午月岁d 日 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编 致谢 首先感谢我的导师张多利老师。两年多来，张老师不仅在学业上给予我精 心的指导，而且在思想、生活方面给予我无微不至的关怀，使我受益匪浅。再 次感谢张老师在项目中给我的极大鼓励、指导和帮助以及在大论文及小论文写 作中的耐心指导与修改。同时深深感谢贾靖华老师给予的悉心关怀和帮助。 感谢高明伦教授给予的悉心指导。高老师不仅学识渊博、治学严谨，而且 待人诚恳、平易近人。他对科学严谨认真的态度和高尚的品德，是我永远学习 的榜样。 感谢杜高明老师，宋宇鲲老师，耿罗锋博士在我日常学习、项目实践和论 文写作中给予的巨大帮助。感谢尹勇生老师，林微老师，邓红辉老师，倪伟老 师，王晓蕾老师对我的关心以及课程上的指导。在此谨向他们致以诚挚的谢意 和崇高的敬意! 感谢视频项目组的马亮、付强、张云等师兄的热情帮助。 感谢程贤文、于亚轩、胡学权、覃春平等视频项目组内其他成员在项目实 践以及生活中对我的极大支持和帮助。感谢陈迎春、肖福明、黄俊俏、温海华、 何莹莹、刘艳等同学与我的长期合作和对我的帮助。 感谢范阿姨、胡剑、木子一在实验室日常事务中的辛勤劳动。 感谢微电子设计研究所全体成员，正是由于你们的帮助和支持，我才能克 服一切困难，直至本文顺利完成。 最后，感谢我的父母所给予我学业和生活上的关心、帮助和支持。 吴腊狗 2 0 1 0 年4 月 第一章绪论 1 1视频压缩的必要性和可能性 在过去的十几年中，计算机、微电子以及数字通信等技术的飞速发展，使 得包括数字电视、d v d 电影、网络视频流、手机移动视频、和电视会议等多媒 体技术更多的融入到人们的工作生活当中，并且人们总是在追求更高画质的图 像和更快的视频传输，然而视频图像的数据量是相当大的。例如大小为7 2 0 x 4 8 0 的视频，若使用4 ：2 ：2 采样率且帧率为3 0 帧每秒，则传送这样的数据量要求的码 率约为1 6 5 m b p s ，而存储9 0 分钟这样格式的视频数据需要有1 1 0 g 的空间，相当 于1 4 0 张c d r o m 的存储容量。就算是在视频流应用中最常见的作为低端解决方 案的c i f 格式( 3 5 2 x 2 8 8 ，4 ：2 ：0 ，3 0 f s ) 也需要3 6 5 m b p s 的传输速率，这样的要求 大大超过了当前宽带网络所能承受的限制。这些问题虽然可以通过增加存储容 量、扩大通讯带宽来解决，但是这样的代价非常大。另一个解决办法就是采用 压缩技术对视频数据进行压缩，然后保存和传输压缩后的视频数据，需要使用 时再通过解压缩复原视频数据，这需要以提高计算复杂度和损失图像质量作为 代价，但是可以减少存储和传输方面的需求。 对视频数据进行压缩不仅是必要的，而且也是可能的。统计表明，视频图 像信号在相邻像素间、相邻行间及相邻帧间都存在着很强的相关性，也就是说 视频数据存在大量的冗余信息。在一般的视频数据中，主要存在以下几种形式 的冗余【1 1 【2 】： l 、空间冗余：对于静止图像，在空间域上，除了边界轮廓外，图像的亮度 和色差信号都是缓慢变化的，相邻像素的亮度和色差信号值非常接近，具有很 强的相关性，如果直接对图像进行编码，则数据中会存在较大的冗余。通常通 过采用帧内编码技术以减少空间冗余来进行数据压缩。 2 、时间冗余：视频图像是沿时间轴方向的一个帧序列，相邻帧间图像的相 关性也很强，通常用减少传送帧的数目，即降低帧频来减少时间冗余，采用运 动估计和运动补偿技术来满足解码重建图像的质量要求。 3 、符号冗余：由信息论可知，按照信息熵的大小给符号分配相应的比特数 来编码，传递信息的效率最高。对于实际图像数据，很难得到其信息熵，若用 相同的码长表示每个像素的信息，必然存在信息冗余。如果采用变长编码技术， 对出现概率大的符号用较短的码字表示，对出现概率小的符号用较长的码字表 示，从很大程度上可去除图像数据的符号冗余。 4 、视觉冗余：人类的视觉系统对图像的注意是非均匀和非线性的，并不是 对于图像的任何变化都能感知。为了获得较高的数据压缩比，可以充分利用人 类视觉系统的生理和心理特性。如人眼对颜色的分辨力低于对亮度信号的分辨 力，将色差信号的空间分辨率减半，仍可得到很好的图像主观质量，有效降低 数据量。 1 2 视频压缩的原理和方法 未经压缩的图像数据是高度相关的，存在包括空间冗余、时间冗余、符号 冗余、视觉冗余等多种形式的数据冗余。视频压缩技术就是利用各种方法尽量 消除这些冗余数据。具体的视频压缩方法有很多种，常见的有以下几种【3 儿4 】： 1 、熵编码：又称为统计编码，它是根据信源符号出现概率的分布特性而进 行的压缩编码。它的基本思想是在信源符号和码字之间建立明确的一一对应关 系，以便在恢复时能准确地再现原信号，同时要使平均码长或码率尽量小。常 用的熵编码有h u f m a n 编码、算术编码和游程编码。h u f f m a n 编码在编码前需要 统计信源概率分布，对具有等概率分布的信源编码，该方法是最优的。算术编 码是将被编码的信息映射到实数0 与1 2 间的一个间隔。信息越长，编码表示它 的间隔就越小，表示这一间隔所需的二进制位数就越多，可以根据信源的统计 特性，对未知概率模型的信源自适应地配置其分布。游程编码适用于计算机生 成的图像，对减少图像文件的存储空间非常有效，但它不太适用于颜色丰富的 自然图像，通常需要和其它的压缩编码技术联合应用。 2 、预测编码：根据时空相关特性，预测编码可分为时域帧间预测和空域帧 内预测两大类。帧间预测编码是利用图像序列之间的时间相关性，用先前编码 图像来预测产生当前图像，帧内预测是利用空间中相邻数据的相关性，用当前 图像中先前解码像素来预测产生当前像素。在预测编码中，编码和传输的并不 是像素采样值本身，而是这个采样值的实际值与其预测值之间的差值。 3 、变换编码：变换编码的基本原理在于通过数据空间变换，改变数据的表 示形式或分布，使能量集中在变换域中少数变换系数上，从而在变换空间实现 数据压缩。主要采用正交变换编码技术。如k l 变换( k a r h u n e n l o e v e t r a n s f o r m ) 、d f t 变换( d i s c r e t ef o u r i e rt r a n s f o r m ) 、d c t 变换( d i s c r e t ec o s i n e t r a n s f o r m ) 、h a d a m a r d 变换、w a l s h h a d a m a r d 变换等。其中k l 变换后的各系数 相关性小，能量分布集中，忽略低值系数的误差小，一般认为是最佳变换。但 其计算复杂度大，工程上难以实现。实际中采用的主要是与k l 变换性能最为 接近的d c t 变换。 综上所述，在视频图像中，各种冗余信息是并存的，因此不能片面地强调 某种形式的视频编码方法的作用。在实际的视频压缩过程中一般采用结合预测、 变换、量化和熵编码等多种方法结合的混合编码方案，以达到最佳的编码效率。 1 3 视频压缩标准的发展 经过多年的研究和发展，至今已出现了一系列的视频压缩标准。在更小数 据量、更好图像质量的要求下，当前视频数据压缩技术有了质的飞跃。在视频 压缩标准制定领域，目前有i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n 国际电 2 信联盟) 和i s o ( i n t e r n a t i o n a ls t a n d a r d so r g a n i z a t i o n 国际标准组织) 这两家国际 机构进行推动和研究1 5 j 。i t u 主要集中于通信方面的应用。它制定了h 2 6 x 标准 系列，这系列的标准主要是应用于可视电话。i s o 主要集中于消费方面的应用。 在静态图像方面，它制定了j p e g ( j i o n tp i c t u r ee x p e r tg r o u p 联合图像专家组) 标准；在动态视频方面，它制定了m p e o ( m o t i o np i c t u r ee x p e r tg r o u p 运动图像 专家组) 系列。同时以上两个组织在制定标准的时候，它们在某些场合协同工作， j v t ( j o i n tv i d e ot e a m 联合视频专家组) 就是这样一个载体，j v t $ 0 定的通用标 准有h 2 6 2 m p e g 2 和h 2 6 4 m p e g 4a v c 。这一系列标准的关系如图1 1 所示。 日! 日三 - 圈staadards囤巨- m p e g m p e c 1 m p e g - 4 s t d a r d s 1 9 斟1 9 8 61 9 髓1 9 9 0 1 9 勉1 9 9 41 9 9 61 9 9 52 0 0 02 0 0 22 0 0 4 图1 1 视频压缩标准的发展1 6 】 h 2 6 1 【_ 7 j 是i t u t 于1 9 9 0 年制定的针对可视电话和视频会议等要求实时编解 码和低延时的视频压缩标准，它的输出码率为p x 6 4 k b i t s ，其中p 为o 到3 1 的整数。 h 2 6 1 采用的算法主要是帧间预测和二维d c t 变换的混合编码方法，具有压缩比 高、算法复杂度低等优点。 m p e g 1 j 由i s o i e c 于19 9 1 年制定，是基于一般低端应用的视频、音频编 解码标准，它主要针对c i f 格式( 3 5 2 x 2 8 8 ) 和每秒3 0 帧的图像质量，将视频信号 和相应的伴音在可以接受的质量要求下编码成1 5 m p s 的数据流。类似于h 2 6 1 标准，m p e g 1 也采用运动补偿和二维d c t 变换，量化后的d c t 系数进行变长编 码，同时对每个数据块的直流分量进行预测差分编码。m p e g 1 与h 2 6 1 由于应 用的侧重点不同，故采用的编码方式也有不同，最主要的差别是h 2 6 1 有两种类 型的帧：帧内编码帧( i 帧) 和预测编码帧( p 帧) 。而m p e g 1 采用的图像有三种类 型：帧内编码图( i 图) ，预测编码图( p 图) 和双向预测编码图( b 图) 。 h 2 6 2 m p e g 2 1 9 1 是由i t u t 和运动图像专家组于19 9 4 年共同制定的，它的 视频编码部分就是h 2 6 2 。m p e g 2 标准广泛应用于多媒体、视频会议可视电话、 数字电视、高清晰度电视、广播、通信和网络等领域。它的成功之处在于提出 了通用的压缩编码方法，定义了不同的档次( p r o f i l e ) 和等级( 1 e v e l ) ，可满足不同 图像分辨率及相应的存储成本和处理器速度的需要。m p e g 2 向下兼容 m p e g 1 ，增加了基于帧场的运动补偿、空间可伸缩编码、时间可伸缩编码、 质量可伸缩编码以及容错编码等新的编码技术。 h 2 6 3 【iu j 是i t u - t 于1 9 9 5 年制定的低比特率的视频编码方案，其传输码率可 以低于6 4 k b p s 。h 2 6 3 特别适用于无线网络、p s t n ( p u b l i cs w i t c h e dt e l e p h o n e n e t w o r k ) 和因特网等环境下的视频传输。h 2 6 3 视频编码器的基本结构与h 2 6 1 基本类似，在h 2 6 l 的基础上，引入了半像素精度的运动估计，同时还增加了无 限制运动矢量、基于语法的算术编码模式、先进的预测模式和p b 帧模式等四种 可选编码模式，从而提高了编码性能和纠错能力。在同样视频质量前提下，h 2 6 3 输出码率仅为h 2 6 1 的一半甚至更少。h 2 6 3 + 1 1 】和h 2 6 3 + + 【1 2 】扩充了h 2 6 3 的编 码可选项，提高了编码效率，适用范围更大。 m p e g 4 【1 3 于1 9 9 8 年推出。主要针对窄带传输、高画质压缩、交互性操作 以及将自然物体与人造物体相溶合的表达方式，同时还特别强调广泛的适应性 和可扩展性。m p e g - 4 引入了一个关键的概念：视听对象( a v o ，a u d i ov i s u a l o b j e c t ) ，a v o 是m p e g 4 为支持基于内容编码而提出的。a v o 是听觉、视觉或 者视频内容的表示单元。a v o 的提出使多媒体通信具有高度的交互能力和很高 的编码效率。m p e g 4 还提供了基于视频对象的时域和空域可分级性操作，其 自然视频编码的基本框架和h 2 6 3 非常接近，但由于基于对象的编码技术尚有障 碍，因此该标准目前仍然未得到普遍应用。 h 2 6 4 1 4 】【1 5 】【1 6 1 是i t u t 和i s o 成立的联合视频专家组共同制定的，并于2 0 0 3 年5 月通过讨论成为m p e g 一4 第十部分。该标准的技术优势非常明显。它采用简 洁的设计思路，不用众多的选项，获得了比以往标准更高的压缩性能，在同等 图像质量条件下，比h 2 6 3 节省了约5 0 的码率。h 2 6 4 采用面向网络传输的结 构和语法，增强了标准的网络适应能力，通过引入面向i p ( i n t e r n e tp r o t o c 0 1 ) 包 交换的编码机制，实现视频数据在网络中的分组传输，并灵活的采用不同的时 延限制，以适应各种系统的网络传输要求。h 2 6 4 在提高图像传输的容错性方面 了做了大量工作，提供了较强的抗误码特性，适用于丢包率高、干扰严重的无 线信道视频传输。 1 4 本课题的研究意义 h 2 6 4 是2 0 0 3 年5 月正式颁布的国际标准，它相对以前的编码标准而言，在 性能上有很大的提高。因此，研究和设计基于h 2 6 4 视频编解码系统是很有意义 的，具体表现为以下几点： l 、掌握视音频压缩编解码核心技术，研制具有自主知识产权的多媒体处理 芯片产品，对于我国的数字视音频产业具有非常重要的意义。研究基于h 2 6 4 视频压缩编解码技术，能够紧跟国际视音频产业发展潮流，有利于我国数字电 视、通信多媒体等信息产业的加速发展，符合我国多媒体产业的发展方向【1 7 j 。 2 、h 2 6 4 标准采用了大量最新的视频编码技术，获得了很好的压缩效果， 但是其压缩效率的提高也是以压缩算法复杂度的提高为代价的，其解码复杂度 大约是m p e g 2 的2 3 倍u 引。虽然现在软件技术和处理水平已经达到很高的水 平，但对于一些数字信号处理应用，由于需要极大的计算量，软件实现的效率 4 还不是很高。视频编解码处理中有很多数字信号处理的算法，而且对实时性又 有非常高的要求，所以用纯软件的方式实现视频编解码难以达到很高的性能， 特别是对于数字电视和手机这种资源十分有限又对成本很敏感的应用领域，这 样就需要硬件加速或者设计专门的硬件解码电路。硬件视频解码器根据视频算 法特点，利用相应的硬件逻辑电路来实现解码，将系统所需要的硬件开销降到 最小，因此可以获得更高的处理速度，占用很少的硬件面积，功耗也比较低。 3 、尽管h 2 6 4 与先前的视频编码标准一样是通过基于块的运动补偿和基于 变换的编码框架实现压缩机理，它的新增特性和功能还是带来了更高的编码效 率。但是，这些新的特性和功能在编码和解码端都引入了额外的复杂度。比如 h 2 6 4 采用的帧内预测及整数变换等帧内编码新技术有效提高了压缩率，不过这 也增加了帧内编解码的复杂度。目前国内外已有大量有关h 2 6 4 帧内编解码的研 究。国外方面，文献 1 9 2 0 2 1 1 1 2 2 】 2 3 2 4 都提出了各自的帧内解码器结构。 国内的西安电子科技大学【2 5 】【2 6 1 、北方工业大学【2 7 1 、北京航空航天大学【2 8 1 、上 海交通大学【z 引、同济大学【3u j 等也都发表了各自的研究成果。因此设计本文自己 的优化的h 2 6 4 帧内解码器就有很重要的意义。 1 5本文的主要工作及章节安排 本文主要介绍反量化、反变换以及帧内预测等h 2 6 4 帧内解码模块硬件实现 过程，主要包括以下四方面的工作： 1 、本文采用了自顶向下的设计方法，将h 2 6 4 帧内解码模块划分为反量化 反变换模块、帧内预测模块以及去块效应滤波前的宏块像素重建模块，然后主 要对前两个模块进行了详细的说明，包括各模块的功能、内部硬件结构以及操 作时序等。 2 、为节省硬件资源，本文通过分析提取反量化反变换模块、帧内预测模块 以及去块效应滤波前的宏块像素重建模块中的可重用部分，设计了可重用的运 算单元。同时为了达到实时性要求，本文采用了四像素并行解码的方式以加快 解码速度。 3 、针对帧内预测模块，为了节省存储器资源及降低访存功耗，本文提出了 一种包含三级存储的层次化参考像素存储结构，包括行缓存、宏块级寄存器以 及4 x 4 块级寄存器。 4 、论文完成了h 。2 6 4 帧内解码模块的r t l 编码、功能仿真，并通过了现场 可编程门阵列( f p g a ) 的原型验证。经过实际视频码流测试，本设计可以达到 h 2 6 4 主要档次的实时解码技术要求。 论文章节安排如下： 第一章为绪论，该章首先讨论了视频压缩的必要性和可能性以及些常见 的视频压缩方法，并对视频编码技术发展的历史作了简要的回顾，然后在此基 础上讨论了研究和设计h 2 6 4 视频解码系统的重要意义。 第二章简要介绍了h 2 6 4 标准。首先讨论了相对于先前的视频压缩标准， h 2 6 4 引入的新技术，然后说明h 2 6 4 中的档次及分层结构，最后对h 2 6 4 编解码 结构进行了介绍，为做好后续研究打下理论基础。 第三章主要讨论h 2 6 4 帧内解码相关算法，包括反量化反变换、帧内预测以 及宏块级重建过程。 第四章主要讨论了帧内解码器的v l s i 实现过程，主要侧重反量化反变换以 及帧内预测解码模块的v l s i 实现。 第五章讨论了h 2 6 4 帧内解码器的功能验证及f p g a 验证过程。 第六章总结全文并提出了今后的研究工作。 6 第二章h 2 6 4 视频压缩标准 2 1h 2 6 4 采用的新技术 相对于先前的视频压缩标准，h 2 6 4 引入了很多新技术，这些技术大大提 高了视频压缩率。h 2 6 4 标准中采取的关键技术【3 1 】【3 2 1 有： 1 、树状结构、1 4 像素精度运动补偿 h 2 6 4 采用了不同大小和形状的宏块分割和亚分割方法。一个1 6 x 1 6 大小 的亮度宏块可以按照1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 或8 x 8 进行分割，而如果选择了8 x 8 分 割，那么还可以按照8 x 8 ，8 x 4 ，4 x 8 或4 x 4 进行亚分割。宏块中色度块的分辨率 为亮度块的一半，因此除了分割尺寸在水平和垂直方向上都是亮度的一半外， 其分割方法与亮度块相同。这种多模式划分具有灵活和细致的特点，更符合图 像中实际运动物体的形状，大大提高了运动估计的精确程度。 h 2 6 4 采用1 4 像素精度的运动补偿，高精度的运动补偿可以在参考帧中 找到与当前块更匹配的块，从而减少运动预测残差值，提高压缩效率。另外， 在得到1 4 像素精度时由于使用了增强内插滤波器可以有效地减少高频噪声。 2 、新的帧内预测 对i 帧的编码是通过利用空间相关性来实现的，以前的标准只利用了一个 宏块内部的相关性，而忽视了宏块之间的相关性，因此一般编码后的数据量较 大。为了能进一步利用空间相关性，h 2 6 4 利用周围邻近的像素值来预测当前 的像素值，然后对预测残差进行编码。在h 2 6 4 中，亮度块有9 种4 x 4 块的帧 内预测模式和4 种1 6 x 1 6 的帧内预测模式，而色度8 x 8 块的4 种模式与亮度的 4 种1 6 x 1 6 块模式相似。 3 、多参考帧预测 h 2 6 4 标准采用多参考帧预测技术，使运动搜索范围从原来的一个参考帧 扩展到多个解码后的参考帧，这样通常能找到更精确的匹配块，从而有助于获 得更高的编码效率。多参考帧技术在周期性运动、平移封闭运动和两个不同场 景之间来回切换的场合可以得到比较好的应用。另外，多参考帧技术还能够实 现更好的误码恢复，改善视频图像质量。不过该技术的引入同样增加了编码器 的计算复杂度，并对存储容量提出了更高的要求。 4 、熵编码 h 2 6 4 标准采用了两种可选类型的熵编码方法：基于上下文的自适应可变 长编码( c a v l c ) 或基于上下文的自适应二进制算术编码( c a b a c ) 。 c a v l c 是指需要编码的各种参数、残差数据信息都采用统一的可变长码 表，而不是像以往的标准那样，针对每一个符号集合构建单独的v l c 表，因此 使问题得到简化。 c a b a c 是一种新型的高效熵编码方法，它相对于c a v l c 可以获得更好的 7 压缩性能。这主要通过以下三个方面来实现： ( 1 ) 上下文建模，对i - i 2 6 4 中所定义的各种编码元素按照元素的上下文选 择概率模型。利用合适的上下文模型，按照当前编码字符和邻近已编码字符之 间的条件概率充分减少编码字符间的冗余度。 ( 2 ) 自适应概率估计，允许熵编码器自适应非稳态的字符统计，即基于实 际统计的自动概率统计。 ( 3 ) 二进制算术编码，算术编码允许给每个字符分配非整数个比特数，尤 其是出现概率大于0 5 的这些字符，用v l c 编码至少要分配不小于1 比特的信 息，而算术编码则可以分配小于l 比特的信息。 5 、整数变换和量化 h 2 6 4 标准与先前的标准一样，都是采用基于块的变换编码，不同的是在 h 2 6 4 中采用了整数变换，相比于d c t 变换，由于新变换中只有整数操作而不 是浮点运算，因此不会产生反变换误差。另外，由于整数变换的块单位为4 x 4 ， 不但变换计算量较小，而且在物体边缘处的衔接误差也大大减少。 h 2 6 4 采用了5 2 个梯度的量化系数，量化系数每增加1 ，量化步长相应增 加1 2 5 ，而不是以固定的增幅增长，从而使码率控制的能力得到提高。同时， h 2 6 4 将变换中的尺度变换计算并入量化中进行，从而避免了除法计算，减少 了计算复杂度。 6 、去块效应滤波器 传统基于块的视频编码系统，在相对码率较低的视频编码时总会遇到块效 应这个问题，这是由基于块的预测、补偿、变换和量化造成的。h 2 6 4 在编码 环中引入了去块效应滤波系统，该系统也是h 2 6 4 在相对码率较低的情况下依 旧能保持较好的主观视觉效果的重要因素之一。另外，由于滤波后的帧用于后 续帧的运动补偿预测，从而避免了虚假边界的积累，减少了预测残差。 7 、新型帧格式 h 2 6 4 除了支持以往标准中提出的i 帧、p 帧和b 帧外，还支持转换编码 帧s p ( s w i t c h p - f r a m e ) 和s i ( s w i t c hi - f r a m e ) ，它允许某些解码器的解码处理与其 它解码器产生的正在进行的视频流准确同步。它可以在不同数据速率的视频内 容之间切换解码器，恢复数据的丢失或误码，以及支持随机切入和快速回放模 式。h 2 6 4 还提出了跳过( s k i p p e d ) 模式和直接( d i r e c t ) 模式两种利用时间关系直 接预测的运动估计方法。 8 、条带和条带组 h 2 6 4 将一幅图像分成了若干个条带，每个条带包含一系列的宏块。宏块 的排列可按光栅扫描顺序，也可不按扫描顺序。每个条带独立解码，不同条带 的宏块不能用于当前条带中做预测参考，从而防止了误码在条带之间的扩散。 9 、数据分割 h 2 6 4 利用数据分割技术适应传输信道的码率变化。通过在编码器中使用 基于语法的数据分割方法，将每帧数据按其重要性分为三部分，在必要时可以 丢弃不太重要的信息，以确保重要信息的准确传输。 2 2h 2 6 4 中的档次及分层结构 h 2 6 4 标准包含一套丰富的视频编解码工具，故应用的范围非常广泛。如 果要求每个解码器都实现所有的工具，将会使其变得非常复杂，因此h 2 6 4 根 据不同的应用定义了子集，称为档次( p r o f i l e ) 。一个与指定档次兼容的解码器必 须实现该档次支持的所有工具，而编码器可以选择其中的部分工具来生成兼容 的码流。 针对不同的应用，h 2 6 4 标准规定了三种不同的档次，分别为基本档次 ( b a s e l i n ep r o f i l e ) 、主要档次( m a i np r o f i l e ) 和扩展档次( e x t e n d e dp r o f i l e ) 。每 种档次都侧重于不同的应用场合，各