（通信与信息系统专业论文）基于fpga的h264帧内预测并行设计与优化.pdf

摘要 摘要 h 2 6 4 已经成为目前最主流的视频压缩标准，在码率方面它表现出了很好的网 络亲和力。然而h 2 6 4 的高压缩效率是以计算复杂度为代价的，其编码的计算复杂 度约为h 2 6 3 的3 倍。随着人们对图像质量要求的提高，在面对高清视频源、超高 清视频源时，d s p 的处理能力显得捉襟见肘。f p g a 最显著的特点是其并行处理的 能力，除此之外f p g a 有很强的处理复杂逻辑的能力，有丰富的i o 、逻辑运算资源。 随着大规模集成电路的持续发展，f p g a 逻辑资源规模越来越大，成本也越来越低， 基于f p g a 的视频图像处理逐渐成为人们关注的热点。 本文在系统分析h 2 6 4 帧内预测关键技术的基础上，提出了一种基于模式并行 ( m o d ep a r a l l e lc o m p u t e ，m p c ) 的帧内预测架构。该架构能够对每个宏块的9 种 帧内预测模式同时进行分析，避免大量中间值的重复运算，既简化了帧内预测运 算，又减少了资源消耗。在x c 5 v l x 3 3 0 t 硬件平台下进行综合仿真表明，该架构消耗 2 0 1 7 7 个片内寄存器，3 5 4 7 5 个l u t ，1 0 2 2 3 个s l i c e 。该架构最高工作频率为2 1 9 m h z ， 处理一个宏块需要6 5 7 个时钟周期，按照整体编码器1 0 0 m h z 的工作频率，该架构 可以实现1 0 8 0 p 1 8 f p s 的编码。 在此基础之上，本文又提出一种基于宏块流水( m a c r o b l o c kp i p e l i n e dp r o c e s s ， m p p ) 的帧内预测架构，最终实现流水度为2 的基于m p p 的帧内预测架构。该架构 能够同时处理两个没有数据依赖关系的宏块，与m p c 架构相比，资源消耗增加近 1 5 ，能够降低帧内预测时间约5 0 。在x c 5 v l x 3 3 0 t 硬件平台下的综合仿真结果表 明该架构的最高工作频率为1 8 6 m h z ，每处理两个宏块需要7 1 0 个时钟周期，即每 个宏块只需要3 5 5 个时钟周期。按照整体编码器1 0 0 m h z 的工作频率，该架构可以 支持10 8 0 p 3 0 f p s 的实时编码。 关键词：h 2 6 4f p g a帧内预测并行流水 目录 a b s t r a c t h 2 6 4h a sb e c o m et h em o s tm a i n s t r e a mv i d e oc o m p r e s s i o ns t a n d a r dw h i c hs h o w s g o o dn e t w o r ka f f i n i t y i nb i tr a t e h o w e v e r ，h 2 6 4i sa b l et o g e ts u c hs u p e r i o r p e r f o r m a n c ed u et ot h ec o n t r i b u t i o no fs i g n i f i c a n ti n c r e a s eo fc o m p u t i n gc o m p l e x i t y , w h i c hi sa b o u tt h r e et i m e sa sh 2 6 3 a sr e c e n tg r o w t ho fi m a g eq u a l i t yr e q u i r e m e n t s ， d s p sp r o c e s s i n gp o w e rb e c o m e so u ta te l b o w si nt h ef a c eo fh i g hd e f m i t i o no re v e n u l t r ah i l g hd e f i n i t i o nv i d e os o u r c e s t h em o s tp a r t i c u l a rc h a r a c t e r i s t i co ff p g ai s p a r a l l e lp r o c e s s i n ga b i l i t y , b e s i d e s ，f p g ah a sq u i t es t r o n ga b i l i t y o np r o c e s s i n g c o m p l e xl o g i c ，a n di t i sr i c h i ni 0a n dl o g i cr e s o u r c e s d u r i n gt h ec o n t i n u o u s d e v e l o p m e n to fl a r g es c a l ei n t e g r a t e dc i r c u i t , t h es i z eo ff p g al o g i cr e s o u r c eg r o w s e v e nl a r g e rw h i l et h ec o s tf a l l s ，t h ev i d e oi m a g ep r o c e s s i n gb a s e do nf p g ag r a d u a l l y b e c o m e st h ef o c u so fr e s e a r c h t i l i sp a p e rp r o p o s e da l li n t r ap r e d i c ta r c h i t e c t u r eo fm o d e p a r a l l e lc o m p u t e ( m p c ) b a s e do nt h es y s t e m a t i ca n a l y s i so ft h ek e yt e c h n o l o g yo fh 2 6 4 t h i sa r c h i t e c t u r ec a l l a v o i dr e p e a t e dc o m p u t a t i o no ft h ei n t e r m e d i a t e v a l u e sb ya n a l y z i n ga l lt h e9i n t r a p r e d i c t i o nm o d e s a tt h es a m et i m e ，b o t hs i m p l i f i e dt h ei n t r ap r e d i c t i o n ，a n dr e d u c et h e c o n s u m p t i o no fr e s o u r c e s t h es y n t h e s i sa n ds i m u l a t i o nr e s u l t so nt h ex c 5 v l x 3 3 0 t h a r d w a r ep l a t f o r ms h o wt h a t ，t h i sa r c h i t e c t u r eu s e su p2 017 7s l i c er e g i s t e r s ，3 5 4 7 5 l u t s ，a n d10 2 2 3s l i c e s sa r c h i t e c t u r ei sa b l et or e a c ht h eh i g h e s tw o r k i n g f r e q u e n c yo f2 19m h z , a n de v e r ym a c r o b l o e kt a k e s6 5 7c y c l e st ob ep r e d i c t e d a c c o r d i n gt ot h e 10 0m h zo ft h ew o r k i n gf r e q u e n c yo ft h ew h o l ee n c o d e r , t h i s a r c h i t e c t u r ea c h i e v e slo s o p 1 8 f p s b a s e do nt h ea b o v es c e n a r i o ，t h i sp a p e rf u r t h e rp r o p o s e sa ni n t r a p r e d i c t a r c h i t e c t u r eo fm a c r o b l o c kp i p e l i n e dp r o c e s s ( m p p ) ，w h i l e f i n a l l y a c h i e v e sa m a c r o b l o c k p i p e l i n e d a r c h i t e c t u r eo fd e g r e e2 t h ea r c h i t e c t u r e p r o c e s s e s t w o m a c r o b l o c k sw i t h o u td a t ad e p e n d e n c i e sa to n et i m e ，i t sr e s o u r c ec o n s u m p t i o ni n c r e a s e n e a r l y15 ，w h i l et h ep r e d i c t i o nt i m er e d u c e da b o u t5 0 c o m p a r e dt ot h em p c a r c h i t e c t u r e 1 1 1 es y n t h e s i z ea n ds i m u l a t i o nr e s u l t so nt h ex c 5 v l x 3 3 0 th a r d w a r ep l a t f o r m s h o w st h a tt h eh i g h e s tw o r k i n gf r e q u e n c yo ft h ea r c h i t e c t u r ei s18 6m h z ，e v e r yt w o m a c r o b l o c k sn e e d710c y c l e st ob ep r e d i c t e d ，w h i c hm e a n se a c hm a c r o b l o c ko n l yn e e d 3 5 5c y c l e s a c c o r d i n gt ot h e1 0 0m h zo ft h ew o r k i n gf r e q u e n c yo ft h ew h o l ee n c o d e r ， t h i sa r c h i t e c t u r ec a na c h i e v el0 8 0 p 3 o f p s ，w h i c hs u p p o r t sr e a l - t i m ec o d i n g k e y - w o r d s ：h 2 6 4 f p g ai n t r ap r e d i c t i o n p a r a l l e lp i p e l i n e 第一章绪论 第一章绪论 1 1 引言 随着集成电路技术、通信网络技术、数字信号处理技术的飞速发展，人类对 信息的处理逐渐由模拟进入了数字领域，从本地数据处理进入了网络交互式处理， 从简单的文本信息处理进入了海量多媒体数据处理。而视频正是多媒体信息中最 重要的组成部分l l 】。首先，视频信息极易被人类接受，据统计人类接受信息的7 0 来自于视觉l z j ；其次，视频的信息具有直观、准确、高效和应用广泛等特点；第三， 与音频数据相比，视频具有无与伦比的信息量。 然而，数字化以后的视频以其海量的数据给存储和传输都带来了巨大的压力。 因此原始的视频图像必须经过压缩处理，这就使得视频压缩技术在多媒体领域显 得尤为重要。视频压缩技术是随着数字图像处理技术和计算机网络技术的发展而 不断成熟的，其基本原理是：对模拟图像信号进行量化，转变为数字信号，然后 利用数字信号处理技术对视频的数字信号进行压缩，以利于海量的视频数据进行 传输和存储。在此背景下，国际标准化组织( i s o ) 、国际电工联合会( i e c ) 及国 际电信联合会( i t u t ) 陆续制定了一系列图像视频压缩国际标准，包括j p e g 、 m p e g 、和h 2 6 x 标准，推动了视频技术在各个领域的迅速普及。 h 2 6 4 a v c 作为新一代的视频压缩标准它是由i t u t 的v c e g ( 视频编码专家 组) 和i s o i e c 的m p e g ( 运动图像编码专家组) 成立的联合视频小组( t ：j o i n t v i d e ot e a m ) 共同开发的。h 2 6 4 a v c 仍然是采用运动补偿加变换编码的混合编码 模型。但它采用许多新技术，使编码效率和图像质量都比以前的标准有很大的提 高，在相同图像质量的情况下，h 2 6 4 a v c 的编码效率是m p e g 2 的两倍【3 1 。随着 社会的发展，技术的不断提高，人们对图像质量的要求也越来越高，传统d s p 编解 码器的方式显现出了功能上的疲软，如高功耗、处理能力的瓶颈等。所以，具有 低功耗、高度并行处理能力的基于f p g a 的h 2 6 4 的硬件编解码技术变得尤为重要。 1 2 课题研究的背景和意义 1 2 1 视频标准的发展历史 i s o 、i t u 等组织制定了许多成功的视频图像编码标准，例如h 2 6 1 、h 2 6 3 、 h 2 6 3 + 、h 2 6 3 + + 等为代表的低码率、甚低码率运动图像压缩标准，以及覆盖范围 2基于f p g a 的h 2 6 4 帧内预测并行设计与优化 更宽面向对象应用的m p e g - 4 。这些不同的标准在码率、图像质量、实现复杂度、 差错控制能力、延时特性上都有很大的差别，从而满足了各领域数字图像应用的 不同需要。图1 1 是对h 2 6 x 和m p e g x 发展过程的一个简单概括： i t u t h 2 6 lh 2 6 3h 2 6 3 +h 2 6 3 4 - + s t a n d a r d s j o i n t1 1 u - 耵m p e gh 2 6 2 瓜卿- 2 h 2 6 4 s t a n d a r d s m e g 姗g 1m p e g _ 4 s t a n d a r d s 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 撇 2 0 0 4 图1 1h 2 6 x 和m p e g - x 发展过程 1 h 2 6 1 h - 2 6 1 足i t u t 于1 9 9 0 年制定的一个视频编码标准。其设计目的足能够在带宽 为6 4 k b p s 的倍数的综合业务数字网( i s d n f o ri n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 上传输质量可接受的视频信号。编码程序设计的码率是能够在4 0 k b p s 到2 m b p s 之间 工作，能够对c i f 和q c i f 分辨率的视频进行编码。在1 9 9 4 年的时候，h 2 6 1 使用向 后兼容的技巧加入了一个能够发送分辨率为7 0 4 x 5 7 6 的静止图像的技术。 h 2 6 1 是第一个实用的数字视频编码标准，它使用了混合编码框架，包括了基 于运动补偿的帧间预测、基于离散余弦变换的空域变换编码、量化、z i g - z a g 扫描 和熵编码。h 2 6 1 编码时基本的操作单位称为宏块。h 2 6 1 使用y c b c r 颜色空间，并 采用4 ：2 ：0 色度抽样，每个宏块包括1 6 x 1 6 的亮度抽样值和两个相应的8 x 8 的色度抽 样值。 h 2 6 1 的设计相当成功，之后的视频编码国际标准基本上都是基于h 2 6 1 相同 的设计框架进行逐步改进，引入新功能得到的，包括m p e g - l 、m p e g 一2 h 2 6 2 、 h 2 6 3 、h 2 6 4 。现在的视频编码标准比起h 2 6 1 来在性能方面有了很大的提高，这 使得h 2 6 1 成为了过时的标准，除了在一些视频会议系统和网络视频中为了向后兼 容还支持h 2 6 1 ，已经基本上看不到使用h 2 6 1 的产品了。但是这并不妨碍h 2 6 1 成 为视频编码领域一个重要的里程碑式的标准。 2 m p e g 2 m p e g 2 是m p e g i 作组于1 9 9 4 年发布的视频和音频压缩国际标准，在i t u 的 标准中，m p e g 2 又被称为h 2 6 2 。m p e g 2 通常用来为广播信号提供视频和音频编 第一章绪论 3 码，包括卫星电视、有线电视等，经过少量修改后，也成为d v d 产品的核心技术。 m p e g - 2 标准在保证与m p e g - 1 标准向下兼容的前提下，其分辨率有低( 3 5 2 x 2 8 8 ) 、中( 7 2 0 x 4 8 0 ) 、次高( 1 4 4 0 1 0 8 0 ) 、高( 1 9 2 0 1 0 8 0 ) 不同档次。与m p e g 1 标准相比，只有达銎j 4 m b i t s 以上的m p e g 2 码流才能显现出相比m p e g 1 图像质量 的优势。相对m p e g 1 而言，m p e g 2 具有以下优点： 1 ) 运动矢量的精确度提高到半个像素，即半像素的运动估计； 2 ) 由于关键帧里存在特殊向量，扩展了错误冗余； 3 ) 离散余弦变换中可选择精度； 4 ) 超前预测模式； 5 ) 质量伸缩性( 在同一视频流中可容忍不同质量的图像) 。 3 i - i 2 6 3 h 2 6 3 是i t u 于1 9 9 5 年制定的一种码率低于6 4 k b p s 的甚低码率用于视频会议系 统的视频压缩编码标准。该标准着眼于利用p s t n ( p u b l i cs w i t c h e dt e l e p h o n e n e t w o r k ，公共交换电话网络) 传输，并且兼顾了p l m n 移动通信等无线业务。它的 第一版于1 9 9 5 年完成，在所有码率下都优于之前的h 2 6 1 。之后还有在1 9 9 8 年增加 了新的功能的第二版h 2 6 3 + ，或者i n h 2 6 3 v 2 ，以及在2 0 0 0 年完成的第三版h 2 6 3 + + ， 即h 2 6 3 v 3 。 ，： 较之h 2 6 1 视频编码标准，h 2 6 3 增加了以下一些新的技术： 1 ) 半像素精度的运动估值； 2 ) 不受限的运动矢量； j 3 ) 更先进预测模式； 4 ) p b 帧模式； 5 ) 基于语法的算术编码。 4 m p e g 4 m p e g 4 是一套用于音频、视频信息的压缩编码标准，由国际标准化组织( i s o ) 和国际电工委员会( i e c ) 下属的“动态影像专家组”( m o v i n gp i c t u r ee x p e r t sg r o u p ， 即m p e g ) 制定，第一版即m p e g 4v 1 0 于在1 9 9 9 年1 月正式公布，第二版m p e g - 4 v 2 0 在1 9 9 9 年1 2 月公布。m p e g 4 的目标被定义为：支持多种多媒体的应用，特别 是多媒体通信；基于内容的检索和访问；可根据应用的不同要求，现场配置解码 器。m p e g 4 编码系统是开放的，可以随时加入新的有效的算法模块，与之前提到的 m p e g 2 标准相比，m p e g 4 为多媒体数据压缩提供了一个更为广阔和开放的平台， m p e g 4 更多定义的是一种格式、一种架构、而不是具体的算法。 m p e g - 4 的一个显著特点是：m p e g - 4 既可用于4 m b p s 的高码率的视频压缩编 码，又可用于5 6 4 k b p s 的低码率的视频压缩编码；既可用于传统的矩形帧图像，又 可用于任意形状的视频对象压缩编码。同时，m p e g - 4 采用基于对象内容的编码， 4 基于f p g a 的h 2 6 4 帧内预测并行设计与优化 突破了以往编码标准以宏块为单位处理图像的方法，即把一段视频序列看成是由 不同的视频对象v o ( v i d e oo b j e c t ) 组成的，v o 可以是任意形状的视频内容，也可以 是传统的矩形视频帧。v o 在某一个特定时刻的实例即成为具体的视频对象平面 v o p ( v i d e oo b j e c tp l a n e ) ，编码器根据实际情况对每一个v o p 或只对某一些重要的 v o p 进行编码。换句话说，m p e g - 4 用v o p 代替了传统的矩形帧作为编码对象，用 形状、运动、纹理信息来取代h 2 6 3 等传统视频编码采用的运动、纹理信息来表示 的视频。m p e g - 4 支持三种图像帧模式：i - v o p ( 帧内) ，p v o p ( 帧间预测) 和b - v o p ( 帧 间双向预测) 。 5 h 2 6 4 h 2 6 4 是由i s o i e c 与i t u 组成的联合视频组仃v t ) 制定的新一代视频压缩编码 标准，在i s o i e c 中该标准命名为a v c ( r p a d v a n c e dv i d e oc o d i n g ) ，并作为m p e g 一4 标准的第l o 部分；而在i t u t 中则被正式命名为h 2 6 4 标准。 h 2 6 4 a v c 项目的最初目标是希望这套新的编解码器能够在比以往的视频标 准( 如m p e g 2 、h 2 6 3 ) 低很多的比特率的情况下提供很好的视频质量；同时， 并不增加大量复杂的编码工具而使得硬件实现的难度增大。其另一个目标则是可 适应性，即该编解码器能够在一个很广的范围内使用( 既包含高码率也包含低码 率，以及支持不同的视频分辨率) ，并且能在各种网络和系统上( 比如组播、d v d 存储、r t p i p 包网络、i ，砌t 多媒体电话系统) 工作。h 2 6 4 的优势在于能够为低 码率传输提供较好的视频质量，有研究表明：h 2 6 4 编码视频流与h 2 6 3 或m p e g - 4 s i m p l e 编码视频流相比，平均可节省5 0 的码率。 6 h e v c 】h 2 6 5 h e v c h 2 6 5 ( h i g he f f i c i e n yv i d e oc o d i n g i - 2 6 5 ) 是i t u tv c e g 继h 2 6 4 之后 所指定的新规格。h e v c h 2 6 5 最初设想作为一个完全新的标准，而不是h 2 6 4 的 改良和延伸。一些协定有关各项目标的h 2 6 5 项目已经达成，如计算效率，高压缩 性能等，但是仍然不成熟。n g v c 想要将b i t r a t e 减少5 0 ，同时主要图像质量和计 算复杂度与h 2 6 4 相比，计算复杂度提升3 倍。人们期望h e v c h 2 6 5 能够提供支持 高清、3 d 以及移动无线环境下的视频压缩需求。 h e v c h 2 6 5 沿用h 2 6 3 就开始使用的混合编码框架，通过帧间和帧内预测编码 消除时间域和空间域的相关性；通过变换编码对残差进行变换编码以消除空间相 关性；通过熵编码消除统计上的冗余度。h e v c 将在混合编码框架内，着力研究新 的编码工具或技术，提高视频压缩效率。h e v c i - i 2 6 5 具有以下新特点： 1 ) 二维不可分离的自适应插补滤波器； 2 ) 可分离的a i f ： 3 ) 定向的a i f ； 4 ) 不再使用运动补偿与1 8 像素运动向量； 第一章绪论 5 5 ) s u p e r m a e r o b l o c k 结构支持6 4 x 6 4 转换( h 2 6 4 仅到3 2 x 3 2 ) ； 6 ) 自适应预测误差编码组织( a p e c ) ； 7 ) 自适应量化矩阵选择( a q m s ) ； 8 ) 运动向量选择与编码的竞争方式； 9 ) 针对内部编码的模组相依的k l t 。 1 2 2 研究的意义 h 2 6 4 是新一代视频编码标准，主要用于低比特率、低延时和移动通信的应用 中，如视频会议、网络视频等。h 2 6 4 采用了多种最新的编码技术，与以往的编码 标准相比，有许多优越性，已经成为目前全球范围内最为主流的视频编码标准。 h 2 6 4 作为最新的视频编码标准，只规定了解码端的解码规范和要求，至于编 码器的算法标准未做具体限制，只要码流格式满足解码器要求即可。因此在进行 编码时，有多种算法可供选择，这就为通过f p g a 实现高度并行的h 2 6 4 编码器提 供了可行性。由于h 2 6 4 采用的一些新的技术如：整数变换、可变大小的块运动估 计、多模式帧内预测等，所以在同样的图像质量前提下，h 2 6 4 对视频数据的压缩 率比以往标准都要高出很多。然而，高压缩比是通过计算复杂度的大幅增加换来 的，据估计，其编码器的运算复杂度大约为h 2 6 3 的3 倍，解码复杂度大约相当于 h 2 6 3 的2 倍，所以h 2 6 4 的标准算法的实时工程应用仍然存在很大困难。 基于h 2 6 4 实时编解码系统的研究是近年来全球研究的热点。以往视频编码系 统一般通过全定制a s i c 或者数字信号处理器d s p 作为主控制芯片来实现。全定制 a s i c 可以提供h 2 6 4 编码器所需的强大数字信号处理能力，然而这种方案是以损失 灵活性为代价的，全定带t j a s i c 器件不可重新编程，在发生错误时很难补救，也不 容易对解决方案进行优化。虽然d s p 通过软件是可编程的，但它的硬件结构不灵活， 处理能力受限于固定的硬件结构，如总线速率、固定数目的乘法器、固定的内部 存储器、固定的硬件加速器及固定的数据宽度等，在高清视频处理领域d s p 越来越 失去其优越性。另外它的成本昂贵，需要众多附加部件，而且功耗较大，不适于 手持设备。 f p g a 与传统逻辑电路和门阵列具有不同的结构，它利用小型查找表来实现组 合逻辑，这种结构允许无限次的重新编程。由于f p g a 的性能和灵活性的特点，以 及新的简明的设计和实施方法，在众多新兴的d s p 应用领域，如数字通信和视频处 理等领域，f p g a 都成为优先选择的解决方案。随着f p g a 库中的d s p 核心不断增 加，开发人员可以在比使用a s i c 方案或多处理器解决方案所需时间更短的时间周 期内完成一项f p g a 设计。同时由于h 2 6 4 视频编码过程中并不涉及到何浮点数运 算，特别适合硬件电路解决方案，因此研究h 2 6 4 实时编码器的f p g a 实现有很高 6 基于f p g a 的h 2 6 4 帧内预测并行设计与优化 的理论和应用价值。 1 3 本文的主要工作成果及结构安排 本文在系统分析h 2 6 4 帧内预测关键技术的基础上，基于f p g a 并行处理能力 强的特点，提出并实现了基于m p c 的帧内预测架构，测试表明在该架构预测结果 和软件编码结果相同的前提下，可以实现高清视频1 0 8 0 p 1 8 f p s 的帧内预测编码。 在基于m p c 的帧内预测架构基础上，本文又提出一种基于m p p 的帧内预测架 构，实现了流水度为2 的基于m p p 的帧内预测架构。基于m p p 的帧内预测模型以宏 块为单位进行预测，每次处理两个没有数据依赖关系的宏块。综合仿真结果表明 该架构的最高工作频率为1 8 6 m h z ，每处理两个宏块需要7 1 0 个时钟周期，即每个 宏块只需要3 5 5 个时钟周期。按照整体编码器1 0 0 m h z 的工作频率计算，该架构可 以支持高清视频1 0 8 0 p 3 0 f p s 的实时编码。 本文第一章基于视频编解码标准介绍了数字视频编解码标准的发展历史；第 二章介绍了h 2 6 4 各项关键技术以及f p g a 硬件结构；第三章设计并实现了基于 m p c 的帧内预测架构，并对该架构进行了功能仿真，以及各项性能指标分析；第 四章在第三章所提出的m p c 帧内预测架构基础上进一步改进，实现了基于m p p 的 帧内预测架构，并对该模型进行了测试以及性能分析；第五章对全文进行了总结 和展望。 第二章h 2 6 4 视频编码标准及f p g a 逻辑设计流程 7 第二章h 2 6 4 视频编码标准及f p g a 逻辑设计流程 h 2 6 4 a v c 作为新一代视频压缩标准，具有优异的压缩性能和良好的网络亲 和性，这对于实时视频通信是十分重要的。同时，h 2 6 4 a v c 也充分考虑了硬件 的发展趋势，采用了各种先进的视频压缩技术和算法。 h 2 6 4 的技术特点可以归纳为以下三个方面：一是注重实用，采用成熟的技术， 追求更高的编码效率和简洁的表现形式；二是注重对移动设备和i p 网络的适应，采 用分层技术，从形式上将编码和信道隔离开来，实质上是在源编码器算法中更多 地考虑到信道的特点；三是在混合编码器的基本框架下，对其主要关键模块都做 了重大改进，如多模式和高精度的运动估计、精确的帧内预测、基于内容的变长 编码、整数变换等。h 2 6 4 视频编码标准规定了三种不同的档次( 基本档次、主要 档次、扩展档次) ，每种档次支持一组特定的编码功能，并支持一类特定的应用。 由于利用了多种先进的编码技术，h 2 6 4 在编码性能方面比现有视频编码标准 具有如下优势： 1 ) 更高的编码效率； 2 ) 更好的图像质量； 3 ) 更强的延时适应性； 4 ) 更强的差错恢复能力； 5 ) h 2 6 4 基本档次的使用无需版权，具有开放的性质，能很好地适应i p 和无线 网络的应用； 6 ) 增强的网络适应能力。 正是因为以上特点使得h 2 6 4 受到极大的关注，在实时的会话服务、移动网络 中的视频通信、因特网视频应用、视频的存储和检索服务、视频的存储和转寄服 务以及在异种网络环境下的多点通信等方面均得到了广泛的应用。下面将从编码 器结构特点以及所使用的各项关键技术进行具体的分析。 2 1h 2 6 4 a v c 编码器的特点及结构 h 2 6 4 编码器的功能结构如图2 1 所示。 8 基于f p g a 的h 2 6 4 帧内预测并行设计与优化 图2 1h 2 6 4 编码器结构 h 2 6 4 并没有明确的规定一个编码器如何实现，而是规定了一个编码后的视频 比特流的句法以及该比特流的解码方法。早期的视频编码标准相比，各功能模块 大致一样，具体的改进和性能的提升都体现在各模块内的细节上，这也是h 2 6 4 可以提高图像质量降低码率的关键因素。 h 2 6 4 编码器沿用了传统视频编码器的机制，采用的是变换和预测的混合编码 方式。图像编码通常分为三种类型：i 帧、p 帧、b 帧。i 帧为帧内( i n t r a ) 编码帧， 采用帧内编码，不参考其他图像；p 帧为前向预测帧( p r e d i c t e d ) ，采用帧间编码， 参考前面的i 帧或p 帧进行运动估计；b 帧为双向预测帧( b i p r e d i c t e d ) ，参考前后 两个方向的图像来进行预测。此外，h 2 6 4 还定义了新的s p 帧和s i 帧，用以实现 不同传输速率、不同图像质量码流间的快速转换以及信息丢失的快速恢复等功能。 2 2 1 帧内预测 2 2h 2 6 4 a v c 的关键技术 在h 2 6 3 + 的高级帧内编码模式( a d v a n c e dc o d i n gm o d e ) 中首次引入了帧内 预测技术( i n t r ap r e d i c t i o n ) ，较以往编码标准很大程度上提高了帧内编码的压缩比。 在实际应用中，帧内预测被证明是一项简单有效的技术，因此在随后i s o 和i t u t 制定的视频编码标准m p e g - 4 和h 2 6 4 的过程中，对帧内预测技术进行了深入的 研究和测试，并将帧内预测技术纳入帧内编码中的一个关键部分。 h 2 6 4 提供了四种帧内预测模式：4 x 4 亮度预测( i n t r a4 x 4 ) ，1 6 x 1 6 亮度预 测( i n t r a1 6 x 1 6 ) ，8 x 8 色度预测( i n t r ac h r o m a ) 以及p c m 的预测( ip c m ) 。 4 x 4 亮度预测模式 第二章h 2 6 4 视频编码标准及f p g a 逻辑设计流程 9 帧内预测算法基本思路是从不同方向计算和比较4 x 4 块中各个像素之间的亮 度差值，选择具有最小误差的方向作为最佳的预测方向【4 】。对于图2 2 中的各种预 测模式，箭头所指方向就是预测方向。对于模式0 和模式l ，当前宏块的预测值是 参考像素的拷贝值；对于模式2 ，预测值是所有参考像素的算术平均值；对于模式 3 8 ，预测值由a m 加权平均( 内插) 而得。 0 ( 垂直模式v ) l ( 水平模式h )2 ( 直流模式d c ) ma b c d efgh l j k l r1 3 ( 左下对角模式d d l ) mab c d efgh i 。 j 。 k。 。 l。 。 6 ( 下水平模式h d ) mab c d efgh i 、- j 、- k。 、 l 、_、- mab c d efgh i j k l 4 ( 右下对角模式d d r ) ma b cdefgh i 。 j k l、 。 7 ( 垂直偏左模式v l ) ma b c d efgh i ? i j li i k l ll e e2 5 ( 垂直偏右模式v r ) mab cde fgh i |ii j i i i k l i i l i33 j 8 ( 上水平模式h u ) ma b cdefgh l ， j j k 一一 l 图2 2 帧内预测9 种模式的预测方法 1 6 x 1 6 亮度预测模式 1 6 x 1 6 亮度预测模一般用于平坦区域的图像编码，一个宏块所有亮度分量可以 整体预测，共有4 种预测模式，如图2 3 所示。 图2 3 帧内1 6 x 1 6 预测模式 对于模式o 和模式1 ，当前宏块的预测值也是参考像素的直接拷贝；d c 预测 1 0 基于f p g a 的h 2 6 4 帧内预测并行设计与优化 模式下，当前宏块的所有像素是由h 和v 的平均值预测得到；平面预测模式( p l a n e ) 的计算相对比较复杂，第三章会具体分析。 8 x 8 色度预测模式 每个宏块的8 x 8 色度像素由已编码的左上方色度像素预测得到。具体方法十 分类似于帧内亮度1 6 x 1 6 的4 种预测模式：其中直流预测为模式0 ，水平预测为模 式1 ，垂直预测为模式2 ，平面预测为模式3 。 ip c m 预测模式 该模式是针对特殊图像类容或者量化参数非常低的情况设计的，主要用于以 下目的：1 ) 允许编码端精确的表示采样点的值；2 ) 提供了表示不规则图像内容 的准确值，并且没有很显著的数据增加；3 ) 严格限制宏块编码比特数，但不影响 编码效率。 2 2 2 帧间预测 h 2 6 4 帧间预测在继承传统成熟编码框架的基础上，做了进一步改进和优化， 同时也增加了一些新技术，包括可变尺寸的运动块补偿、1 4 精度运动估计以及多 参考帧等。 1 ) 可变尺寸运动补偿 图像分割是可变尺寸运动估计的基础，h 2 6 4 标准定义了7 种不同大小的形状 的块如图2 4 所示。 1 6 8 面目田 面目田 图2 4 宏块及子块分割 这样的可变尺寸的运动补偿大大提高了各宏块之间的关联性更切合图像中实 际物体的形状，大大提高了运动估计的精度。通常，较大尺寸的分块适合图像中 变化平缓的区域；而较小尺寸的分块针对与细节区域会更加准确。这种更加细致 的宏块分割，可以改善运动补偿的精度，提高图像质量和编码效率。 2 ) m v 的预测 每个分割m v 的编码需要相当数目的比特数，特别是使用小的分割尺寸时。 为减少传输比特数，利用邻近分割的m v 较强的相关性，m v 也可以由邻近已编 第二章h 2 6 4 视频编码标准及f p g a 逻辑设计流程ll 码分割的m v 预测而得。预测矢量m v p 基于已计算m v 和m v d ( 预测与当前的 差异) ，并被编码和传送。m v p 取决于运动补偿尺寸和邻近m v 的有无。 e 为当前宏块或宏块分割子宏块，a 、b 、c 分别为e 的左、上、右上方的三 个相对应块。如果e 的左边不止一个分割，取其中最上的一个为a ；上方不止一 个分割时，取最左边的一个为b 。如图2 5 所示。 bc ae bc 4 x 8 1 6 x 8 i 念 e 1 6 x 1 6 图2 5 当前和邻近分割 3 ) 高精度的运动估计 运动矢量的精度越高，运动估计的残差越小，从而达到在提高图像质量的前 提下有效降低码率。h 2 6 4 中对于1 4 精度运动估计是通过插值来实现：首先利用一 个6 抽头滤波器对相邻整像素进行内插产生半像素点，权重值是( 1 3 2 ，5 3 2 ，5 8 ， 5 8 ，5 3 2 ，1 3 2 ) 。插值过程如图2 6 所示。 圜圈重固团 圆囹国圜国 “gh r ， h疗 m ， mn 圜团匮圜圜 圜团巨圈囹 图2 6 半像素6 抽头插值 其中整像素用大写字母表示，半像素用小写字母表示。如式2 1 所示，b 、h 、 1 2 基于f p g a 的h 2 6 4 帧内预测并行设计与优化 鼢别为横向、纵向、斜向插值结果。 b = ( e sxf + 2 0 g + 2 0 xh 一5xi + j + 1 6 ) 3 2 h = ( a s c + 2 0 g + 2 0 m s r + t + 1 6 ) 3 2 ( 2 1 ) f f = ( c c 一5 d d + 2 0xh + 2 0 m s e e + f f + 1 6 ) 3 2 最终计算出横向、纵向和斜向插值的结果。在此基础上，1 4 像素点就可以通 过线性内插得到，如图2 7 所示。 巨j ： 硭 i 豳 、 c g ， 巴蟛 。0 i 翻 皇+ ：。， 、 p r 鼻 融2 z ，一 矧 = j ：二 图2 7l ，4 像素线性插值 4 ) 多参考帧 与h 2 6 3 及m p e g 1 2 不同，h 2 6 4 可以选择利用前向后向最多5 帧作为参考图像 来进行帧问的预测，不仅可以进一步提高运动估计精度，而且有利于码流的错误 恢复。实验表明，采用5 帧预测可比采用单帧节省5 1 0 的码率。这种多参考帧 机制可以为当前宏块或宏块分割搜索到更为准确的匹配。 2 2 3 整数变换与量化 几乎所有的视频压缩算法都采用了d c t 变换，这是因为变换编码采用了正交 变换技术，通过多维坐标系适当做旋转变换，把分布在各坐标轴上的图象数据集 中到新的坐标系中的少数坐标轴上，以完成时域到空域的转换，从而降低相关性。 d c t 变换是浮点数运算，正反变换都引入了舍入误差，由此引起了正变换与 反变换的不匹配：同时，浮点数运算的运算量很大，对于实时系统来说需要有浮 点数性能较高的硬件支持。而由整数d c t 变换所带来的运算量减少，复杂度降低 等优点却极为突出。因此，h 2 6 4 采用了基于4 x 4 块的整数d c t 变化。整数d c t 变 换将变换与量化一起进行，只用到加减和移位运算。h 2 6 4 所用的变换矩阵如2 2 式所示。 r1 1111 r1 1111 t = if 三二至1 2lh = l1 j l 三二至1 1 1w = ( 三二) ( 2 - 2 ) l 1 2 2 1 jl 1111 j 整数变换具有以下优点：1 ) 采用更小的4 x 4 像素块进行变换，能够降低图像 的块效应和振铃效应，获得更好的图像质量和主观视觉效果；2 ) 整个变换的过程 第二章h 2 6 4 视频编码标准及f p g a 逻辑设计流程1 3 只需要进行加法和位移操作，比浮点数运算具有更高的计算速度；3 ) 整数变换的 运算结果具有更高的运算精度；4 ) 尺度运算被结合到量化过程中，进一步降低了 整数变换的复杂度。 2 2 4 熵编码 h 2 6 4 采用了两种熵编码方案，一种是通用的变字长编码( u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ，u v l c ) 和基于上下文的自适应变长编码( c o n t e x t - b a s e da d a p t i v e v a r i a b l el e n g t hc o d i n g ，c a v l c ) ，另一种是基于上下文的自适应二进制算数编码 ( c o n t e x tb a s e da