（控制理论与控制工程专业论文）基于fpga的h264视频解码器的研究与实现.pdf

摘要 捅晏 近年来，随着宽带网络的普及和多媒体技术的发展，视频压缩编码技术成为 人们研究的热点。由于编解码算法复杂度的提高，尤其是本文研究的h 2 6 4 a v c 视频标准，需要处理的数据量很大，用一般的软件来实现会比较慢，而a s i c 芯片 价格较昂贵，使用灵活性欠缺，通用性和升级性较差，并涉及到知识产权等一系 列问题。所以在硬件平台上进行视频图像压缩编码的设计无论是在实践还是在理 论研究方面都具有重大意义。 本文针对基本档次的h 2 6 4 解码器中的几个关键模块的硬件实现进行了研究， 完成了解码器整个框架搭建，在p c 机上对其进行了仿真验证，最后移植到硬件平 台实现了初步的解码显示。 本文首先详细阐述了视频编解码标准的发展，并介绍了实现视频编解码的几种 方式，从而确立了本文研究的意义。接着对视频编码的基本原理进行了简单的阐 述，着重对h 2 6 4 标准进行了较为系统的介绍，包括编解码流程，主要框架及采用 的具体技术等，这是整个论文的理论基础。然后简要介绍了f p g a 设计技术，详细 阐述了基本档次的h 2 6 4 a v c 解码中熵解码、帧内预测解码、帧间预测解码和去块 效应滤波几个关键模块的硬件设计，此外还给出每个部分的模块化程序结构图， 并依次对各模块进行了综合。最后完成完整的h 2 6 4 解码器的硬件设计，并对其进 行了仿真验证和综合，进行了初步的性能分析，接着在简要介绍了本文使用的 f p g a 硬件平台基础上，详述了h 2 6 4 a v c 解码器移植到平台上的过程及其中的关 键技术，最后完成了解码显示。 本文设计的h 2 6 4 硬件解码器程序未经过优化，只能支持q c i f 格式的视频码 流解码，且由于时间有限，借助了软件通过u s bb l a s t e r 进行码流的搬移。下一步 的研究目标是优化解码程序并完善整个系统框架争取实现标清、高清视频在该平 台的解码显示。 关键字：h 2 6 4解码 f p g ac a v l c 帧内预测帧间预测去块效应滤波 a b s t r a c t a b s t r a c t r e c e n t l y ，诵t l l t h e d e v e l o p m e n to fb r o a d b a n da n dm u l t i m e d i ap r o c e s s i n g t e c h n i q u e s ，v i d e oc o m p r e s s i o nt e c h n o l o g yh a s b e c o m eah o tt o p i c w i t ht h e d e v e l o p m e n to ft h ec o m p l e x i t yo fe n c o d i n ga n dd e c o d i n ga l g o r i t h m ，h 2 6 4 a v c ， f e a t u r i n gl a r g ev o l u m eo fd a t ai nt h i sp a p e rp a r t i c u l a r l y , w i l lb ev e r ys l o wi nt h e r e a c t i o np r o g r e s s e s 谢n lt h ec o m m o ns o f t w a r e w h a t sm o r e ，a p a r tf r o mt h eh i g hp r i c e ， a s i cl a c k st h ef l e x i b i l i t y , v e r s a t i l i t ya n ds e a l a b i l i t ya n di n v o l v e sar a n g eo fi s s u e sl i k e i n t e l l e c t u a lp r o p e r t yf i g h t s ，e t e i ti so fg r e a ts i g n i f i c a n c eb o t hi n p r a c t i c eo ri n t h e o r e t i c a lr e s e a r c hf o rt h ed e s i g no fc o d i n ga n dd e c o d i n gb a s e do nh a r d w a r ep l a t f o r m t i l i sp a p e ra c c o m p l i s h st h eh a r d w a r ed e s i g no fs e v e r a lk e yt e c h n o l o g yd e c o d e r so f b a s e l i n ep r o f i l eo fh 2 6 4 a v cd e c o d e ra n dt h ef r a m eo fh 2 6 4 a v cd e c o d e r a n dt h e n t h ep a p e rs i m u l a t e st h ed e c o d e ro np c f i l l a yt h i sp a p e rm a n a g e st h ed i s p l a y i n go f v e d i of r o mh 。2 酞| 斟cd e c o d e 。 f i r s t l y ，t h i sp a p e ri n t r o d u c e st h ed e v e l o p m e n to ft h ep r i n c i p l eo fv i d e oc o d i n ga n d s e v e r a lw a y so fv i d e oc o d i n g s ot h es i g n i f i c a n c eo fr e s e a r c hi nt h i sp a p e ri sc l a i m e d a n dt h e ni ts i m p l yd i s c u s s e st h ep r i n c i p l eo fv i d e oc o d i n gw i lt h ef o c u so nt h e o v e r v i e wo fh 2 6 4s t a n d a r di n c l u d i n gt h ep r o c e s s e so fc o d i n ga n dd e c o d i n g ，m a i n f r a m e w o r ka n ds p e c i f i ct e c h n o l o g i e sa n ds oo n t h i sp a p e ri sb a s e do nt h e s e c o n t e n t t h e nt h i sp a p e ri n t r o d u c e st h et e c h n o l o g yo ff p g aa n dt h ep r i n c i p l ea n d d e c o d i n gp r o c e s s i n go fc a v l c ，i n t r ap r e d i c t i o n , i n t e rp r e d i c t i o na n dd e b l o c k i n gi n h 2 6 4 a 、，co fb a s e l i n el e v e l b a s e do nt h e s et h e o r i e s ，t h ep a p e re l a b o r a t e st h ed e t a i l so f t h ep r o c e s s i n go fh a r d w a r ed e s i g no ft h o s ek e yt e c h n o l o g yd e c o d e r s ，g i v i n g 也e i rc o d e m o d u l ef r a l t l e $ a n dr e s u l to fs y n t h e s i z i n g b e s i d e s ，b a s e do nt h ep r i n c i p l eo fh 2 6 4 s t a n d a r d , t h i sp a p e rb r i n g su pt h eh a r d w a r ed e s i g no fh 2 6 4 a v cd e c o d e r a n dt h e n t h r o u g ht h es i m u l a t i o nv e r i f y i n ga n dt h es y n t h e s i z i n g 1 1 1 ep a p e ra n a l y z e s i t s p e r f o r m a n c ee l e m e n t a r i l y a f t e rg i v i n ga ni n t r o d u c t i o no ft h ef p g ap l a t f o r mu s e di n t h i sp a p e r , s e v e r a lk e yt e c h n o l o g i e sd u r i n gt h ep r o c e s s i n go fh 2 6 4 a v cd e c o d i n g t r a n s p l a n ta r ee l a b o r a t e d f i n a l l yt h i sp a p e rm a n a g e st od i s p l a yt h ed i g i t a lv i d e of r o m h 2 6 4 a v cd e c o d e r t h ed e s i g no fh 2 6 4 a v cd e c o d e ri nt h i sp a p e ri sn o to p t i m i z e d , a n di ti so n l y u s e df o rq c i fv i d e os t r e a mt od e c o d en o w w i lt h el i m i t e dt i m ea n dt h eh e l po f s o f t w a r et os h i f tt h ec o d es t r e a mb yu s bb l a s t e r , h 2 6 4 a v cd e c o d e rf a i l st ot r a n s p o r t c o d es t r e a mt h r o u g he t h e m e tp o r t t h en e x ta i mi st oi m p r o v et h ep r o g r a ma n dp e r f e c t t h ef r a m e w o r ko fs y s t e mo nf p g ap l a t f o r ms oa st or e a l i z et h ee n c o d i n ga n dd i s p l a y i n g 基于f p g a 的h 2 6 4 视频解码器的研究与实现 o fs da n dh dv i d e ob a s e do nt h i sf p g a p l a t f o r m k e y w o r d s ：h 2 6 4d e c o d i n gf p g ac a v l ci n t r ap r e d i c t i o n i n t e rp r e d i c t i o n d e b l o c k i n g 西安电子科技大学 学位论文独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名垒置垄芊 r 期必7 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名： 日期兰三f ! ：! 旦 醐丝必l 乎 第一章绪论 第一章绪论 1 1 选题的背景与意义 随着信息技术的发展和社会的不断进步，人类对信息的需求越来越丰富。多 媒体信息已成为人类获取信息的最主要载体，人们希望无论何时何地都能够方便 快捷地获得语音、图像及视频等多媒体信息，而多媒体信息的计算、传输等技术 也成为人们研究的热点。多媒体内容包括文字、语音、音乐、声音、静止图像、 电视图像、电影、动画、图形等。多媒体技术集计算机、视频压缩、音频压缩、 数据压缩以及通信等技术，具体包括媒体的采集、处理、存储、显示和传输等。 制约多媒体技术快速发展的两大因素包括通信带宽与媒体处理技术。在2 0 世纪9 0 年代通信技术与媒体压缩技术都得到了快速发展，一些多媒体压缩与通信的国际 标准的相继提出及其产业化应用开发使得人们对多媒体技术在2 l 世纪的发展及其 将带来的新的生活方式寄予了美好愿望，因此2 1 世纪也被喻为多媒体世纪。视频 压缩技术引起庞大的数据带宽称为多媒体技术发展的关键与难点，仍然在一定程 度上制约着多媒体技术的广泛应用与快速发展。1 9 4 8 年提出视频数字化概念至今， 国际上的各个标准化组织已制定了一些视频压缩与通信的标准与建议，如h 2 6 1 ， h 2 6 3 ，m p e g - 1 ，m p e g 2 和m p e g - 4 等，发挥着重要的作用。随着h 2 6 4 a v c 草 案的推出，视频压缩技术及标准的发展成为热剧。 然而随着视频编解码标准的不断发展，其运算度越来越复杂，因此迫切需要 寻求视频编解码标准的硬件实现方案以实现视频编解码的实时处理。目前f p g a 的集成度规模不断扩大，并且具有较高的性能和灵活性，所以在用硬件实现复杂 的数字视频信号处理中，f p g a 将是最佳选择之一。 以往视频编码一般用全定带t j a s i c 或数字信号处理器d s p 作为主控制芯片实 现，而f p g a f l j 于其资源有限而未被采用。全定铝t a s i c 或d s p 可以提供所需的强大 数字信号处理能力，然而这种方案是以损失灵活性为代价的，并需要相对昂贵的 投资。全定f l ；t j a s i c 器件不可重新编程，在发生错误时很难补救，也不容易对解决 方案进行优化。尽管d s p 通过软件是可编程的，但它的硬件结构不灵活，处理能力 受限于固定的硬件结构，如总线的速率、固定数目的乘法器、固定的内部存储器、 固定的硬件加速器以及固定的数据宽度。另外它的成本昂贵，需要众多附加部件， 而且功耗大。 f p g a 与传统逻辑电路和门阵列具有不同的结构，f p g a 利用小型查找表来实 现组合逻辑。f p g a 的这种结构允许无限次的重新编程。由于f p g a 的性能和灵活 性，以及新的简明的设计和实施方法，在很多新兴d s p 应用领域，如数字通信和视 2 基于f p g a 的h 2 6 4 视频解码器的研究与实现 频处理，f p g a 都成为优选的解决方案。随着f p g a 库中的d s p 核心不断增加，设计 人员可在比采用a s i c 方案或多处理器解决方案所需要的时间短得多的时间内就完 成一项d s p 设计。由于h 2 6 4 视频编码过程中不涉及到任何浮点数运算，特别适合 硬件电路的实现，因此研究h 2 6 4 解码器的f p g a 实现有很高的理论及应用价值【2 1 。 1 2 国内外编解码研究现状 i t u ，i s o 等组织制定了许多成功的视频图像编码标准，其中视频图像压缩标 准是其主要内容。以h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 等为代表的低码率、甚低码 率运动图像压缩标准，以及覆盖范围更宽面向对象应用的m p e g - 4 。这些标准之间 在码率、图像质量、实现复杂度、差错控制能力、延时特性上有很大的差别，从 而满足了各种数字图像应用的不同需要【3 ，4 5 1 。 1 h 2 6 1 h 2 6 1 是最早出现的视频编码标准，它首次使用了运动补偿预测编码和d c t 变 换编码的方法，其后很多标准的形成都受到h 2 6 1 标准的很大影响。h 2 6 1 也称 p 6 4 k 视频编码器，是指它的应用主要针对6 4 k 的整数倍信道，p 取值在1 3 l 之间。 h 2 6 1 对c i f ( c o m m o ni n t e r - m e d i af o r m a t ) 和q c i f ( q u a r t e rc l f ) 两种图像格式进行 处理，只有按帧的工作方式，它通过缓冲控制器产生恒定的输出码流。最大支持 每秒解码3 0 帧c i f 图像，最小支持每秒7 5 帧的q c i f 图像。对于一个编码帧，分成 1 6 x 1 6 大小的宏块进行单独处理。对于每一个帧间编码的宏块，进行运动估计， h 2 6 1 仅支持整数像素运动估计，运动估计范围为+ 1 5 。对于帧内编码宏块和帧间 运动预测残差按8 x 8 进行d c t 变换、量化、z i g z a 扫描和变长编码。h 2 6 1 采用了两 个量化器，对帧内编码的d c t 直流系数用步长为8 的均匀量化器进行量化，其他系 数采用带死区的均匀量化器，量化器步长从2 6 2 中选择。 2 n m e g 2 m p e g 2 是f l 习i s o 的活动图像专家组和i t u 的第1 5 研究组于1 9 9 5 年共同制定的， 在i t u 的标准中，被称为h 2 6 2 。m p e g 2 作为计算机可处理的数据格式，主要应 用于数字存储媒体，视频广播和通信领域，它的传输率为2 m - 4 0 m b p s 。 m p e g 2 视频体系首先保证与m p e g 1 视频体系向下兼容，其分辨率要求有低 ( 3 5 2 x 2 8 8 ) 、中( 7 2 0 x 4 8 0 ) 、次b ( 1 4 4 0 x 1 0 8 0 ) 、高( 1 9 2 0 x 1 0 8 0 ) 不同档次。与m p e g l 标准相比，只有达至u 4 m b i t s 以上的m p e g 2 数字图像才能明显看出比m p e g 1 的质 量好。 由于m p e g 2 在提高图像分辨率，兼容未来的数字电视等方面做了一些补充，使 它与m p e g 1 相比具有以下优点： 运动向量的精确度提高到半个像素 第一章绪论 由于关键帧里存在特殊向量，扩展了错误冗余 离散余弦变换中可选择精度 超前预测模式 质量伸缩性( 在同一视频流中可容忍不同质量的图像) 3 m p e g - 4 m p e g - 4 是m p e g 组织制定的一种i s o i e c 标准。m p e g 组织于1 9 9 9 年1 月 正式公布了m p e g - 4 v 1 0 版本，1 9 9 9 年1 2 月又公布了m p e g - 4 v 2 0 版本。 m p e g - 4 的目标被定义为：支持多种多媒体应用，特别是多媒体通信；基于 内容的检索和访问；可根据应用的不同要求，现场配置解码器。编码系统也是开 放的，可以随时加入新的有效的算法模块，与前面提到的m p e g 2 标准相比， m p e g - 4 为多媒体数据压缩提供了一个更为广阔的平台。它更多定义的是一种格 式、一种架构，而不是具体的算法。 m p e g - 4 标准的一个显著特点是：m p e g - 4 标准既可用于4 m b p s 的高码率的 视频压缩编码，又可用于5 - 6 4 k b p s 的低码率的视频压缩编码；既可用于传统的矩 形帧图像，又可用于任意形状的视频对象压缩编码。另外，m p e g - 4 采用基于内容 的编码，突破了过去m p e g 2 以矩形或方形块处理图像的方法，即把一段视频序 列看成是由不同的视频对象v o ( v i d e oo b j e c t ) 组成的，v o 可以是任意形状的视频 内容，也可以是传统的矩形视频帧。每个v o 在某个特定时刻的实例成为视频对 象面v o p ( v i d e oo b j e c tp l a n e ) ，编码器根据实际情况对各个v o p 或只对一些感兴趣 的v o p 编码。也就是说，m p e g _ 4 用v o p 代替了传统的矩形帧作为编码对象，用 形状、运动、纹理信息代替h 2 6 3 等传统视频编码采用的运动、纹理信息来表示 视频。m p e g - 4 支持三种图像帧模式：i - v o p ( 帧内) ，p - v o p ( 帧间预测) 和b v o p ( 帧 间双向预测) 。 m p e g - 4 编码仍按宏块进行，采用形状编码，预测编码和基于d c t 的纹理编码的 混合编码方法。形状编码有二进制和灰度级形状编码两种。其形状信息用a 平面表 示。二进制a 平面用来确定图像中的某一点是否属于当前对象；灰度级a 平面可用来 描述对象的透明度，以进行和其它对象的混合。对二进制形状编码采用基于块的 运动补偿和基于内容的算术编码( c a e ) 技术。灰度级形状编码包括两部分：二进制 形状编码和对灰度值进行1 6 x 1 6 宏块的纹理编码。预测编码通过运动估计和运动补 偿来实现，但为了适应任意形状的v o p ，m p e g - 4 引入了图像填充技术和多边形匹 配技术。图像填充技术主要利用v o p 内的像素值来外推v o p # b 的像素值，以此获 得运动预测的参考值：多边形匹配技术则是将v o p 的边缘宏块的活动部分包含在 多边形之内，以此增强运动估值的有效性。 4 h 2 6 3 h 2 6 3 是i t u 于1 9 9 5 年制定的一种码率低于6 4 k b p s 的甚低码率视频压缩编码标 4 基于f p g a 的h 2 6 4 视频解码器的研究与实现 准。该标准不仅着眼于利用p s t n ( p u b l i cs w i t c h e x lt e l e p h o n en e t w o r k 公共交换电话 网络) 传输，而且兼顾p l m n 移动通信等无线业务。它支持五种图像格式： s u b - q c i f ( 1 2 8 x 9 6 像素) 、q c i f ( 1 7 6 x 1 4 4 像素) 、c i f ( 3 5 2 x 2 8 8 像素) 、4 c i f 和1 6 c i f ， 采用y u v4 ：2 ：o 的图像格式，编码按1 6 x 1 6 大小的宏块进行。编码采用帧间预测减 小时间冗余度，利用d c t 变换减小空间冗余度。在传输中，采用可变长度编码技 术。在解码恢复中，应用运动补偿。从而进一步改善图像质量，提高压缩比。 h 2 6 3 与h 2 6 1 相比增加了以下一些功能： ( 1 ) 半个像素精度的运动估值 h 2 6 3 采用半个像素精度预测，取代了整像素预测和环路滤波器，用于传输的 是实际运动矢量与预测运动矢量之差。改进的运动估值算法充分利用运动矢量的 相关性来提高预测质量，减轻块效应。 ( 2 ) 不受限的运动矢量 在不受限运动矢量模式下，将运动矢量的范围由原来的【2 1 6 ，1 5 5 】扩大到 【2 3 1 5 ，3 1 5 】，从而能够反映较快的图像运动，这对摄像机的运动和大图像格式十 分有用。但是，扩大范围势必增大码长，考虑到运动的连续性，预测的运动矢量 与实际运动矢量的差值范围应该不大，实际传输中只传输差值，这样就避免了扩 大码本。另外运动矢量范围扩大后，可能会出现运动超出图像边界的情况，这时 可以用与之最接近且其矢量指向图像内部的像素的矢量值代替该运动矢量，从而 降低预测误差。 ( 3 ) 先进预测模式 在这种可选模式下，对于图像的亮度信息采用重叠块运动补偿( o b m c ) 。图像 中的一些宏块的运动矢量用四个8 x 8 的向量表示，取代了原来的一个1 6 x 1 6 的向量 表示。由编码器决定采用哪一种向量表示方法，四个向量使用了较多的数据位，但 可以得到更好的预测效果，而且可以在主观上减少块效应。 ( 4 ) p b 帧模式 提供了改进的p b 帧模式。在改进的p b 帧模式中，每个b 块可以由一个独立的 运动矢量进行前向预测，或者由一个零同量进行后向预测。这一模式在按比例缩 小的p 向量不适合作为b 预测向量时，可以极大地提高编码效率。后向预测在前一 个p 帧和p b 帧之间有场景截断时十分有用。 ( 5 ) 基于语法的算术编码 h 2 6 3 选用算术编码时，只对宏块层和块层的数据作算术编码，而对图像层、 块组层大部分信息依然采用原有的编码方式编码，这样保证了头部信息的准确辨 认和快速译码。另外h 2 6 3 对码流信息中的不同部分分别建立了基本符合概率分布 的编码模型，使之能更有效地编码。 5 h 2 6 4 第一章绪论 5 h 2 6 4 是i 由i s o i e c 与i t u 组成的联合视频组( j v t ) 制定的新一代视频压缩编码 标准，在i s o i e c q b 该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准 的第1 0 个选项，在i t u t 中正式命名为h 2 6 4 标准。 h 2 6 4 能够为甚低码率传输提供较好的视频质量。有关研究表明，h 2 6 4 编码 视频流与h 2 6 3 或m p e g - 4s i m p l e 编码视频流相比，平均可节省5 0 的码率，h 2 6 4 的帧内预测技术利用同一图像内的空间相关性，使得全帧内编码的视频质量甚至 超过了j p e g 标准和j p e g2 0 0 0 标准。同时在帧间编码的图像中，也可采用帧内预测 技术。对于帧内编码图像内的块，需要用1 3 种帧内预测模式进行预测比较，其复 杂度较以往标准采用的直接d c t 变换编码大大提高了；而在帧间编码图像内的块， 各种模式的帧内预测相对于参考图像中的大范围搜索，复杂度和存储量增加的比 例就比较小。 h 2 6 4 标准规定了三个档次，他们是基本档次( b a s e l i n ep r o f i l e ) ，主档次( m a i n p r o f i l e ) 和扩展档次( e x t e n d e dp r o f i l e ) ，分别对应不同场合的应用。 本文研究的是h 2 6 4 a v c 的基本档次( b a s e l i n ep r o f i l e ) 解码器在f p g a 视频开 发平台上的实现。 1 3 视频编解码实现方式 随着v l s i 技术和数字信号处理技术的不断发展，在视频处理技术中采用更加 灵活和复杂的算法以提高处理效果成为可能，目前，视频编解码系统的实现都围 绕着提高系统的控制和运算这一核心课题而开展视频编解码系统的实现方式通常 有四种：( 1 ) 采用软件方式实现视频编解码；( 2 ) 基于高速d s p 实现视频编解码；( 3 ) 专用视频编解码芯片；( 4 ) 采用高密度的f p g a 实现。后几种均为硬件实现，硬件实 现的实时性应用和安全性更为理想 6 1 。 1 软件方式 采用软件方式实现视频编解码，主要是指用通用处理器，如个人计算机来实 现视频的编解码运算。这种方式最明显发好处是低成本让，除了图像采以外不需 要额外的硬件开销；其次是灵活，改变标准、系统升级时只需要改动程序即可， 包容性很强。但是复杂的视频编解码占用资源多，不利于实时处理。据报道，日 本冲电气公司已开发出h 2 6 4 a v c 软件解码器，可实时压缩及解压缩7 2 0 x 4 8 0 像素 的动态图像。 2 高速d s p 实现方式 在通用d s p 上实现视频编解码是应用做多的一种方法。d s p 内部有硬件乘法 器、累加器，可以使用多级流水结构，并有专门的适合数字信号处理的指令系统。 随着d s p 向高速、低功耗、多媒体化、多处理器的方向发展，使得采用d s p 实现视 6 基于f p g a 的h 2 6 4 视频解码器的研究与实现 频编解码更方便。市场上现有用于开发视频编解码系统的主流d s p 芯片有：t i 公司 的d m 6 4 x 芯片和o m a p 平台、p h i l i p s 公司的p n x l 5 0 0 系列、e q u a t o r 公司的b s p 1 5 芯片和a d i 公司的b l a c k f m 处理器等。 3 专用编解码芯片 采用专门的视频处理系统的优点是速度快。一旦专用芯片设计成功，其生产 成本相对较低，而且方便集成，功耗低，适合大规模生产。缺点是无法灵活升级 和应用修改，设计周期长，投片成本高。 目前，c o n e x a n t 、b r o a d c o m 、s i g m ad e s i g n s 、s t m i c r o e l e c t r o n i c s 以及我国的 富瀚微电子、海思半导体等几家公司已开发出支持h 2 6 4 标准的视频编解码芯片。 比如美国的b r o a d c o m 公司发布了可对h 2 6 4 编码格式的h d t v 信号进行解码的芯片 b c m 7 4 1l 。他支持h 2 6 4 的m a i np r o f i l e 、编码数据速度可达至u 3 0 m b i t s s 。画面像素 支持范围从q c i f ( 1 7 6 x 1 4 4 像素) 至u 1 9 2 0 1 0 8 8 像素。芯片为3 3 6 脚的f b g a 封装， 实际尺寸为2 7 m m x 2 7 m m 。它可以作为一个单通道高清解码器，也可以作为一个双 通道标清解码器使用，同时支持m p e g 1 ，m p e g 2 解码。 4 采用高密度的f p g a 实现 随着v l s i 工业的提高，f p g a 的规模也越来越大，并且新型f p g a 内嵌d s p 内 核，支持软硬件协同设计，成为视频编解码解决方案的通用平台。这种方案具有 较高的性能和灵活性，更新方便，开发成本低，应用成熟。开始量产时，可以通 过移植途径来降低产品成本。 a l t e r a 、赛灵思公司采用与第三方合作的方式推出了支持高清h 2 6 4 标准的解 决方案。2 0 0 6 年6 月，赛灵思公司与4 i 2 i 公司宣布退出业界第一款基于f p g a 的 h 2 6 4 a v c 高规格 5 a 1 6 似l ，1 5 + p 1 5 ，1 1 ) b = ( s x h + 3 2 ) 6 c 气5 v + 3 2 ) 6 7 n = x ( x 。+ 1 ) ( 烈一l ，8 + x l 一阢一l ，6 一x 】) r = o 矿= ( y + 1 ) ( 烈8 + y ：一l 卜烈6 一y 一l 】) 图2 8i n t r a _ 1 6 x 1 6p l a n e 模式的公式和图解 0 8 x 8 色度预测模式 每个帧内编码宏块的8 8 色度像素由已编码的左上方色度像素预测得到。类似 于亮度帧内1 6 x 1 6 的4 种预测模式，色度宏块也有4 种预测模式，其中直流预测为模 式0 、水平预测为模式l 、垂直预测为模式2 、平面预测为模式3 。 ip c m 预测模式 在该模式下，编码器直接传输图像的像素值，而不经过预测和变化。在一些 特殊情况下，特别是图像内容不规则或量化参数非常低时，该模式比起“常规操 作”( 帧内预测变换量化摘编码) 效率更高。i - y c m 模式用于以下目的： ( 1 ) 允许编码端精确地表示采样点的值。 ( 2 ) 提供了表示不规则图像内容的准确值，并且没有很显著的数据增加。 ( 3 ) 严格限制宏块解码比特数，但不影响编码效率。 2 帧间预测 在运动的视频图像中，相邻两帧之间具有很强的时间相关性，采用运动估计 技术进行帧间编码，去除图像时间上的冗余度是提高视频编解码效率的只要手段 之一。除了原有的p 帧、b 帧预测方法外，h 2 6 4 还增加了一些新的特点，如何变块 运动、高精度运动估计以及多参考帧预测模式等。 可变块的运动估计 图像的分割是多模式运动补偿技术的基础，在h 2 6 4 标准中定义了7 钟不同大 小和形状的块，如图2 9 所示。搜索匹配块的过程也由原先的基于宏块改为基于子 块进行，每个1 6 x 1 6 的宏块可以被分成1 6 x 1 6 、1 6 x 8 、8 x 1 6 和8 x 8 四种类型的子块， 第二章h2 6 4 a v c 视频压缩标准 而每个8 x 8 的子块也可以进一步分成8 x 8 、8 x 4 、4 x 8 和4 4 四种类型的小块。这种多 模式的灵活细致的划分更切合图像中实际物体的形状，大大提高了运动估计的 精确度。通常，较大的分块尺寸适合图像帧中变化平缓的区域；而小的分块尺寸 对于细节区域比较有效。这种更小的、更多的形状的宏块分割，可以改善运动补 偿的精度，提高图像质量和编码效率。 00 1 l ，上一一 t 口田臣医 图29h 2 6 4 帧间预测宏块划分模式 高精度的运动估计 运动矢量的精度越高，运动估计的残差越小，这样可在降低编码效率的同时 提高重建图像的质量。h2 6 4 中运动矢量的位移对于亮度分量是l 4 像素精度，对 于色度分量是1 8 像素精度。预测算法首先利用一个6 抽头滤波器对相邻整数位置 的像素值进行内插值产生半像素点，权重值是( 1 3 2 ，5 3 2 。5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。 亮度分量的半像素点的插值过程如图21 0 所示，其中整像素点用大写字母标注， 亚像素点用小写字母标注。例如，半像素点像素b 是从六个水平整数位置像素e ， f ，g ，h ，i 和j 内插得到。 a 冒b 同1 罔留 广 j i j 田2 l o 类似地，h 由a ，c ，g ， 整数位置的半像素都计算出来 e 臣口口 卜_ 垦亘_ 习mm 嘲霪圈圆 兰重要刖 叫 r 雪s 1 1 雪u 半像素的亮度分量的内插示意图 m ，r 和t 进行插补得到。当水平和垂直方向接近 剩余的半像素点可通过对6 个水平或垂直方向的 基于f p g a 的h2 6 4 视频解码器的研究与实现 半像素点滤波得到。例如j 是通过对c c ，d d ，h ，m ，e e 和仟滤波得到。当得到所 有的半像素点后。1 4 像素点就可通过线性内插得到，如图2 1 l 所示。其中a 、c 、 i 、k 和d 、f 、i i 、g 由它们相邻的像素线性插补得到，p 和r 由两个对角线位置的 半像素插补得到。与整数精度的帧间预铡相比，使用高精度的运动估计更为精确， 峰值信噪比( p e a ks i g n a l t o n o i s e r a t i o ，p s n r ) 增益能够提高l3 d b 以上。 日习缸 量习啊 回雪田 图2 】11 4 像素点的亮度分鼍的插入示意图 多参考帧 与h 2 6 3 和m p e g i 2 不同，h2 6 4 可以选择利用多参考图像( 最多前向和后 向备5 帧) 来进行帧间的预测，不紧能够进一步提高运动估计的精度，并且有利 于码流的错误恢复。实验证明，采用5 帧预测可比采用单帧节省5 一1 0 的编码比 特率。 3 整数变换和量化 h2 6 4 与以前的编码标准相比，对残差图像采用基于块的变换编码，但变换编 码是以4 x 4 像素的图像块为单位的，且在变换和反变换过程中之包含整数运算。 h2 6 4 编码器的变换与量化过程如图2 1 2 所示。 图2 1 2h2 6 4 编码器变换与量化过程 图21 2 中输入为预测残差块，输出为准备进行熵编码的数据。h2 6 4 根据要 曰田阜；豳；。营同网倒倒 第二章h 2 6 4 a v c 视频压缩标准 1 9 编码的残差数据类型使用三种变换。第一种为4 x 4 的整数d c t 变换，针对亮度信 号和色差信号的残差数据；第二种为4 x 4 的h a d a m a r d 变换，针对1 6 x 1 6 预测模式 下亮度信号经4 x 4 整数d c t 变换后得到的直流系数组成的4 x 4 矩阵；第三种为2 x 2 的h a d a m a r d 变换，针对色度信号经4 x 4 整数d c t 变换后得到的直流系数组成的 2 x 2 矩阵。h 2 6 4 所用的三个变换矩阵核如图2 1 3 所示。 t = 1l 2l ll 1 _ 2 ll l一2 一ll 2一l h = 形：f ，l t , 1 图2 1 3 所用的三个变换矩阵 h 2 6 4 中采用的整数变换方案具有如下优点： ( 1 ) 采用了更小的4 x 4 像素块进行变换，能够降低图像的块效应和振铃效应， 从而获得更好的图像质量和主管视觉效果。 ( 2 ) 整个变换的过程只需要进行加法和位移操作，降低了对存储器和处理器的 要求，比原先的浮点数运算计算速度快，也更利于硬件实现。 ( 3 ) 由于是整数变换，运算结果精度高，可以有效的避免解码端经过逆变换后 得出的系数和编码端进行变换的系数不匹配的问题。 ( 4 ) 尺度运算被结合到量化过程中，进一步降低了整数变换的复杂度。 h 2 6 4 使用量化步长来确定系数的量化值，量化步长可以取5 2 个。此外，h 2 6 4 使用费固定宽度的尺度量化方法，量化步长按1 2 5 的混合速率增加。对色度系数 采用较小量化步长，使得色度分量更为逼真。h 2 6 4 对量化后的系数提供了两种不 同的扫描方式，如图2 1 4 所示，第一种扫描方式和以前的编码标准中的z i g z a g 方式一样，以频率递增的顺序排列量化后的系数。第二种扫描方式成为双扫描 ( d o u b l es c a n ) 方式，主要使用在帧内编码并且量化步长比较小的宏块，这种扫 描方式非常有利于编码效率的提高。 4 熵编码 1 3 乡夕 8 ： 1 3 。 9 1 0 1 4 7 1 气 ( a ) z i g z a g 方式 图2 1 4 ( b ) 双扫描方式 系数扫描顺序 佗一 基于f p g a 的h 2 6 4 视频解码器的研究与实现 h 2 6 4 采用了两种熵编码方案，一种是通用变字长编码( u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ，u v l c ) 和基于上下文的自适应变长编码( c o n t e x - b a s e da d a p t i v e v a r i a b l el e n g t hc o d i n g ，c a v l c ) ，另一种是基于上下文的自适应二进制算数编码 ( c o n t e x b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d m g ，c a b a c ) 。需要进行熵编码和 传输的语法元素包括： ( 1 ) 条带层以上的语法元素采用通用变字长编码。 ( 2 ) 条带层及条带层以下的语法元素采用c a v l c 或c a b a c 编码方式。 ( 3 ) 宏块类型m b _ t y p e ，即每个编码宏块的预测模式。 ( 4 ) 编码块模式c b p ，标志一个宏块内地哪些块包含编码系数。 ( 5 ) 量化系数，对当前宏块的量化系数与之前宏块量化系数的插值进行编码。 ( 6 ) 参考帧索引值，指示帧间预测的参考帧。 ( 7 ) 运动矢量，对当前运动矢量与前一个运动矢量之间的插值进行编码。 ( 8 ) 残差数据，变换和量化后的每个4 x 4 或2 x 2 块的系数。 u v l c 是由传统的v l c 改进而来，它对h 2 6 4 标准中的除系数外的所有语法 元素，如宏块类型、帧内预测模式、运动矢量等都采用一个统一的码表进行编码， 编解码简单且易实现。 c a v l c 属于h u f f - m a n 试的统计编码，用于亮度和色度残差数据的编码。h 2 6 4 具有多个v l c 码表，不同的代码表对应不同的概率模型。编码器能够根据上下文， 如周围的非零系数或系数的绝对值大小，在这些码表中自动选择，最大可能地与 当前数据的概率模型匹配，从而实现上下文自适应的功能。c a v l c 的码表经过统 计优化，比单一码表更能提高编码效率，但复杂度也相应增加。下一章将对c a v l c 解码器的硬件实现给出详细的研究。 c a b a c 可以为每个符号的字母分配非整数的比特，编码时根据已编码语法元 素动态调整算数编码端该楼层模型，以达到更高的编码效率。如图2 1 5 所示， c a b a c 的编码步骤包括以下几步：二进制优化、内容建模和自适应二进制算数编 码。如果给定的符号为非二进制，它将使用u v l c