(信号与信息处理专业论文)基于dspfpga的h264avc实时编码器的研究与实现.pdf_第1页
(信号与信息处理专业论文)基于dspfpga的h264avc实时编码器的研究与实现.pdf_第2页
(信号与信息处理专业论文)基于dspfpga的h264avc实时编码器的研究与实现.pdf_第3页
(信号与信息处理专业论文)基于dspfpga的h264avc实时编码器的研究与实现.pdf_第4页
(信号与信息处理专业论文)基于dspfpga的h264avc实时编码器的研究与实现.pdf_第5页
已阅读5页,还剩76页未读, 继续免费阅读

(信号与信息处理专业论文)基于dspfpga的h264avc实时编码器的研究与实现.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

上海大学硕士学位论文基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 摘要 h 2 6 4 a v c 是i t u t 和i s o 联合推出的新标准,采用了近几年视频编码方面的 先进技术,以较高编码效率和网络友好性成为新一代国际视频编码标准。 本文以实现d 1 格式的h 2 6 4 a v c 实时编码器为目标,作者负责系统架构设 计,软硬件划分以及部分模块的硬件算法设计与实现。通过对h ,2 6 4 a v c 编码 器中主要模块的算法复杂度的评估,算法特点的分析,同时考虑到编码器系统的 可伸缩性,可扩展性,本文采用了d s p + f p g a 的系统架构。d s p 充当核心处理 器,而f p g a 作为协处理器,针对编码器中最复杂耗时的模块一运动估计模块, 设计相应的硬件加速引擎,以提供编码器所需要的实时性能。 h 2 6 4 a v c 仍基于以前视频编码标准的运动补偿混合编码方案,其中一个主 要的不同在于帧间预测采用了可变块尺寸的运动估计,同时运动向量精度提高到 1 4 像素。更小和更多形状的块分割模式的采用,以及更加精确的亚像素位置的 预测,可以改善运动补偿精度,提高图像质量和编码效率,但同时也大大增加了 编码器的复杂度,因此需要设计专门的硬件加速引擎。 本文给出了1 4 像素精度的运动估计基于f p g a 的硬件算法设计与实现,包 括整像素搜索,像素插值,亚像素( i 2 ,1 4 ) 搜索以及多模式选择( 支持全部七 种块分割模式) 。设计中,将多处理器技术和流水线技术相结合,提供高性能的 并行计算能力,同时,采用合理的存储器组织结构以提供高数据吞吐量,满足运 算的带宽要求,并使编码器具有较好的可伸缩性。最后,在m o d e l s i m 环境下建 立测试平台,完成了对整个设计的r t l 级的仿真验证,并针对a l t e r a 公司的f p g a 芯片s t r a t i x i l 系列的e p 2 s 6 0 4 器件进行优化,从而使工作频率最终达到1 3 4 m h z , 分析数据表明该模块能够满足编码器的实时性要求。 关键词:h 2 6 4 a v c ,实时编码器,v b s m e ,f p g a d s p 上海大学硕上学位论文基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 a b s t r a c t h 2 6 4 a v ci st h en e w e s ti t u - ta n di s o i e cv i d e oc o d i n gs t a n d a r d i th a s a d o p t e dm a n yv i d e oc o d i n g a d v a n c e dt e c h n i q u e si nr e c e n t y e a r sa n da c h i e v e d e n h a n c e dc o m p r e s s i o np e r f o r m a n c ea n d “n e t w o r k i n g - f r i e n d l y a ss e l l t h ep r o j e c tf o c u s e do nr e a l i z i n gah 2 6 4 a v cm p d1r e a l t i m ee n c o d e r t h e a u t h o rt o o k c h a r g e o ft h e d e s i g n o f s y s t e m a r c h i t e c t u r e s t h ed i v i s i o no f s o f t w a r e h a r d w a r ea n dt h ei m p l e m e n t a t i o no fm o t i o ne s t i m a t i o nm o d u l e sh a r d w a r e a l g o r i t h m s ,b a s e do ne v a l u a t i n gt h ec o m p l e x i t yo ft h em a i np r o c e s s i n gm o d u l e si n h 2 6 4 a v ce n c o d e r , a n a l y z i n gt h ec h a r a c t e r i s t i c so ft h ea l g o r i t h m sa n dt a k i n gt h e s c a l a b i l i t y a n dp r o g r a m m a b i l i t yo ft h ee n c o d e ri n t o a c c o u n t ,d s p + f p g a a r c h i t e c t u r ew a sa d o p t e d d s pi st h ec o r ep r o c e s s o ra n df p g ai st h ec o - p r o c e s s o r w h i c hi su s e dt ob et h eh a r d w a r ee n g i n eo f t h em o s tc o m p l i c a t e da n dt i m e - c o n s u m i n g m o d u l e ,t h a ti sm o t i o ne s t i m a t i o n ,i nt h ee n c o d e r d u et ot h eu s eo fv b s m ea n d1 4p i x e lr e f i n e m o t i o nv e c t o ri nt h ei n t e r f r a m e p r e d i c t i o ni nh 2 6 4 a v c ,t h e r ei sas i g n i f i c a n ti m p r o v e m e n ti nt h eq u a l i t yo fp i c t u r e s m a dt h ec o m p r e s s i o ne f f i c i e n c ya tt h ec o s to ft h eh u g ec o m p u t i n gc o m p l e x i t y s oi ti s n e c e s s a r yt od e s i g nt h es p e c i a lh a r d w a r ea c c e l e r a t i o ne n g i n ef o rt h eh 2 6 4 a v c m o t i o ne s t i m a t i o ni no r d e rt op r o v i d et h er e a l t i m ep e r f o r m a n c e t h i st h e s i sp r o p o s e dt h ei m p l e m e n t a t i o no fh a r d w a r ea l g o r i t h m so f1 4p i x e l v b s m e ,w h i c hi n c l u d e di n t e g e rp i x e lm o t i o ne s t i m a t i o n ,s u b - p i x e li n t e r p o l a t i o n , s u b p i x e lm o t i o ne s t i m a t i o na n dm o d ed e c i s i o n m u l t i p r o c e s s o rt e c h i n i q u ea n d p i p e l i n i n gt e c h i n i q u ew e r ei n t r o u d u c e di nt h ed e s i g nt op r o v i d eh i g hp a r a l l e l i z a t i o n t h i st h e s i sa l s od e s c r i b l e dt h el o c a lm e m o r yf a b r i ci nt h ef p g aw h i c hc o u l dm e e tt h e p r o c e s s i n ge l e m e n t s r e q u i r e m e n to fh u g eb a n d w i d t h f i n a l l y , at e s t b e n c hw a s e s t a b l i s h e du n d e rt h ee n v i r o n m e n to fm o d e l s i ma n df u l f i l l e dt h er t ls i m u l a t i o na n d v e r i f i c a t i o no ft h ec o p r o c e s s o r t h em a x i m u mf r e q u e n c yo ft h ec o - p r o c e s s o rc a n 上海大学硕士学位论文基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 r e a c h13 4 m h za i m e da tt h ec o m p o n e n ts t r a t i x l ie p 2 s 6 0 - 4a f t e ro p t i m i z a t i o n ,s ot h e c o p r o c e s s o rc a nm e e tt h er e a l t i m er e q u i r e m e n to ft h eh 2 6 4 a v ce n c o d e l k e y w o r d s :h 2 6 4 a v c ,r e a l t i m ee n c o d e r , v b s m e ,f p g a d s p i i l :海人学硕十学位沦文 基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 原创性声明 本人声明:所呈交的论文是本人在导师指导卜进行的研究工作。 除了文中特别加以标注和致谢的地方外,论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名:垒l 塑隍日期:孕:! :! ! 二 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定,即:学 校有权保留论文及送交论文复印件,允许论文被查阅和借阅;学校町 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名:斛啦导师签名: 口期:0 2 ;,2 上海大学硕士学位论文 基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 1 1 研究背景 第一章绪论 近年来,随着微电子器件、数字信号处理器( d s p ) 技术、计算机、通信网 等相关技术的不断进步,电视、计算机和通信网的结合促进了多媒体技术和多媒 体通信步入快速发展阶段,数据通信、特别是图像、视频等非话音业务的信息传 递和交流日益成为通信中的主要内容。随着i n t e r n e t 和数字移动通信的迅速普 及,衍生出以i p 网络以及宽带无线网络为媒介的视频会议,可视电话,视频点 播,数字电视等各类宽带视频业务。 与此同时,视频通信业务中庞大的数据量对通信系统中有限的带宽和存储空 间提出了严峻的挑战。一般的,对于标清格式的数字电视,若采用4 :2 :0 采样格式, 每个像素数据用8 b i t 表示,那么在不采取任何压缩措施的情况下,其视频数据码 率将达n 7 2 0 x 5 7 6 1 5 x 2 5 x 8 = 1 1 8 7 m b p s ,对于高清电视,这一数据更加庞大, 达到1 g b p s 。因此在这些视频应用中,适合多媒体通信的协议标准和软件算法, 尤其是对视频信号的压缩处理算法是绝不可缺的。 由i t u t 和i s o i e c 共同制定的新一代视频编码标准h 2 6 4 a v c 被普遍认为 是最有影响力的国际标准。h 2 6 4 a v c 具有优异的压缩性能,在同等的图像质量 条件下,h 2 6 4 a v c 相对于m p e g - 2 平均节约码率6 3 ,相对于m p e g - 4 a s p ( a d v a n c e ds i m p l ep r o f i l e ) 也可节省3 5 以上的码率。不仅如此,h 2 6 4 a v c 具有良好的网络亲和性,能适应于不同网络中的视频传输。它引入了面向坤包 的编码机制,有利于网络中的分组传输,支持网络中视频的流媒体传输;具有较 强的抗误码特性,可适应丢包率高、干扰严重的无线信道中的视频传输;支持不 同网络资源下的分级编码传输,从而获得平稳的图像质型”。这些特性对互联网 传输多媒体信息、移动网传输宽带信息等都具有重要的意义。因此,h 2 6 4 a v c 视频编码标准所具有的更高的压缩效率以及网络友好性的设计将促进整个技术 的融合过程并在其中体现薪标准的优势。 上海大学硕士学位论文 基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 1 2 课题的目的及意义 h 2 6 4 a v c 优异的压缩性能是以其编码复杂度为代价的。为了获得更高的编 码效率,同时提供更好的视频质量,h 2 6 4 a v c 在以往的混合编码机制中,增加 了诸如帧内预测技术,树状结构的运动补偿技术,自适应环内滤波器等新特性, 大大增加了编码器的复杂度【2 1 。另一方面,编码复杂度还来自于海量的视频数据, 随着分辨率的提高,编码复杂度成倍地上升。 随着各类视频业务的蓬勃发展,用户逐渐不再满足于q c i f ( 1 7 6 x1 4 4 ) ,c 1 f ( 3 5 2 x 2 8 8 ) 等低分辨率的画面。对更高质量,更大尺寸的视频传输的需求,一 方面要求将码率仍然保持在一个较低水平上以满足带宽的限制,另一方面,随着 图像尺寸的增加,对编码的实时性也提出了更高要求,对现有硬件提出更大挑战。 基于p c 平台h 2 6 4 a v c 编码系统,往往不能提供理想的编码速度,难于满足实时 性的要求,因此需要建立一个快速、稳定的多媒体信号处理平台。随着d s p 技术, 大规模集成电路技术和工艺的迅猛发展,为实时高效的视频信号处理,尤其是高 性能的h 2 6 4 a v c 实时编码器的实现提供可能。 本文以实现h 2 6 4 a v c m a i n p r o f i l e 类d 1 格式( 7 2 0 5 7 6 ) 实时编码器为目标, 从h 2 6 4 a v c 编码技术应用的实时性需求出发,研究h 2 6 4 a v c 的运算复杂性及 算法特点,设计合理的编码器架构,并对h 2 6 4 a v c 算法做出必要的简化以降低 编码时间,同时针对编码器中最复杂耗时的模块一运动估计模块,设计面向 f p g a 的硬件加速引擎,作为编码器的视频协处理器,以进一步改善编码器的实 时性能。 1 3 国内外研究现状 尽管h 2 6 4 a v c 的编码复杂度是m p e g - 2 的8 到1 0 倍,解码复杂度是 m p e g 2 的3 倍,然而半导体的计算能力从m e p g - 2 问世以来已提高约1 0 0 倍, 这为h 2 6 4 a v c 实时编解码器的实现奠定基础。 目前大量的面向s d t v h d t v 应用的编解码芯片已经在研,部分公司如 p h i l i p s ,t i 的s d 解码芯片己投入量产。国际上在h 2 6 4 a v c 编码方案的研究中 2 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 占据主导地位的几家大型公司,机构包括美国的h a r m o n i c 公司,s c i e n t i f i c a t l a n t a 公司,m o d u l u sv i d e o 公司,挪威的t a n d b e r g 公司,以及法国的 n e x t r e a m t h o m s o n 公司和e n v i v i o 公司等,在该领域的产品研究中取得了积极成 果【3 1 。 上述公司先后从2 0 0 4 年第四季度开始推出它们的h 2 6 4 a v cs d 编码器,如: h a r m o n i c 的m v1 0 0 ,能够支持h 2 6 4 a v cm pl e v e l 3 。然而图像质量需要 后处理软件做进一步优化 t a n d b e r g 的e n 5 9 3 0 ,采用了基于d s p 和硬件模块混合结构的智能压缩 引擎 n e x t r e a m 的s d 编码器的压缩引擎也是基于d s p 和硬件模块的混合结构 e n v i v i o 的4 c a s t i 瑚系列,硬件平台设计基于d s p 阵列 m o d u l u sv i d e o 的m e l 0 0 0 ,硬件平台设计基于i i l t e lx 8 6 和f p g a 的混 合结构 同时,一些口供应商不仅积极开发h 2 6 4 a v c 编码器中的诸如d e b l o c k i n g l o o pf i l t e r ,c a b a c c a v l c 、m o t i o ne s t i m a t i o n 等算法模块的i pg o r e ,甚至已 提出单一芯片的解决方案h 1 【5 】【6 1 ,这些产品以可综合的i pg o r e 的形式出现,能方 便地添加到任何的s o c 方案中去。例如: o c e a nl o g i c 公司近期公布了一款支持h d t v 最高分辨率的b a s e l i n e h 2 6 4 a v c 实时编码器。但是它在帧间预测时只支持 1 6 的搜索区域, 因此不可能提供理想的编码效率。 4 i 2 i 公司发布了针对i p 视频会议应用的b a s e l i n e 的h 2 6 4 a v c 实时编码 器。最高分辨率达2 0 4 8 x 2 0 4 8 的。 a t e m e 公司也于近期公布了全球领先的f u l ls dm a i np r o f i l el e v e l3 e n g o d e r 的单一芯片解决方案a t e 4 0 0 0 ,主要针对广播和演播室应用领 域。 由于h 2 6 4 a v c 标准仍处于一个发展和完善的阶段,从而要求编码器的实 现平台应具有相当的灵活性和可伸缩性,不仅能快速适应标准的发展,还能面向 不同的视频应用。因此,目前的实时编码器解决方案大都是能可编程的,即硬件 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 平台设计往往基于可编程d s p 和f p g a ,通过软硬件结合的方式实现系统设计。 h 2 6 4 a v c 的最终草案已经确定,其提高的压缩效率和增加的运算复杂度也 是有目共睹7 】【8 1 ,要想将它应用到实时系统中,一方面需要硬件的发展,另一方 面还需不断优化算法和具体实现方式。 1 4 本文的内容安排 本文主要研究h 2 6 4 a v cm p d 1 实时编码器的系统架构和实时实现技术, 在此基础上重点研究基于f p g a 的1 4 像素精度可变块尺寸运动估计模块的硬件 算法设计和实现。全文共分为五章,具体内容安排如下: 第一章绪论。主要阐述了课题研究背景,本项研究的目的和意义以及国内外 研究的现状。 第二章分析了h 2 6 4 a v c 视频压缩编码标准的核心技术,编码流程以及编码 器的结构,为实时编码器的设计提供理论依据。 第三章在对h 2 6 4 a v c 编码器中主要模块的算法复杂度进行评估、分析后, 确定了系统架构及软硬件划分,并进一步提出了针对这一架构的系统的通信控制 及数据协议,同时对系统的带宽需求和时序需求做了分析。 第四章介绍了h 2 6 4 a v c 中1 4 像素精度可变块尺寸运动估计模块的硬件算 法设计与实现过程。详细阐述了整像素运动估计模块和亚像素运动估计模块各自 的处理器阵列结构设计,存储器结构设计,并对流水线进行了分析。最后给出了 硬件模块的仿真与验证环境,以及性能测试结果。 第五章结束语和展望。 4 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 第二章h 2 6 4 a v c 视频编码标准概述 自1 9 9 7 年以来,玎u - t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 一直致力于研究一种新的视频编码标准h 2 6 l ,并在1 9 9 9 年8 月推出该标准的 第一版测试模型。为了响应i s o i e cm p e g ( m o v i n gp i c t u r e se x p e r t sg r o u p ) 对先进视频编码技术的需求,从2 0 0 1 年开始,i s o 和i t u 开始组建了联合视频 工作组( j o i n tv i d e ot e a m ) ,简称t ,在h 2 6 l 的基础上制定新的视频编码标准, 即h 2 6 4 a v c 标准。同时它将作为m p e g 4 系列标准中的一个新的部分 ( m p e g - 4 ,p a r tl o ) 。 2 1 h 2 6 4 a v c 编码标准的特点 作为新一代的视频编码标准, l 2 6 4 a v c 吸取了现有视频编码标准的优点, 同时又提出了许多新的思想和算法,大幅度提高了编码效率和图像质量。从核心 技术特征角度上讲,h 2 6 4 a v c 与以往的视频编码标准相比,具有如下新特性: ( 1 ) 更高的压缩效率。与以往的视频编码标准相比,在相似的编码优化级别下, h 2 6 4 a v c 平均节省5 0 的码率【2 1 。( 2 ) 对包括低比特率在内的所有范围的比特 率,能持续提供较高的视频质量和基于不同的约束条件来完成不同应用要求的任 务。其中低延时模式包括实时通信的视频会议等,没有延时限制的应用包括视频 存储和以服务器为基础的视频流式应用等。( 3 ) 强大的容错处理能力。不仅提供 在包传输网中处理包丢失所需的工具,而且提供在易产生误码的无线网中能处理 比特误码的工具。( 4 ) 良好的网络亲和性。h 2 6 4 a v c 在算法概念上分为两层,即 视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e t w o r ka b s t r a c t i o n l a y e r ) ,如图2 - 1 。其中,v c l 包含核心压缩引擎,采用基于块的运动补偿混合 编码和一些新特性,在尽可能独立于网络的情况下进行高效的编码,这些特征包 括:空间域的帧内估计、1 4 像素精度运动向量、树状结构运动补偿、多参考帧 运动补偿、通用b 帧的概念、整数变换和量化、环内去块滤波器和高效的熵编码 等。n a l 从v c l 获得数据,包括头信息、片结构信息和实际净荷信息( 如果采用数 上海大学硕士学位论文基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 据分割技术,净荷数据可能由几部分组成) ,并针对下层网络的特性对数据进行 封装,从而实现所编码的视频流在当前所有协议和复合结构中能够无缝播放并易 于组合n 1 1 9 。 2 2 编码器结构 图2 - 1h 2 6 4 a v c 视频编码器结构 h 2 6 4 a v c 并没有明确规定编解码器如何实现,而仅仅规定了编码视频比特 流的语法和语义,以及语法单元的解码过程。这种松弛的约束给予整个标准最大 限度的灵活性,新的算法和特性可以快速融入到标准中来,也可以针对特定的应 用对编码方法进行优化。保证了各个厂商的编解码器在此框架下能够互通,同时 在实现上具有较大的灵活性,有利于相互竞争。 与以往的视频编码标准( 如h 2 6 1 、h 2 6 3 、m p e g i 、m p e g 2 ) 相比, h 2 6 4 a v c 采用的仍然是基于块的混合编码方法,因此编码框架基本一致,如图 2 2 。为了得到高的编码效率,编码器仍然采用了包括预测编码,变换编码,熵 编码在内的混合编码技术。图像帧被分割成1 6 1 6 大小的若干宏块以降低计算 复杂度,编码的对象就是宏块。利用图像帧在时间和空间上的相关性,对编码宏 块进行帧内预测或帧间预测,将预测宏块与原始宏块差分后,得到一个残差块, 进一步通过变换来改善残差系数的能量集中性能,并将量化后的残差系数进行熵 编码,加入必要的解码信息后,进行传输或存储。同时,为了消除编码端和解码 端的漂移误差,在编码器中必须包含解码步骤,得到与解码端一致的重建图像作 为预测参考。解码步骤就是图2 - 2 中的虚线框内的部分。残差系数经过反量化, 6 上海大学硕士学位论文 基于d s p + f p g a 的 l 2 6 4 a v c 实时编码器的研究与实现 反变换后得到重建系数,与预测宏块相加后,得到重建宏块,再通过去块滤波消 除块效应后存入帧存储器,作为下一个预测帧的参考。 2 3 编码流程 图2 - 2h 2 6 4 a v cv c l 结构框图 h 2 “a v c 的编码流程主要包含以下几个部分:编码器初始化、宏块分析模 块、宏块编码模块、码流生成模块。按功能划分又可以细化为:d c t 模块、s a d 模块、精度内插模块、帧内预测模块、运动估计和运动补偿模块,去块滤波模块, 熵编码模块等等( 模块划分参考了开放源代码x 2 6 4 【2 4 1 ) 。一个典型的基于p c 平 台的编码器的流程如图2 3 所示,包括以下步骤: 编码器初始化 设置编码核的相关参数,初始化帧队列以及宏块缓存等。 宏决分析模决 对当前编码的宏块进行分析,包括帧内分析和帧间分析两类。其中帧间分析 利用相邻图像帧之间时间上的相关性,采用块匹配技术对当前编码宏块进行预 测,根据r d o 准则,确定最佳的块分割模式、最佳参考帧以及最佳运动矢量, 其中需要调用运动估计与运动补偿模块。帧内分析则是利用当前图像帧内部空间 7 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 上的相关性,对当前编码宏块进行预测,根据r d o 准则,确定最佳的色度亮度 块的帧内预测模式。宏块分析模块是各种算法实现的载体,分析的好坏直接影响 到编码后的图像质量和码率。 二d 图2 3 编码器流程图 宏头编码模块 根据宏块分析给出的各种预测信息,求出当前宏块的残差信息,并通过调用 d c t 模块,量化及z i g z a g 扫描模块等对宏块的残差信息进行变换编码。 玛流生成模块 将由预测模块和编码模块所得至0 的各种信息( 宏块类型、预测模式、运动矢 墓 上海大学硕士学位论文基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 量、残差数据等) 进行熵编码,形成最终的码流。 去块滤波模块 完成对重建图像的去块滤波,消除方块效应,提高重建图像质量。 2 4 主要编码技术 h 2 6 4 a v c 标准尽管沿袭了基于块的混合编码方法,但是由于在各功能块的 细节上采用了新的技术,使其编码效率显著提高。这些关键技术如下所述。 2 4 1 帧间预测 h 2 6 4 a v c 中的帧间预测技术与以往标准的区别在于块尺寸范围更广泛 1 0 j i l l 】,亚像素运动矢量的使用f 1 2 】、及多参考帧的运用【i 3 】等。 宏块由以前标准的1 6 1 6 和8 8 模式,扩展为7 种模式:1 6 x 1 6 、1 6 x 8 、 8 1 6 、8 x 8 、8 x 4 、4 x 8 、4 4 。如图2 4 所示。这种更小和更多形状的块分 割模式大大提高了各宏块以及子块之间的关联性,可以改善运动补偿精度,更好 的实现运动隔离,提高图像质量和编码效率。 m l y p b 8 x 8 硒审蛘 曲白曲菡 曲自曲豳 图2 - 4 宏块的分割以及亚分割模式 每个子块都进行独立的运动补偿,各子块的运动矢量( m o t i o nv e c t o rm v ) 及相应的分割方式都需编码压缩到比特流中。对大的分割尺寸而言,m v 和分割 类型只需要少量的比特,但由于预测精度的降低导致运动补偿残差在多细节区域 中需占用大量比特。小尺寸则相反。整体而言,大的分割尺寸适合于简单、整体 的运动,而小尺寸则适合复杂细小的运动( 例如一个宏块中包含多个物体不同方 向的运动) 。 9 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 多参考帧技术的使用( 平均可采用5 个参考帧) 可以使编码宏块在三维空间 找到最佳参考帧,避免运动预测在时间轴上陷入局部最小,在对周期性运动或背 景切换进行预测时,可以提供更好的预测效果。 运动矢量精度由l 2 像素提高到1 4 像素,色度块提高到1 8 像素。亚像素 位置的亮度和色度像素并不存在于参考图像中,因此需要利用邻近已编码点通过 口口哑口口 口日避口口 图2 5 亮度像素1 2 内插 图中大写字母为整像素点。首先利用整像素点,通过6 抽头f i r 内插获得 1 2 像素点( 如b 、h 、m 、s ) ,以1 2 像素点b 为例, b = r o u n d ( ( e - 5 f + 2 0 g + 2 0 h - 5 i + j ) 3 2 ) ( 2 1 ) 其中r o u n d ( ) 为取整函数。e 、f 、g 、h 、i 、j 为整像素值。 用类似的方法获得c c 、d d 、h 、m 、f f 后,再次滤波就可以获得l 2 像素 点jo 虽然6 抽头f i r 计算过程较为复杂,但是它能够较准确地恢复出亚精度像 素点,明显改善运动补偿的性能。 当获得l 2 像素点后,l 4 像素点便可以通过邻近整像素点或l 2 像素点用线 性内插获得,如图2 - 6 所示。 以1 4 像素点a 为例, 口= r o u n d ( ( g + b ) 2 ) ( 2 2 ) 同样,l 4 精度像素点d 、e 则分别由像素点g 、h 和b 、h 内插获得。 1 0 上海大学硕士学位论文 基于d s p + f p g a 的h2 6 4 a v c 实时编码器的研究与实现 圉困 崮圆 i ;i 崮回 生 虱 h h 小翔 # # 。 ¥ f p # l h 型 n 图2 - 6 亮度像素1 4 内插 由于色度块的采样精度是亮度块的一半,故需要1 8 精度的像素点内插。其 内插过程如图2 7 所示。 “g 融圈 a “? 0l l 止 i a 8 - d , 8 _气 匿嚣 图2 7 色度像素l ,8 内插 以图中l 8 像素点a 为例, 口= r o u n d ( i ( 8 一或) ( 8 一嘭) 彳+ 以( 8 一d ,) 口+ ( 8 一d , ) d y c + d 。d y d 6 4 1 ( 2 3 ) 2 4 2 帧内预测 在h 2 6 4 a v c 中,考虑到在单个图象帧内,规则物体和规则背景的表面物理 特性之间的相关性,即存在空间冗余度,因此在帧内编码时引入帧内预测编码, 利用当前块左边和上方已编码块的邻近像素点作外推来对当前块进行预测,消除 空间冗余,迸一步提高编码效率。 帧内亮度块可以采用4 x 4 或1 6 x1 6 的预测模式。4 x 4 亮度块的有9 种可 翥 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 选预测模式,适合于纹理复杂的,带有大量细节的图像编码,如图2 - 8 所示。图 中4 4 亮度块的上方和左方像素舢m 为己编码并重构的像素,用作编码中的 预测参考像素,9 种预测模式利用参考像素。沿着不同方向进行内插获得灰色区 域内的预测像素值。1 6 1 6 亮度块有4 种预测模式,代表了空间上的4 个预测 方向,如图2 - 9 所示,适用于纹理简单的,平坦区域的图像编码。色度块也有4 种预测模式,类似于1 6 1 6 亮度块预测模式1 。 旷 影群萨 紧驴穿 图2 - 84 x 4 亮度块预测模式 。扣w 1 ( h o d z o l l l a n2 t o o l3 蚪删 2 , 4 3 变换和量化 图2 - 91 6 x 1 6 亮度块预测模式 h 2 6 4 a v c 采用整数类d c t 变换,变换过程仅通过加法和移位操作完成, 并且是短字长运算,用整数运算代替浮点运算,提高变换速度,易于硬件实现, 同时解决了反变换的失配问题t 1 5 1 。 由于变换块尺寸从8 8 降至4 x 4 ,虽减轻了振铃效应,但能量集中性变差, 故h 2 6 4 a v c 采用分级变换方案。对色度块和帧内编码的1 6 x 1 6 亮度块,每个4 上海大学硕士学位论文 基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 4 子块经过第1 级整数变换后,抽取其d c 系数组成一个新的4 x 4 亮度块( 或 2 x 2 色度块) ,再对其进行一次哈达码变换,以进一步去除d c 系数的相关性, 使能量更集中,编码效率更高【1 6 1 。 h 2 6 4 a v c 采用分级量化器,量化步长呈非线性指数关系,量化参数q p 每 增加6 ,量化步长加倍,提高了码率控制能力。同时将整数变换后的尺度调整 融和在量化过程中实现,避免了除法和浮点运算,减少了乘法次数,从而有效降 低算法复杂度。 2 4 4 环路去块滤波器 为了降低由高压缩比产生的明显的块失真效应,所有宏块按扫描顺序进行有 条件的滤波。环路去块滤波器应用在反变换后,宏块重构前。根据宏块中每一个 块的位置和量化参数的不同,对每一条块边界设置不同的滤波强度,自适应的调 整滤波效果。滤波强度与块的编码模式、运动矢量和残差数值相关。 h 2 6 4 a v c 的去块滤波器【1 瓤1 铂具有很强的自适应性,可通过几个参数和阈 值以及图像本身的局部特征来控制滤波强度。涉及的所有阈值都与量化参数有 关,因为块效应会随着量化参数变粗糙而更加严重。 图2 1 0 去块滤波器原理图 h 2 6 4 a v c 去块滤波器通过以下三个方面来实现自适应: 1 ) 在片级,全局滤波强度可以随视频序列个体的特性进行调整。 2 ) 在图像块边界级,滤波强度依赖于边界两边图像块的帧内或帧问预测、 运动矢量差异以及两个参与块编码残差是否存在。滤波强度参数可以通过这些变 量来计算,取值为0 到4 ,分别对应于对块边沿由无滤波到强滤波,特别强的滤 上海大学硕士学位论文 基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 波应用与非常平坦的图像宏块以去除“马赛克效应”。 3 ) 在图像像素级,能够区分图像的真正边沿和基于块的变换量化产生的边 沿是至关重要的。真正的边沿尽可能保留而不予滤波。为了分辨这两种情况,需 要分析边界两边参与滤波的每个像素点。为了更好地解释,设在相邻两个4 x 4 块 内的抽样值为p 3 ,p 2 ,p 1 ,p o lq o ,q 1 ,q 2 ,q 3 ,其中真正的边沿在p o 和q o 之间,如 图2 - 9 所示。只有下述三个条件同时满足,边界上的像素点才要进行滤波。 i p 0 一q 0 i a b 1 一p 0 i 1 3 l q l q o l b ( 2 4 ) 其中阈值a 和6 与量化参数有关,滤波强度与滤波前重建图像的质量也相 关。对于较小的量化值,两个阂值皆为0 ,滤波将被关闭。 所有滤波都不包含乘法或除法,只需要加法和移位,以减轻滤波时处理器的 负担。 2 4 5 熵编码 h 2 6 4 a v c 采用变长编码( e x p g o l o m b 和c a v l c ) 和算术编码( c a b a c ) 。 e x p g o l o m b 编码设计一个统一码表【,映射除变换系数外所有的语法元素,避 免了多个v l c 码表的查询。c a v l c 根据已经传输的语法元素转换到针对不同语 法元素的v l c 码表,而这些码表设计符合对应的条件概率统计【9 1 。在c a b a c 中, 二进制化的码流根据上下文的概率自适应调整算术编码的码元分布。与c a v l c 相比,可提高5 1 5 的编码效掣2 们,尤其对于m a i np r o f i l e 效率会更高。 2 5 本章小结 本章系统的介绍了h 2 6 4 a v c 编码标准框架,编码的主要流程,并对 h 2 6 4 a v c 所采用的不同于以往视频编码标准的主要编码技术作了简要分析和 介绍,为h 2 6 4 a v c 实时编码器的设计提供理论依据。 1 4 上海大学硕士学位论文 基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 第三章h 2 6 4 a v c 实时编码器的系统架构 3 1 概述 视频编码具有算法的多样性,计算的复杂性以及数据的高吞吐量等特征。这 些特征在h 2 6 4 a v c 中得到显著体现。视频编码的多样性和高性能需求带来了 系统架构方面的大量问题。为了实现寿命长,成本合理而又灵活的视频编码器, 对系统设计提出了并行性,可伸缩性和可编程性的要求【z ”。 系统设计的并行性包含两方面的内涵:计算并行性和存储器访问并行性f 2 ”。 计算并行性是为了解决视频压缩算法带来的庞大的计算负荷问题,通常可以 用两种技术来实现,即流水线技术和多处理器技术。流水线技术就是将整个处理 任务细分成多个低延迟的子任务,这些子任务级联起来构成一个处理器链,并行 程度取决与流水线分片数目以及数据流的长度。多处理器技术则是对任务和数据 进行分割,并将他们分配给可以并行执行的若干处理器,并行程度取决于处理器 的数目以及处理器之间的数据依赖性,控制依赖性以及资源依赖性。 存储器访问并行性是为了解决视频压缩算法带来的高数据吞吐量问题。由于 处理器和用于图像存储的存储器之间存在大量的数据通信,为了确保处理器的高 效执行,往往需要在一个周期内访问多个图像数据,因此对存储器带宽提出很高 要求。为了提高存储器访问的并行程度,消除存储器f o 瓶颈,可以通过增加存 储器模块的个数或者设计多端口存储器来实现。 系统设计的可伸缩性和可编程性要求主要是为了满足不同的应用领域以及 快速适应视频编码标准和压缩算法的演进。 目前在高性能的h 2 6 4 a v c 实时编码器的实现上存在多种解决方案,主要包 括d s p 阵列,d s p 结合硬件模块以及g p p ( 通用处理器) 结合硬件模块等等【”。 与g p p 相比,d s p 具有以下几个显著特斛2 2 1 :( 1 ) 支持密集的乘法运算。 d s p 处理器使用专门的硬件来实现单周期乘法,还增加了累加器寄存器来处理 多个乘积的和。( 2 ) 并行的存储器结构。g p p 使用冯诺依曼存储器结构。这种 上海大学硕士学位论文基于d s p + f p g a 的h 2 6 4 a v c 实时编码器的研究与实现 结构中,只有一个存储器空间,通过一组总线( 一个地址总线和一个数据总线) 连接到处理器核。通常,做一次乘法会发生4 次存储器访问,用掉至少四个指 令周期。而大多数d s p 采用了哈佛结构,将存储器空间划分成两个,分别存储 程序和数据。它们有两组总线连接到处理器核,允许同时对它们进行访问。这种 安排将处理器存贮器的带宽加倍,更重要的是同时为处理器核提供数据与指令。 在这种布局下,d s p 得以实现单周期的m a c 指令。( 3 ) 定点计算。大多数d s p 使用定点计算,而不是使用浮点计算。相比浮点机器,定点机器更加便宜,而且 更快。( 4 ) 执行时间可预测。大多数的d s p 应用都是严格的实时应用,所有的 处理必须在指定的时间内完成。这就要求程序员准确地确定每个样本需要多少处 理时间,或者,至少要知道,在最坏的情况下,需要多少时间。如果打算用低成 本的g p p 去完成实时信号处理的任务,执行时间的预测大概不会成为什么问题, 因为低成本g p p 具有相对直接的结构,比较容易预测执行时间。然而,大多数 实时d s p 应用所要求的处理能力是低成本g p p 所不能提供的。这时候,d s p 相 对高性能g p p 的优势在于,即便是使用了高速缓存的d s p ,哪些指令会放进去 也是由程序员( 而不是处理器) 来决定的,因此很容易判断指令是从高速缓存还 是从存储器中读取。因此,由一段给定的代码来预测所要求的执行时间是完全直 截了当的。从而使程序员得以确定芯片的性能限制。( 5 ) 精确到指令周期的仿真 工具。大多数d s p 厂商都提供处理器的仿真工具,以准确地仿真每个指令周期 内处理器的活动。无论对于确保实时操作还是代码的优化,这些都是很有用的工 具。因此,d s p 较之g p p 更适合高速的,对实

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论