（通信与信息系统专业论文）基于h264视频解码器中关键技术的研究与实现.pdf

摘要 摘要 随着3 g 应用的不断开发推广，用户会越来越需要更加个性化、优质化的多媒 体数据服务，面对如此多样的应用，传统手机显得力不从心，而智能手机成为发 展的一大趋势。智能手机的一个重要功能是对多媒体技术的支持，用户通过手机 能对文字、图像、声音等信息进行处理。h 2 6 4 视频编码标准以高效的编码性能， 可满足多种应用需求，在视频监控、数字广播电视、视频电话等方面的应用越来 越广泛。目前，许多智能手机都已经支持h 2 6 4 技术。 但是，由于国外的视频压缩技术发展较早，市面上出现的大部分i p ( i n t e l l e c t u a l p r o p e r t y ) 都属于国外公司，并且价格昂贵。这一因素也制约了国内智能手机的发 展。为了解决拥有自主知识产权少的难题，本文以h 2 6 4 解码芯片作为研究方向， 致力于研发出成本较低，具有价格优势的解码芯片，为h 2 6 4 在国内的发展做出 自己的贡献。 本文主要研究了h 2 6 4 解码流程，分别对熵解码、反量化反变换、帧间预测、 帧内预测、去块效应滤波5 个关键算法进行了介绍。然后，分析了关键算法的资 源占有度，对算法的实现方案进行比较和分析，最后得出了具体的实现流程。 接着介绍了比较目前主流的系统实现方案。由于h 2 6 4 解码过程中计算量大 和实时性的特点，选定使用a s i c 作为h 2 6 4 实时解码芯片的实现方案。在此基础 上，提出了本文中解码芯片的系统架构， 结构，最终采用了混合型的流水线架构。 然后，结合对去块滤波算法的分析， 分析了当前h 2 6 4 系统的主流的流水线 提出了h 2 6 4 去块滤波模块的硬件设计 思路：采用了混合型的滤波顺序，像素点的存储方式以及滤波过程中的存储器管 理原则，五级流水线技术。通过以上的改进，提高了运算速度和数据吞吐率的同 时减少占用过多的片内资源，降低了系统的功耗。根据以上思路，给出整个去块 滤波系统的内部结构、功能模块划分，完成了去块滤波模块进行了r t l 级设计。 最后，针对去块滤波模块采用业界最高效的v m m 验证方法学中的思想来进 行模块级验证。提出采取直接测试和随机测试相结合的验证方案，保证了去块滤 波模块在各种场景下功能的正确性。并且，完成了基于去块滤波模块的v m m 验 证平台的搭建。仿真结果表明本文的去块滤波模块的功能正确，并且宏块处理速 度达到了2 0 9 个时钟周期m b ，满足了1 2 8 0 x 7 2 0 的实时解码的要求。 关键词：h 2 6 4 ，集成电路设计，去块滤波器，v e r i l o g 重庆邮电大学学位论文 a b s t r a e t a b s t r a c t 、矾t l lt h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fa p p l i c a t i o no f3 g , c o n s u m e r sn e e d m u l t i m e d i a - d a t u ms e r v i c ew i t hm o r ei n d i v i d u a t a t i o na n dh i g hq u a l i t y , a n du s et h e n e t w o r ko f3 gt ow o r k , t r a d eo nl i n e ，p l a yg a m e s ，s e ef i l m ss e a m l e s s l ya ta l lt i m e sa n d p l a c e s t h es t r e n g t ho ft r a d i t i o n a lm o b i l ep h o n ec a i l tm a t c hs om a n ya p p l i c a t i o n s s o ， s m a r tp h o n eb e c o m e sam a j o rt r e n d a ni m p o r t a n tf u n c t i o no fs m a r tp h o n e si st h e s u p p o r to fm u l t i m e d i at e c h n o l o g y , u s e rc a np r o c e s st e x t ，i m a g e s ，s o u n da n do t h e r i n f o r m a t i o nw i t hs m a r tp h o n e s h 2 6 4v i d e oc o d i n gs t a n d a r dw i t he f f i c i e n t c o d i n g p e r f o r m a n c em e e tt h en e e d so fav a r i e t yo fa p p l i c a t i o ni nv i d e os u r v e i l l a n c e ，d i g i t a l b r o a d c a s tt v , v i d e ot e l e p h o n ea n do t h e ra p p l i c a t i o n sm o r ew i d e l yc u r r e n t l y , m a n y s m a r tp h o n e sa l r e a d y s u p p o r th 2 6 4t e c h n o l o g y h o w e v e r , d u et ot h ed e v e l o p m e n to fv i d e oc o m p r e s s i o nt e c h n o l o g yf r o ma b r o a d e a r l i e r , m o s to ft h ei p s ( i n t e l l e c t u a lp r o p e r t y ) i nm a r k e tb e l o n gt of o r e i g nc o m p a n i e s ， a n dt h e ya r ee x p e n s i v e t h i sf a c t o ra l s oc o n s t r a i n e dt h ed o m e s t i cd e v e l o p m e n to ft h e m o b i l ep h o n e i no r d e rt os o l v et h ep r o b l e mo fs m a l ln u m b e ro fi n d e p e n d e n ti n t e l l e c t u a l p r o p e r t yr i g h t s ，h 2 6 4d e c o d e rc h i pi ss e ta st h er e s e a r c hd i r e c t i o n ，a n dt h eg o a li st o d e v e l o pl o w e rc o s t d e c o d e rc h i p 诵t 1 1t h e p r i c ea d v a n t a g e ，a n dm a k ei t s o w n c o n t r i b u t i o nf o rt h ed e v e l o p m e n to fh 2 6 4i nt h ec o u n t r y h 2 6 4v i d e od e c o d e ri sr e s e a r c h e di nt h i st h e s i s ，a n dt h ec o u r s eo fv l d ，i n v e r s e t r a n s f o r m ，i n v e r s eq u a n t i z a t i o n , i n t r ap r e d i c t i o n , m o t i o nc o m p e n s a t i o n ，d e b l o c k i n g f i l t e ri si n t r o d u c e d t h e n , w i n lt h ea n a l y s i so ft h ep o s s e s s i o no fr e s o u r e c e sa n dt h e c o m p a r i s o no ft h ei m p l e m e n t a t i o n so fa l g o r i t h m s ，t h ec o n c r e t er e a l i z a t i o no ft h ep r o c e s s i sa c q u i r e d t h em a i ni m p l e m e n t a t i o ns c h e m e so fv i d e os y s t e ma r ea n a l y z e d d u tt ot h e c h a r a c t e r i s t i co fb i ga m o u n to fc a l c u l a t i o na n dr e a l - t i m e ，a s i ci sc h o s ea st h es c h e m e o fh 2 6 4d e c o d e r o nt h i sb a s i s ，t h es y s t e ma r c h i t e c t u r eo fd e c o d e rc h i pi sp r o p o s e d ， a n dh y b r i dp i p e l i n ea r c h i t e c t u r ei sa d o p t e dw i t ha n a l y s i so ft h ec u r r e n tm a i nh 2 6 4 p i p e l i n e b a s e do nt h o r o u g hr e s e a r c ho ft h e d e b l o c k i n gf i l t e r , a no p t i m i z e dh 2 6 4 d e b l o c k i n gf i l t e ri sp r o p o s e d ：i m p r o v e dh y b r i de d g ef i l t e ro r d e r , m e m o r yf o rp i x e l f i l t e r i n ga n dt h ep r i n c i p l eo fm e m o r ya c c e s s ，p i p e l i n i n g t h r o u g ht h eo p t i m i z a t i o no f i i i 重庆邮电大学学位论文 s t r u c t u r e sa n da l g o r i t h m s ，t h es p e e da n dd a t at h r o u g h p u ta l ei m p r o v e d ，a n dt h e c o n s u m a b l eo ft h ec h i p ss c a r c er e s o u r c e sa n dp o w e ro ft h ed e b l o c k i n gf i l t e ra l ea l s o r e d u c e d b a s e do na b o v ei d e a s t h ei n t e m a ls t r u c t u r ea n dt h el e v e lo fd i v i s i o no ft h e w h o l es y s t e ma l eg i v e n ，a n dt h ei m p l e m e n t a t i o no ft h ed e b l o c k i n gf i l t e ri sr e a l i z e dw i t h l 盯ll e v e l f i n a l l y , m o d u l e l e v e lv e r i f i c a t i o nt od e b l o c k i n gf i l t e ri sc a r r i e do u tw i t he f f i c i e n t v e r i f i c a t i o nm e t h o d o l o g ym a n u a lf o rs y s t e m v e r i l o gi nt h i si n d u s t r y a f t e rab r i e f i n t r o d u c t i o no fv m m ，t e s ts c h e m ei nw h i c ht e s tc o u r s ec o m b i n e sd i r e c tt e s tw i t h r a n d o mt e s ti sp r o p o s e d i te n s u r et h ev a l i d i t yo ff u n c f i o ni na l lk i n d so fs c e n a r i o s t h e n t h ea r c h i t e c t u r eo ft e s tb e n c hb a s e do nd e b l o c k i n gf i l t e ri sp r e s e n t e d s i m u l a t i o nr e s u l t s s h o wt h a tt h ef u n c t i o ni sc o r r e c ta n dt h er a t eo fd e b l o c k i n gf i l t e rr e a c h e s2 0 9c y c l e sp e r m b ，s oi th a sa c h i e v e dt h er e q u e s to fr e a l - t i m ed e c o d i n go f12 8 0 x 7 2 0 k e yw o r d ：h 2 6 4 ，i n t e g r a t e dc i r c u i td e s i g n ，d e b l o c k i n gf i l t e r , v e r i l o g i v 图目录 图目录 图2 1h 2 6 4 的分层结构7 图2 2h 2 6 4 的码流结构7 图2 3n a l 单元序列结构8 图2 4h 2 6 4 编码原理图8 图2 5h 2 6 4 解码原理图9 图2 6h 2 6 4 档次1o 图3 1l e v e l 解码过程1 4 图3 2c a v l c 熵解码过程1 5 图3 3c a v l c 解码实现流程1 5 图3 4c a v l c 的二叉树以及对应h a s h e m i a n 解码码表1 7 图3 5 基于码字前缀的分组和l u t 表1 8 图3 6h 2 6 舭w c 的分层变换。2 1 图3 7 反量化反变换算法实现的分析2 4 图3 8 反量化算法实现过程2 4 图3 92 dd c t i d c t 的行列分解2 5 图3 1 0i d c t 蝶形算法2 6 图3 1 1 完整的2 x 2 色度块反h a d a m a n d 变换2 7 图3 12 可配置的i d c t 变换2 7 图3 1 3v e r t i c a l 和h o r i z o n t a l 模式的算法2 8 图3 1 4d c 模式的算法。2 8 图3 1 5d o w n - l e f t 和d o w n - r i g h t 模式的算法2 9 图3 1 6v e r t i c a l r i g h t 和h o r i z o n t a l d o w n 模式的算法2 9 图3 1 7v e r t i a l 1 e f t 和h o r i z o n t a l u p 模式的算法2 9 图3 18 四种i n t r a1 6 x 1 6 预测模式3 0 图3 1 9 帧内预测实现的分析一3 1 图3 2 0i n t r a 一4 x 4 预测模式解码3 2 图3 2 1 滑动窗口工作机制3 2 图3 2 2 双级种子处理流程3 3 图3 2 3 基于种子的平面模式预测一3 4 图3 2 4 处理单元3 5 i x 重庆邮电大学学位论文 图3 2 5 宏块分割模式3 6 图3 2 6 树状结构的运动向量3 7 图3 2 7 邻近块的划分。3 7 图3 2 8 带方向的分段预测3 8 图3 2 9 亮度块的子样点一3 9 图3 3 0 色度块的子像素点预测3 9 图3 3 l 帧间预测实现分析4 0 图3 3 2 运动向量解码过程4 0 图3 3 3 不同位置的4 x 4 块参考像素点4 2 图3 3 4 变化形状块技术基于8 x 8 块应用4 3 图3 3 5 色度分割模式的参考像素“ 图3 3 6h 和b 的内插流水线一4 5 图3 3 7d n 和a c 的内插流水线4 5 图3 3 8e g p r 的内插流水线4 6 图3 3 9i 的内插流水线4 6 图3 4 0f i k q 的内插流水线4 6 图3 4 1 亮度和色度内插的实现4 7 图3 4 2p 块和q 块的位置情况4 8 图3 4 34 x 4 块边界滤波示意图4 8 图3 4 4 标准滤波顺序5 0 图3 4 5 帧内预测模式简化边界强度计算的情况5 2 图3 4 6 优化后的快速算法流程5 3 图3 4 7 不同算法中减少去块滤波耗时的效果5 4 图3 4 8 左图为原始算法处理的图像，右图为本算法处理的图像5 5 图4 1h 2 6 4 a v c 解码过程的时间分布5 7 图4 2 视频解码系统5 9 图4 3 视频解码系统架构6 0 图4 4 基于宏块的四级流水线解码结构6 1 图4 5 宏块级流水线与4 x 4 块级流水线的比较6 2 图4 6 混合型流水线结构6 3 图5 1 基于h 2 6 4 解码芯片的t o p d o w n 实现6 5 图5 2 模块级实现流程一6 6 图5 3 常见的滤波顺序一6 7 图5 4 本文使用的混合型滤波顺序6 8 x 图目录 图5 5 不同的存储方式6 9 图5 6 不同存储结构之间的转置7 0 图5 7 存储器分配情况7 0 图5 8 五级流水线结构图7 l 图5 9 转置寄存器的使用情况一7 3 图5 1 0 去块滤波器的硬件架构7 3 图5 1 1 去块滤波器的顶层电路7 4 图5 12 验证环境之上的测试7 5 图5 1 3 分层次的验证环境的结构一7 6 图5 1 4 模块级验证策略一7 6 图5 1 5 验证平台构架7 7 图5 16 去块滤波前后的亮度块数据7 8 图5 17 滤波处理后的数据7 9 图5 18 去块滤波模块仿真波形7 9 x i 重庆邮电大学学位论文 x i i 第一章绪论 1 1 课题的研究背景 第一章绪论弟一早珀下匕 随着多媒体技术的飞速发展，多媒体技术在通信、计算机等领域的使用越来 越广泛。人们已经不再仅仅满足于传统的语音通信模式，人们渴望通过可视电话、 手机和会议电视等形式，进行远距离的语音和图像的实时通信【l 】。所以，目前通信 业务已从电话、数据、传真发展到可提供视觉信息的可视电话、会议电视以及数 字音频为主要内容的各种类型的多媒体通信。多媒体通信已经成为了通信业务发 展的必然趋势，视频通信必将成为未来通信系统中的基本服务之一。 众所周知，视频信息具有直观性、确切性、高效性、广泛性等一系列的优点 2 1 。 但是，视频信息的缺点也同样的明显，即是其信息量太大，传输网络所需要的带 宽相对较宽。如此大的信息量要在现有的网络中进行实时的传输基本上是不可能 的，对数字图像和数字视频实行数据的压缩势在必行。视频压缩是通过寻求一种 有效的信号编码方式对视频图像进行信源编码，是在保证达到所要求的视频质量 的前提之下，设法降低所必需的数码率而采取的压缩编码技术。而这两个问题本 身就是相互矛盾的，因此，视频压缩的主要目的就是在保证了一个可以接受的视 频质量的前提下，同时获得比较大的压缩比。而对于大部分的视频压缩系统来说， 它们获得较大视频压缩比都是付出了一定代价，即视频图像质量的下降。也即是 用图像质量的减少来提高视频的压缩比。 1 2 数字压缩技术的发展 严格意义上的数据压缩起源于人们对概率的认识。当我们对文字信息进行编 码时，如果为出现概率较高的字母赋予较短的编码，为出现概率较低的字母赋予 较长的编码，总的编码长度就能缩短不少。著名的m o r s e 电码就已经成功地实践 了这一准则，这可以有效缩短最终的电码长度。 信息论之父c e s h a n n o n 在1 9 4 8 年发表的论文【3 】中提出了信息率一失真 函数概念，1 9 5 9 年又进一步确立了率失真理论，从而奠定了信源编码的理论基础。 第一个实用的编码方法是由d a h u f f i n a n 在1 9 5 2 年的论文t 4 q b 提出的。直 到今天，许多数据结构教材在讨论二叉树时仍要提及这种被后人称为h 1 l 伍n a n 编码的方法。同一年，贝尔实验室的奥利弗等人开始研究线性预测编码理论；1 9 5 8 重庆邮电大学学位论文 年g r a h a m 用计算机模拟法开始研究图像的d p c m 编码方法【5 j ；1 9 6 6 年j bo 、n e a l 对比分析了d p c m 和p c m ，对电视信号传输进行了理论分析和计算机模拟，并提 出了用于电视的实验数据，又于1 9 6 9 年进行了线性预测的实验。 2 0 世纪6 0 年代，科学家们开始探索比预测编码效率更高的编码方法。首先讨 论了包括k l 变换、傅里叶变换等正交变换。1 9 6 8 年h ca n d r e w s 等人采用了二 维离散傅里叶变换提出了变换编码。此后，又相继出现了w a l s hh a d a m a r d 变换【6 l 、 s l a n t 变换、k l 变换、离散余弦变换【1 7 】等。 1 9 7 6 年美国贝尔系统的r ec r o c h j i e r e 等人引入了语音的子带编码，1 9 8 5 年 s do 、n e a l 将子带编码推广到图像编码中。1 9 8 6 年，m e y e r 在理论上证明了一维 小波函数的存在【8 l ，创造性的构造出具有一定衰减特性的小波函数。1 9 8 7 年m a l l a t 提出了多尺度分析的思想以及多分辨率分析的概念，统一了之前各种具体小波的 构造方法，提出了相应的快速小波算法m a l l a t 算法【9 j ，并且有效地应用于图像 分解和重构。1 9 8 9 年，小波变化开始用于多分辨率图像描述。 与小波变化同时提出的还有使用分数维理论进行数据压缩的方法。1 9 8 8 年， m e b a m s l e y 发表了分形压缩方法。1 9 9 2 年a j a c q u i n 实现了分块迭代函数系统 ( p i f s ) ，完善了分形编码压缩方法。 1 9 8 8 年是图像压缩编码的发展史中极为重要的一年。几十年研究的成果集中 表现在h 2 6 1 t i o l 和j p e g t l l 】两个建议的原理框架，奠定了后来相继提出的 m p e g 1 t 1 2 l 、h 2 6 3 t 1 3 】等标准的基础。 1 3 视频编码标准的发展 目前，最主要的视频压缩编解码技术有两个系列的标准：一是国际标准化组 织( i s o ) 推出的m p e g 系列音视频压缩编码国际标准，包括m p e g 1 、m p e g 2 和m p e g - 4 ；另一个是国际电信联盟( i t u ) 的h 2 6 x 系列标准，包括h 2 6 1 、h 2 6 2 、 h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 和h 2 6 4 。整个音视频压缩编码国际标准的发展过程如表 1 1 所示【1 4 】。 表1 1 i t u 和i s o 制定的多媒体压缩编码标准 标准名称发布时间主要用途 h 2 6 11 9 9 0 视频会议、可视电话 m 口e g 11 9 9 3 c d r o m 视盘、消费视频 旷e g 2 ( h 2 6 2 ) 1 9 9 5 标准清晰度和高清晰度电视、d v d 、视频j “播 h 2 6 3 1 9 9 6 可视电话、移动可视电话、网络视频 h 2 6 3 +1 9 9 8 可视电话、移动可视电话、网络视频 m p e g - 4 2 0 0 0 i n t e m e t 、交互视频 2 第一章绪论 h 2 6 3 + +2 0 0 2 可视电话、移动可视电话、网络视频 h 2 6 42 0 0 3 网络视频、无线移动视频 1 ) m p e g 系列标准介绍 运动图像专家组( m o v i n gp i c t u r e e x p e r t sg r o u p ，m p e g ) ，在1 9 9 3 年正式发布 了m p e g 1 压缩标准，主要目的是针对当时出现的新型存储媒体介质c d r o m 的 播放和视频数据的存储而进行设计的。由于m p e g 一1 标准在制定过程中就考虑到 未来的应用需求，并在技术的标准化过程中的良好表现，使得v c d 得到了迅猛的 发展。 m p e g 2 的主要目的是使该标准支持4 ：2 ：0 格式的多种分辨率的视频图像编 码，能够达到演播室视频图像质量；同时针对广播电视所具有的隔行视频图像， 并向下兼容m p e g 1 编码标准。 1 9 9 9 年正式发布的m p e g - 4 编码标准的重点在于访问多媒体信息内容，并可 以根据人们不同的要求对解码器进行实时的配置，以此来达到使用者对数字化的 音视频资源进行交换和处理的目的。跟m p e g 1 、m p e g 2 标准相比，m p e g - 4 标 准则更加注重多媒体系统的交互性和灵活性。 2 ) h 2 6 x 系列标准介绍 h 2 6 1 是第一个广泛用于视频会议的标准，它由i t u t 开发，用于面向综合业 务数字网( i s d n ) 在很低的传输速率下( 6 4 k b s - - - ，2 m b s ) 的会议电视和可视电话 应用系统，支持i s d n 电路交换网络上的视频会议和可视电话。其标准输入图像格 式可以是q c i f 、c i f 。 为了改善h 2 6 1 的压缩性能，i t u t 的工作组开发了h 2 6 3 。它提供比h 2 6 1 更好的压缩效率，支持低于3 0 k b p s 的基本视频质量，可在电路交换和包交换网络 上运用。h 2 6 3 的基本模型被采用作为m p e g - 4 视频标准的简单档次的核心框架。 i t u t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为h 2 6 3 + 标准，以及h 2 6 3 + + ，作为h 2 6 3 的升级版本，主要添加了一系列的可选模式以提 供更高的压缩效率和有损网络上传输的可靠性。 3 ) h 2 6 4 标准介绍 h 2 6 4 a v c 是i t u - t 的视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p ) 及 i s o i e c 的活动图像专家组大力发展研究的。h 2 删c 成为能够提供更高压缩率 和友好网络接口的新一代压缩视频标准。2 0 0 3 年3 月由两个专家组组成的联合视 频专家组( j v a 3 公布了这一压缩视频标准的最终草案，此标准被称为i ，r u t 的h 2 6 4 协议或i s o i e c 的m p e g - 4 的高级视频编码部分。h 2 6 4 的颁布是视频压缩编码 学科发展中的一件大事，它的优异的压缩性能也将在数字电视广播、视频实时通 信、网络视频流媒体传递以及多媒体短信等各个方面发挥重要作用。同以往的视 3 重庆邮电大学学位论文 频编码标准相比，压缩率显著提高。在小于1 m 带宽的条件下，h 2 6 4 标准可以 达到d v d 的成像质量，适用于不同的网络视频传输，比如无线网、卫星网、以及 a d s l 连接。 1 4 课题研究的意义 h 2 6 4 作为新一代的视频压缩编码标准，其性能比以前的国际视频标准有很大 的提升。标准中采用了4 x 4 块的整数变换、多模式高精度运动补偿、多参考帧预 测、环路滤波、统一变长编码和基于内容的自适应算术编码等先进的编码技术， 因此也比其它的标准获得了更高的压缩比。h 2 6 4 高效的压缩性能使得其在数字视 频处理和存储领域得到越来越广泛的应用。同时，h 2 6 4 在移动终端上的应用也越 来越多。目前，大部分智能手机都已经支持h 2 6 4 技术。 由于国外视频压缩技术起步较早，目前市面上流行的h 2 6 4 编解码芯片的知 识产权都属于国外公司的，并且价格昂贵。在智能手机成为未来的一大趋势的今 天，仅仅靠购买国外公司昂贵的h 2 6 4i p 的方式不足以满足国内巨大的市场。这 一点也限制了国内智能手机的发展。 为了解决在h 2 6 4 编解码芯片上拥有的自主知识产权少的难题，本文以h 2 6 4 解码芯片作为研究方向，致力于研发出成本较低，具有价格优势的解码芯片，为 h 2 6 4 在国内的发展做出自己的贡献。所以将h 2 6 4 解码器作为研究生阶段的课题 进行研究是十分有实际意义的事情。通过对该课题的研究让我了解到了许多与视 频压缩相关的知识，同时系统地学习了a s i c ( a p p l i c a t i o n ss p e c i f i ci n t e g r a t e d c i r c u i t ) 设计方法和流程，并且为h 2 6 4 编解码器的i p 化工作做出了自己的贡献。 1 5 本文的主要内容 本文主要研究了h 2 6 4 a v c 解码的整个流程，其中包括熵解码、反量化、反 变化、帧间预测、帧内预测、去块效应滤波器等几个关键步骤，对关键技术的算 法、实现方案进行了分析和比较。在对算法实现有了一定的理解之后，提出了h 2 6 4 解码芯片的系统结构以及系统的流水线结构。并且以去块滤波模块为例，进行了 解码芯片的模块级实现与验证。 第一章为绪论，主要介绍了课题的基本背景和数字压缩技术的发展历程，以 及视频编解码标准的发展史。最后，总结了研究该课题的意义。 第二章主要对h 2 6 4 a v c 标准进行介绍，分别说明了h 2 6 4 中编解码的系统 框架，并且对编解码中五个关键技术作了介绍。 第三章分析了c a v l c 熵解码、反量化反变换、帧内预测、帧间预测和去块滤 4 第一章绪论 波的算法复杂度，比较了算法的实现方案，选择了性能较好的实现方案。在去块 滤波方面，对边界强度的流程进行了优化。通过实验证明在损失有限的p s n r 情 况下大大减少了运算量。 第四章分析了当前主流的系统设计方法，并选择了a s i c 作为系统实现方案。 然后，得出本文提出的h 2 6 4 解码器的系统框架。同时，对h 2 6 4 编解码器的流 水线结构进行了分析和比较，最终采用了混合型的流水线结构。 第五章分析了解码芯片由上自下的实现流程，论述了模块级实现在整个系统 中的重要程度。然后，以去块滤波器为例进行了模块级的实现和验证。在去块滤 波器的设计中考虑几个重要环节，提出了相应的硬件架构。并且根据该硬件架构， 进行了r t l 级实现。在此基础上，采用v m m 验证方法学对去块滤波模块进行了 r t l 级的验证，并且去块滤波器在功能层面上的正确性。 第六章总结了本文的主要工作以及主要的创新点，同时指出了课题进一步的 研究方向。 5 重庆邮电大学学位论文 6 第二章h 2 6 4 视频编解码标准 第二章h 2 6 4 视频编解码标准 2 1h 2 6 4 标准的分层结构 为了适应不同网络的视频传输，h 2 6 4 a v c 中引入了分层结构，通过将编码 和传输的特性进行分离，其中包括了网络提取层( n a l ) 和视频编码层( v c l ) 。 视频编码层主要的任务是对视频序列进行编码压缩，而网络提取层则主要根据不 同的网络传输要求对压缩后的数据进行不同形式的打包，并发送出去【1 5 】。h 2 6 4 的系统分层结构如图2 1 所示。 图2 1h 2 6 4 的分层结构 视频编码层是h 2 6 4 的核心部分，主要采用基于块的运动补偿与变换编码结 合的混合编码模式，同时在编解码的各个环境中引入了很多新的技术。其目的就 是将视频序列编码压缩之后输出，或者对网络中传输的比特流进行解码。编码输 出的是v c l 数据，其从上到下分为片层、宏块层和块层。每一层都包括头信息和 对应的数据内容。图2 2 表示了h 2 6 4 码流的结构图。 n a l 层 片层 宏块层 块层 图2 2h 2 6 4 的码流结构 7 重庆邮电大学学位论文 在v c l 数据传输和存储之前，还需要对其进行相应的处理，将其映射成为 n a l 单元，以便v c l 数据按照统一的格式进行处理。n a l 层的基本处理单元是 n a l 单元( n a lu n i t ) ，一个n a l 单元包含一个字节的头信息和多个字节的原始 字节序列负荷( r b s p ) 。图2 3 展示n a l 单元序列结构。头信息中含有传输层或 存储层媒体的信息，所以n a l 单元的格式适合基于包传输网络( r t p u d p i p 网 络系统) 或者是基于比特流传输系统( m p e g 2 系统) 。 o i i i j j 匹三匝亟亟丑至丑互囫一 图2 3n a l 单元序列结构 为了提高h 2 6 4 的n a l 在不同特性的网络上定制v c l 数据格式的能力，在 v c l 和n a l 之间定义的基于分组的接口、打包和信令也属于n a l 的一部分。这 样，提高编码效率和网络友好性的任务分别由v c l 和n a l 来完成【1 6 j 。 2 2h 2 6 4 编解码原理 和过去的视频压缩标准的定义一样，h 2 6 4 a v c 标准只定义编码码流的语法 和语义，以及解码码流的流程，而不会定义编码的详细过程。 2 2 1h 2 6 4 编码原理 h 2 6 4 编码原理【1 5 】如图2 4 所示。可见编码器包含两个方向的码流分支，从左 到右的前向码流分支为编码过程( 蓝色部分) 。从右到左的反向码流分支为重建过 程( 红色部分) 。 1 ) 前向编码分支 图2 4 h 2 6 4 编码原理图 8 第二章h 2 6 4 视频编解码标准 f 。表示当前输入的视频帧，编码器中的基本处理单元是宏块( 1 6 x 1 6 像素矩 阵) 。根据模式的不同，每个宏块以帧内或帧间模式进行编码，生成一个预测宏块 p 。在帧内编码模式下，p 由当前帧中已经完成编解码和重构，但未进行去块滤波 的宏块通过某种方式得到。在帧间编码模式下，p 由以一个或多个参考帧作为参考， 通过运动补偿的方式得到。 预测宏块p 和当前宏块相减得到残差宏块d n ，然后对残差宏块d n 进行块变换、 量化后得到一组系数x 。x 进行重排序和熵编码便完成了一个宏块的编码过程。 经过熵编码的码流加上宏块解码所需的一些信息，如预测模式、量化步长、运动 矢量信息等，这就组成了压缩后的码流，然后再通过网络提取层n a l 进行传输或 存储。 2 ) 后向重建分支 在后向重建分支中，按照一定的顺序对量化后的变换系数x 进行，以得到对 后续宏块进行解码所需的重建帧。变换系数x 经过反量化和反变换后，得到残差 块d n 。由于量化过程是有损的，因此，d n 是d n 的近似值，不完全等同于原始残 差块d n 。预测块p 加上差值分块d n 得到重构的宏块i l f n 、，再使用去块滤波器来减 少方块效应。等收到一帧的所有宏块之后就形成重建帧f 。 2 2 2h 2 6 4 解码原理 解码是编码的逆过程，码流方向是从右到左的。其解码原理框图f 1 5 1 如图2 5 图2 5h 2 6 4 解码原理图 解码器接收压缩后的比特流n a l 单元，然后经过熵解码和重排序，得到量化 后变换系数x ，再经过反量化、逆变换生成d n 。这一过程和编码器重建码流生成 d n 的过程一致。使用码流中解出的头信息，解码器可以得到预测宏块p 。这和编 码器形成的原始预测宏块p 相同。p 与d n 相加得到u f n 。最后对重建图像岷进 行去块滤波后可得到解码图像f n 。 编码器的重建码流的目的是为了保证编解码器使用相同的预测宏块p 。也就是 9 重庆邮电大学学位论文 编解码器使用的参考帧相同。否则，使用不同的预测值会在编解码器间产生错误 或者偏差。 2 3 档次和级 h 2 6 4 标准规定了三种档测r 7 1 ，每种档次支持一组特定的编码功能，并支持一 类特定的应用。 1 ) 基本档次( b a s e l i n ep r o f i l e ) ：利用i 片和p 片支持帧内和帧问编码，支持 利用基于上下文的自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、 会议电视、无线通信等实时视频通信等。 2 ) 主要档次( m a i np r o f i l e ) ：支持隔行视频，采用b 片的帧间编码和采用加 权预测的帧内编码：支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用 于数字广播电视与数字视频存储。 3 ) 扩展档次( e x t e n d e dp r o f i l e ) ：支持码流之间有效的切换( s p 和s i 片) ， 改进误码性能( 数据分割) ，但不支持隔行视频和c a b a c 。主要应用于流媒体中。 图2 6 为h 2 6 4 各个档次具有的不同功能，可见扩展档次包括了基本档次的 所有功能，而不能包括主要档次的。每一档次设置不同参数( 如取样速率、图像 尺寸、编码比特率等) ，得到编解码器性能不同的。 i ， ， i i 、 一 图2 6 h 2 6 4 档次 1 0 第二章h 2 6 4 视频编解码标准 2 4h 2 6 4 编解码的关键技