（信号与信息处理专业论文）基于avs的变字长解码器的设计及其fpga验证.pdf

山东大学硕士学位论文 摘要 随着多媒体信息技术的发展，数字信息技术和通信技术的迅速提高，对 多媒体视频压缩图像的要求越来越高。a v s 作为我国第一个拥有自主知识 产权的音视频编解码标准应运而生，a v s ( a u d i og i d e oc o d i n gs t a n d a r d ) 是我国具备自主知识产权的第二代信源编码标准，是信息技术先进音视频 编码系列标准的简称。2 0 0 6 年2 月底，a v s 标准被正式批准为数字音视频 国家标准，并于2 0 0 6 年3 月1 日起正式实施。它与现今国际上最先进的视频 编码标准h 2 6 4 相比，在实现同等压缩性能的前提下，其计算复杂度有明显 的降低。因此研究基于a v s 的视频编解码器是对我国自主知识产权视频标准 的一个有力支持。 虽然a v s 视频编码标准复杂度较h 2 6 4 有所降低，但用软件实现解码仍 然很难达到实时解码的效果，这是因为软件解码基本是对码流的顺序解码， 其各个功能模块是顺序工作的；而硬件解码器的最突出的优点就是各个模块 的并行工作，因此硬件解码器能够很好的解决实时解码的难题。本文设计的 变字长解码器就是a v s 硬件解码器的一个重要的功能部件，由于变字长解码 器位于整个解码器的第一级，它的解码速度一定程度上决定了整个解码器的 速度，因此本文结合变字长解码器的这一特点，采用适当加入f i f o 的方法构 成流水结构，同时尽量减少v l d 各子模块的运行节拍，使得整个系统的运行 速度大大提高。本设计已通过了f p g a 验证，结果表明，该设计能够满足a v s 标准清晰度视频实时解码的要求。 本文设计的支持a v s 标准的变字长解码器结构具有以下突出特点：( 1 ) 在功能方面：支持a v s 标准，能够完成a v s 标准的变字长码字的解析；( 2 ) 在结构方面：恰当的使用f i f o ，使整个变字长解码中各个功能模块能够并行 工作；( 3 ) 在存储空间方面：在正确解码的前提下，尽量节省使用f p g a 内存 空间；( 4 ) 在解码速度方面：由于在整个结构中适当加入了f i f o ，使模块与 模块之间能够进行流水操作，提高了整体速度。 本论文深入研究了a v s 视频编解码算法中的熵编解码算法和硬件系统开 山东大学硕士学位论文 发的一般过程。在该研究学习和开发过程中，主要做了以下几项工作： ( 1 ) 对a v s 标准进行分析，并针对a v s 变字长解码器部分的算法进行分 析研究，找出最佳的实现方法。 ( 2 ) 根据a v s 变字长码字的特点进行各部分功能划分，得出整体架构框 图。 ( 3 ) 对整体架构中的各个子模块进行设计，用硬件描述语言v e r i l o g 对 各子模块进行描述，并对各子模块进行了仿真与验证。 ( 4 ) 将变字长解码器所有子模块进行联合调试，仿真与验证，并将验证 结果与a v s 标准c 代码r m 5 2 j 产生的结果相比对，检验变字长解码器的解码 结果的正确性和功能的完整性。 ( 5 ) 将变字长解码器与a v s 解码器的其他模块进行联合调试。 ( 6 ) 将a v s 变字长解码器在f p g a 平台上验证。 ( 7 ) 将a v s 变字长解码器联合其他模块在f p g a 平台上验证。 关键词：a v s 标准；变字长解码器；硬件解码器；f i f o ；f p g a 2 山东大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o n t e c h n o l o g y , m u l t i m e d i a ，d i g i t a l i n f o r m a t i o na n dc o m m u n i c a t i o nt e c h n o l o g y , t h ed e m a n do fm u l t i m e d i av i d e o c o m p r e s s i o nt e c h n o l o g yh a v ei n c r e a s e dr a p i d l y a v s a st h ef i r s ta u d i oa n d v i d e oc o d e cs t a n d a r do fc h i n aw h i c hh a st h ei n d e p e n d e n ti n t e l l e c t u a lp r o p e r t y r i g h t sc o m ei n t ob e i n g a v si st h es e c o n dg e n e r a t i o no fs o u r c ec o d i n gs t a n d a r d s w i t hi n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t so fc h i n a ，a n di st h ea b b r e v i a t i o no f ”t e c h n o l o g i c a l l ya d v a n c e da u d i oa n dv i d e oi n f o r m a t i o nc o d i n g 什s e r i e ss t a n d a r d b yt h ee n do ff e b r u a r y2 0 0 6 ，a v ss t a n d a r dw a so f f i c i a l l ya p p r o v e dt ob et h e d i g i t a la u d i oa n dv i d e on a t i o n a ls t a n d a r d ，a n df o r m a l l yi m p l e m e n t e df r o m m a r c h1 ，2 0 0 6 c o m p a r e dw i t ht h em o s ta d v a n c e dv i d e oc o d i n gs t a n d a r dh 2 6 4 t h ec o m p l e x i t yo fa v sh a sd e c r e a s e da p p a r e n t l yw h i l ea c h i e v i n gt h es a m e c o m p r e s s i o np e r f o r m a n c e t h e r e f o r ed or e s e a r c ho na v sv i d e oc o d e ci sas t r o n g s u p p o r to ft h ec h i n e s ev i d e oc o d i n gs t a n d a r dw h i c hh a st h ei n d e p e n d e n t i n t e l l e c t u a lp r o p e r t yr i g h t s t h ec o m p l e x i t yo fa v sv i d e oc o d i n gs t a n d a r di sl o w e rt h a nh 2 6 4 ，b u t u s i n gt h es o f t w a r ed e c o d e ri ss t i l ld i f f i c u l tt oa c h i e v er e a l t i m ed e c o d i n g t h e r e a s o ni st h a tt h es o f t w a r ed e c o d e r d e c o d e st h eb i t s t r e a ma l m o s tb yo r d e r , a n d i t sf u n c t i o n a lm o d u l e sw o r ki ns u c c e s s i o n ；b u tt h em o s tp r o m i n e n ta d v a n t a g eo f h a r d w a r ed e c o d e ri st h a te a c hm o d u l ew o r k sp a r a l l e l ，s ot h eh a r d w a r ed e c o d e r c a ns o l v et h er e a l t i m e d e c o d i n gp r o b l e m s t h ed e s i g no fv a r i a b l el e n g t h d e c o d e ri nt h i sp a p e ri sa ni m p o r t a n tf u n c t i o nm o d u l eo ft h ea v sh a r d w a r e d e c o d e r t h ev a r i a b l el e n g t hd e c o d e ri sl o c a t e da tt h ef i r s tl e v e lo ft h ed e c o d e r s oi t ss p e e do fd e c o d i n gd e t e r m i n e st h es p e e do ft h ew h o l ed e c o d e r t h e r e f o r e b a s e do nt h i sc h a r a c t e ro f v l d ，m yp a p e ru s i n gf i f oa p p r o p r i a t e l yt om a k et h e s t r u c t u r ep a r a l l e la n dm i n i m i z i n gt h es u b - m o d u l e sr u n n i n gr h y t h m so fv l d ， m a k i n gt h eo p e r a t i n gs p e e do ft h ew h o l es y s t e me n h a n c eg r e a t l y t h ed e s i g nh a s b e e nv e r i f i e do nt h ef p g ap l a t f o r m ，a n dt h er e s u l ts h o w st h a tt h ed e s i g nc a n 3 山东大学硕士学位论文 m e e tt h er e a l t i m ed e c o d i n go ft h ea v ss t a n d a r dd e f i n i t i o nv i d e o t h ed e s i g no fv l dw h i c hs u p p o r tt h ea v ss t a n d a r dh a st h ef e a t u r e sa s f o l l o w s ：( 1 ) a tt h ef u n c t i o n a la s p e c t s ：s u p p o r tt h ea v ss t a n d a r d ，b ea b l et o c o m p l e t et h ea v ss t a n d a r dv a r i a b l el e n g t hd e e o d i n g ；( 2 ) a tt h es t r u c t u r a la s p e c t s ： t h ea p p r o p r i a t eu s i n go ff i f om a k et h ef u n c t i o n a lm o d u l e so fe n t i r ev a r i a b l e l e n g t hd e c o d i n gc a nw o r ki np a r a l l e l ；( 3 ) a tt h es t o r a g es p a c ea s p e c t s ：a tt h e p r e m i s eo fd e c o d i n gc o r r e c t l y , s a v et h eu s i n go ff p g am e m o r ys p a c ea sf a r 勰 p o s s i b l e ；( 4 ) a tt h ed e c o d i n gs p e e da s p e c t s ：b e c a u s eo ft h ea p p r o p r i a t e l ya d d i n g f i f o st ot h ea r c h i t e c t u r e ，t h ef u n c t i o nm o d u l e so fv l dc a l lw o r kp a r a l l e l ， i m p r o v i n gt h ed e c o d i n gs p e e d t h i sp a p e rd o e sad e e pr e s e a r c ho nt h ee n t r o p yc o d e ca l g o r i t h mo fa v s v i d e os t a n d a r da n dt h eh a r d w a r es y s t e md e v e l o p m e n tp r o c e s s i ns t u d ya n d d e v e l o p m e n tp r o c e s s ，t h em a i nj o b sa r ea sf o l l o w s ： ( 1 ) a n a l y z et h ea v ss t a n d a r da n dd or e s e a r c ho nt h ev l d o fa v s ，f i n dt h eb e s t m e t h o d so fi m p l e m e n t a t i o n ( 2 ) m a k ed i v i s i o no ft h ef u n c t i o nm o d u l ea c c o r d i n gt ot h ec h a r a c t e ro ft h e v a r i a b l el e n g t hc o d eo f a v s w o r ko u tt h ee n t i r es t r u c t u r ed i a g r a m ( 3 ) d e s i g nt h es u b - m o d u l ea n dd e s c r i b ei tw i t hv e r i l o gh a r d w a r el a n g u a g e ，a n d t h e nd ot h es i m u l a t i o na n dv e r i f i c a t i o no fe a c hm o d u l e ( 4 ) d ot h eu n i t e dd e b u g g i n gs i m u l a t i o na n dv e r i f i c a t i o no fa l lt h es u b m o d u l e s ， a n dt h e nc o m p a r et h ev a l i d a t i o nr e s u l t sw i t ht h er e s u l t so fr m 5 2 jw h i c hi st h e s t a n d a r dcc o d eo fa v s ，i nt h ee n d ，t e s ti ft h er e s u l t sa r ec o r r e c ta n dt h ef u n c t i o n i si n t e g r i t y ( 5 ) d ot h eu n i t e dd e b u g g i n go ft h ev l da n do t h e rm o d u l e so fa v s d e c o d e r ( 6 ) v e r i f yt h ev l d o fa v so nt h ef p g a p l a t f o r m ( 7 ) c o m b i n et h ev l da n do t h e rm o d u l e so fa v sa n dv e r i f yt h e mo nt h ef p g a p l a t f o r m k e y w o rd s ：a v ss t a n d a r d ；v l d ；h a r d w a r ed e c o d e r ；f i f o ；f p g a 4 山东大学硕士学位论文 符号说明 a v c ( a d v a n c e dv i d e oc o d i n g ) ：高级视频编码 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) ：数字音视频编解码技术标准 c a b c a ( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) ：基于上下文的 自适应二进制算术编码 c a v l c ( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) ：基于上下文的自 适应变长编码 c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) ：通用中间格式 d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ：离散余弦变换 f p g a ( f i e l dp r o g r a m m a b l eg a t e a r r a y ) ：现场可编程门阵列 h d t v ( h i g hd e f i n i t i o nt v ) ：高清晰度电视 i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a r l o nu n i o n ) ：国际电信联盟 i s o ( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) ：国际标准化组织 j v t ( j o i n tv i d e ot e a m ) ：联合视频专家组 j t a g ( j o i n tt e s ta c t i o ng r o u p ) ：联合测试行动小组 m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) ：运动图像专家组 n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) ：网络提取层 q c i f ( q u a r t e r e dc o m m o ni n t e r m e d i a t ef o r m a t ) ：四分之一通用中间格式 r t l ( r e g i s t e rt r a n s f e rl e v e l ) ：寄存器传输级 s o c ( s y s t e mo nc h i p ) 片上系统 v l s i ( v e r yl a r g es c a l ei n t e g r a t e dc i r c u i t s ) ：超大规模集成电路 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：壅盛整 e t 期：翌2 ：! ：五 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：杰亟遂，导师签名：丕兰里叠日期：壁2 ：! ：受 山东大学硕士学位论文 第一章绪论 近年来，移动通信在人们的生活中占据着越来越重要的位置。第三代移 动通信( 3 g ) 技术的逐步成熟使得无线网络能够提供更大的带宽，这使得 在无线网络上进行视频交互、电视直播和网络游戏等应用变的可能。同时， 以微处理器为代表的大规模集成电路技术的进步以及嵌入式技术的发展，推 动了移动终端如智能手机、p d a 等产品的革新。但是由于视频信息的海量 特性，使得我们在传送( 或存储) 视频信息以前，常常需要对所传输( 或存 储) 的数字视频信息进行压缩处理，因此视频压缩编码技术应运而生。 视频压缩编码的好处在于：首先，它使得在不能支持原始非压缩视频传 输和存储的环境下能够使用数字视频；其次，视频压缩使得人们能够更有效 地使用传输和存储资源，如果存在一个高效率的信道，则传输高分辨率的压 缩视频或者多个压缩视频要比传输单独一个低分辨率的未压缩的视频更具 吸引力。 a v s 视频编码标准是我国拥有自主知识产权的视频编码标准，它的编码 效率与世界最先进的视频编码标准h 2 6 4 a v c 相当，但编解码复杂度较之 大大降低。虽然复杂度有所降低，但如何保证视频传输系统的实时性仍然是 一个关键性问题。现有的解码器一般采用的是以下几种方式： ( 1 ) 软件方式 采用软件方式实现视频编解码，主要是指用通用处理器，如个人计算机 来实现视频的编解码运算。这种方式最明显的好处是成本低；其次是灵活， 改变标准、系统升级时只需要改动程序即可，包容性很强。但是复杂的视频 编解码运算占用资源多，不利于实时处理。 ( 2 ) 基于高速d s p 的实现方式 在通用d s p 上实现视频编解码是应用最多的一种方法。d s p 内部有硬 件乘法器、累加器，可以使用多级流水结构，并有专门设计的适合于数字信 号处理的指令系统。随着d s p 向高速、低功耗、多媒体化、多处理器的方 向发展，使得采用d s p 实现视频编解码更加方便。市场上现有用于开发视 6 山东大学硕士学位论文 频编解码系统的主流d s p 芯片主要有：t i 公司的d m 6 4 x 芯片和o m a p 平 台、p h i l i p s 公司的p n x l 5 0 0 系列、e q u a t o r 公司的b s p 1 5 芯片和a d i 公司 的b l a c k f i n 处理器等。 ( 3 ) 专用编解码芯片 采用专用芯片的视频处理系统的优点是速度快。一旦专用芯片设计成 功，其生产成本相对较低，而且方便集成，功耗低，适合大规模生产。缺点 是无法灵活升级和应用修改，设计周期长，投片成本高。 ( 4 ) 采用高密度的f p g a 实现 随着v l s ii 艺的提高，f p g a 的规模也越来越大，用高密度f p g a 来 进行视频编解码成为视频编解码解决方案的通用平台。它利用硬件特有的并 行特性，能够极大提高编解码速度，同时它不仅设计周期短，耗资少，另一 方面，它还可以作为芯片设计的验证阶段。因此利用f p g a 开发平台已经成 为实现视频解码器一种有效的途径。 本文设计的基于a v s 的变字长解码器就是基于f p g a 的开发平台，采 用的是x i l i n x 公司的v i r t e x 4 系列x c 4 v s x 3 5 型f p g a 开发板。 1 1 相关技术的发展 1 1 1 视频编码技术的发展 i t u t h 2 6 1h 2 6 3h 狲h 2 6 3 + + s t a n d a r d s j o i n t h 2 6 2 i t u t m p e g m 口e g 2 h 2 6 l s t a n d a r d s m p e g m p e g 1m p e g - 4 s t a n d a r d s 1 9 8 41 9 8 61 9 8 8 1 9 9 01 9 9 21 9 9 4 1 9 9 6 1 9 9 82 0 0 02 0 0 2 2 0 0 4 图1 1 视频编码标准的发展过程 7 山东大学硕士学位论文 标准化是产业化的前提。视频编码标准的制定工作，主要是由国际标准 化组织i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 和 国际电信联盟i t u 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 完成的。m p e g 组织致力于为运动图像和音频的压缩、处理和播放开发标准， 制定了m p e g x 系列视频压缩标准；而v c e g 组织开发了一系列与电信网 络和计算机网络上的实时视频通信相关的标准，如视频会议和可视电话等， 以h 2 6 x 命名。图1 1 按照制定标准的时间顺序展示了视频编码标准的发展 过程。下面简要介绍几种典型的国际视频编码标准。 h 2 6 1 ：h 2 6 1 1 】标准发布于1 9 9 0 年，其应用目标是视频电视会议。它 的出现使得通过s i d n 进行视频会议成为可能，是第一个成功用于实际的数 字视频标准。h 2 6 1 这种基于块的运动补偿与离散余弦变换相结合的混合视 频编码框架成后来各种视频编码标准的基础。实际的编码算法类似于m p e g 算法，但不能与后者兼容。h 2 6 1 在实时编码时比m p e g 所占用的c p u 运 算量少得多，此算法是为了优化带宽占用量，引进了在图像质量与运动幅度 之间的平衡折衷机制，也就是说，剧烈运动的图像比缓慢运动的图像质量要 差。因此这种方法是属于恒定码流可变质量编码，而非恒定质量可变码流编 码。 h 2 6 3 ，h 2 6 3 + ，i i 2 6 3 + + ：h 2 6 3e 2 】建议是i t u t 为低于6 4 k b i t s 的窄带 通信信道制定的极低码率视频编码标准。h 2 6 3 最初是针对甚低比特率应用 设计的，但实际上在任意速率范围内，h 2 6 3 都取得了惊人的压缩效果，成 为当时最成功的视频编码标准。h 2 6 3 采用了诸如半像素精度的运动补偿、 非限制的运动矢量、基于语法的算术编码、高级预测模式和p b 帧编码等一 系列新的视频编码技术，从而达到了进一步降低码率和提高编码质量的目 的。h 2 6 3 建议不仅着眼于利用公共开关电话网络( p u b l i cs w i t c h e dt e l e p h o n e n e t w o r k ，p s t n ) 传输，而且兼顾移动通信等无线业务。在h 2 6 3 之后，i t u t 又相继于1 9 9 8 年和2 0 0 0 年制定了h 2 6 3 + 和h 2 6 3 + + ，目的是拓宽应用领域、 提高压缩效率和增强抗误码能力。 m p e g - i ：m p e g 1 【3 】制定于1 9 9 3 年，它是针对1 5 m b p s 以下数据传输 山东大学硕士学位论文 率的数字存储媒体图像及其伴音的压缩编码标准，包括图像编码、声音编码 和系统( 同步和复用) 三个部分。m p e g 1 可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 家 用录像系统质量的图像，是为c d r o m 光盘的视频存储和播放所制定的。 m p e g 1 核心技术仍为混合编码，但是增加了双向帧间预测技术，半像素精 度运动估计以及非线性量化等技术，因此可以实现更高的压缩比。 m p e g 2 ：m p e g 组织于1 9 9 4 年推出了m p e g 2 t 4 1 压缩标准，以实现视 音频服务与应用互操作的可能性。m p e g 2 标准是针对标准数字电视和高清 晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3 兆比特到1 0 0 兆比特，标准的正式规范在1 5 0 i e c l 3 8 1 8 中。m p e g 2 不是 m p e g 1 的简单升级，而且m p e g 2 在系统和传送方面作了更加详细的规定 和进一步的完善。m p e g 2 特别适用于广播级的数字电视的编码和传送，被 认定为s d t v 和h d t v 的编码标准。m p e g 2 的编码图像被分为三类，分别 是i 帧，p 帧和b 帧。i 帧图像采用帧内编码方式，即只利用了单帧图像内 的空间相关性，而没有利用时间相关性。p 帧和b 帧图像采用帧间编码方式， 即同时利用了空间和时间的相关性。p 帧图像只采用前向预测，可以提高压 缩效率和图像质量。b 帧图像中的每一个宏块可以是前向预测，也可以是后 向预测，可以大大提高压缩效率。 m p e g - 4 ：1 9 9 9 年1 月，m p e g 4 ( i s o i e c l 4 4 9 6 ) 第一版正式公布【5 1 ， 1 9 9 9 年1 2 月第二版公布。m p e g 4 标准与m p e g 。1 和m p e g 2 标准最根本 的区别在于m p e g 4 采用基于对象的方法。简单地说，m p e g 4 规定了各种 音频和视觉对象的编码，除了包括自然的音频视觉对象以外，还包括图像、 文字、2 d 、3 d 图形以及合成话音和音乐等。它通过描述场景结构信息，即 各种对象的空间位置和时间关系等，来建立一个多媒体场景，并将它与编码 对象一起传输。由于通过对各个对象独立编码，可以实现较高的压缩效率， 同时可实现基于内容的交互功能，满足了多媒体应用中人机交互的需求。 m p e g 4 编码系统是开放性质的，可随时加入新的有效的算法模块。目前基 于m p e g 4 的应用有：数字电视、实时多媒体监控、视频会议、低比特率下 的移动多媒体通信、p s t n 网上传输的可视电话等。 9 山东大学硕士学位论文 h 2 6 4 a v c ：h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频工作组 ( j v t ) 制定的新一代视频压缩编码标准，在i s o i e c 中作为m p e g 4 的第 十部分，在i t u t 中正式命名为h 2 6 4 标准。h 2 6 4 标准中引入了一些新的 编码技术以提高压缩效率，这些新技术包括：基于方向性空间预测的帧内编 码、可变块尺寸运动估计、多参考帧的运动补偿、4 x 4 整数变换、基于上下 文的二进制算术编码以及环内去块效应滤波器等。这些措施使得h 2 6 4 标准 具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 和m p e g 4 s i m p l ep r o f i l e ( 简单档次) 节约近5 0 左右的码率；并且对网络传输具有更 好的支持和较强的抗误码特性。h 2 6 4 是视频编码技术和图像工程的最新研 究成果，其性能超越了以往所有的视频编码标准，具有光明的应用前景。 1 1 2a v s 视频标准的发展 数字音视频编解码技术标准工作组( 简称a v s 工作组) 由信息产业部 科学技术司于2 0 0 2 年6 月批准成立。a v s 标准包括系统、视频、音频、数 字版权管理等四个主要技术标准和一致性测试等支撑标准，本文根据a v s 标准第二部分一视频进行研究。在2 0 0 2 年的最初几次会议中，视频组专家 同意了以当前国际上最先进的h 2 6 4 a v c 视频标准为起点，自主制定适合 既定应用的中国标准，强调自主知识产权，充分考虑实现复杂度。2 0 0 3 年， a v s 工作组完成视频标准批稿信息技术先进音视频编码的第二部分，代 表了当前视频编解码领域的最新水平。2 0 0 4 年1 1 月，国家广播电视产品质 量监督检验中心对a v s 视频标准进行了测试，测试结果表明a v s 视频编 解码方案在图像格式为7 2 0 x 5 7 6 i 5 0 h z 、压缩码率为2 5 m b p s 时，可察觉经 编解码处理的被评价对象与原始图像质量的差别，但差别很小，总平均分差 6 4 ( 百分制) ；在图像格式为1 9 2 0 1 0 8 0 p 2 5 h z 、压缩码率为6 m b p s 时，、 被评价对象与原始图像的差别很小，总平均分差为3 6 ( 百分制) 。2 0 0 4 年 1 2 月，全国信息技术标准化技术委员会组织召开了a v s 标准审定会，审定 委员会一致认为a v s 标准在技术、专利、标准三个方面创新突出。2 0 0 5 年 3 月，信息产业部正式对全社会公示a v s 标准视频部分，同年5 月，a v s 1 0 山东大学硕士学位论文 标准视频部分正式进入国家标准发布程序。其中最重要的视频编码标准已经 由国家标准化委员会颁布，国家标准号为g b t 2 0 0 9 0 2 2 0 0 6 ，并于2 0 0 6 年 3 月1 日正式实旌。 a v s t 7 】【8 】标准采用了一系列技术来达到高效率的视频编码，包括帧内预 测、帧间预测、变换、量化和熵编码等。帧间预测使用基于块的运动矢量来 消除图像间的冗余；帧内预测使用空间预测模式来消除图像内的冗余。再通 过对预测残差进行变换和量化，消除图像内的视觉冗余。最后，运动矢量、 预测模式、量化参数和变换系数用熵编码进行压缩。帧内预测不需要参考其 它图像，采用帧内预测编码的图像可作为编码后序列的随机访问点。帧间预 测需要参考先前已解码的图像，解码的顺序可与编码器中源图像捕获处理的 顺序或从解码器输出用于显示的顺序不同。帧间预测中运动矢量的精度能达 到1 4 像素，运动矢量采用预测编码。视频解码过程的基本处理单元是宏块。 一个宏块包括一个1 6 1 6 的亮度样值块和对应的色度样值块。宏块可进一 步划分为8 8 、4 4 或其他的样本块来进行预测。变换的单元是样本块， 变换系数进行标量量化。 虽然a v s 标准是以h 2 6 4 a v c 框架为起点【9 】，并且采取了与a v c 相同 的技术路线，但具体格式不与a v c 兼容。相对于h 2 6 4 和m p e g 4 标准， a v s 至少在四个方面具有比较优势：首先是专利费用低；其次是在压缩技术 上，a v s 的数据压缩率高于国际标准，有利于在网宽有限的环境下推广i p t v 等节目；第三，a v s 的兼容性比国际标准好。a v s 能够兼容m p e g 2 标准， 有利于市场推广。最后，从产业链上考虑，由于a v s 着眼于开源，部分技 术己经打破壁垒，不限制其他企业在此基础上开发，因此更利于产业链的形 成和完善。借助这四大优势，a v s 已成为全球范围内最有可能成为事实标准 的第二代音视频编码标准。国内有相关研究单位已对a v s 视频解码展开研 究，但目前均未有成型产品，a v s 视频标准是我国制定的、有自主知识产权 的压缩视频标准，a v s 标准的确立和推广，对发展和推动我国的信息化进程、 提高我国在国际上的科技竞争力，有着特殊的意义。这也为我国迎头赶上世 界信息化科技先进水平，创造了一个良好的契机。 山东大学硕士学位论文 1 1 3e d a 技术的发展 到了8 0 年代后期，c a d 技术日益成熟，从最初单纯的作为辅助设计手 段，逐渐发展到可以提供各种自动综合工具，如逻辑综合、版图综合、测试 综合等，从而真正跨入电子设计自动化( e d a ：e l e c t r o n i cd e s i g na u t o m a t i o n ) 时代。完成从c a d 到e d a 的突破主要体现在以下两个方面： 1 采用硬件描述语言作为设计输入 由于h d l ( h a r d w a r ed e s c r i p t i o nl a n g u a g e ) 语言能够实现从抽象的行 为与功能描述到内部线路构造描述，从而可以在电子设计的各个阶段，各个 层次进行模拟验证，保证设计过程的正确性。其中最有代表性的是美国国防 部开发的v h d l ，v e r i l o g 公司开发的v e r i l o gh d l 语言。v e r i l o g 语言为数 字系统设计人员提供了一种在广泛的抽象层次上描述数字系统方式，同时， 在这些层次上为计算机辅助设计工具在工程设计中进行辅助设计提供了方 法。 2 e d a 设计主要流程 主要包括h d l 描述、功能仿真、逻辑综合、时序仿真、布局布线、参 数提取、后仿真以及制板流片等主要步骤。其中h d l 描述，功能仿真，逻 辑综合以及时序仿真通常称为前端设计。布局布线、参数提取及后仿真和制 板流片等称为后端设计部分。 1 1 4f p g a 技术的发展 在f p g a 1 0 】发明的几十年里，已由当初的1 2 0 0 门发展成为今天的百万 门级。通过不断更新优化产品架构和生产工艺，实现了更多的逻辑单元、更 高的性能、更低的单位成本和功耗。同时，市场对于设计灵活性和上市时间 的迫切需求，迸一步促进了f p g a 应用领域的不断扩大。越来越多的系统厂 商选用f p g a 来实现最终产品，或为大型a s i c 和s o c 设计做初期的原型 设计。在f p g a 上可以用与a s i c 相当的速度验证和调试产品的功能，可节 约数月的时间并且避免了重新掩膜的风险。广泛的应用和优越的性能必将促 进f p g a 的发展。在实时视频处理的应用中，f p g a 利用并行处理技术实现 1 2 山东大学硕士学位论文 视频处理算法，大大提高了视频处理的效率，因此用f p g a 来实现实时视频 处理不失为一个好的选择。作为f p g a 著名的生产厂商x i l i n x 】在1 9 9 8 年 推出了v i r t e x 结构，v i r t e x 结构是x c 4 0 0 0 系列现场可编程门阵列( f p g a ) 结构和5 层金属、0 2 5i im 工艺技术结合的产物。新的v i r t e x 系列f p g a 的 密度可达5 万门至1 0 0 万门，时钟频率高达1 0 0 m h z 以上。v i r t e x 系列的 电源电压是2 5 v ，与t t l 兼容，它支持多种总线，如g t l + 、s s t l 、l 、厂t t l 及p c i 。 1 2 课题研究的意义和目标 ( 1 ) 意义 一、理论学术意义 学习掌握基于视频流的编解码的规律知识、数字信号处理的硬件实现、 软硬件协同设计及验证。通过在基于f p g a 的s o c 平台上进行视频解码硬 件实现，学习掌握完整的f p g a 设计方法及流程。 二、实际应用意义 在完成a v s 视频解码系统实现和软件仿真验证后，最终在f p g a 平台 上进行验证，可以为a s i c 提供前期的r t l 级代码，是a v s 解码器芯片的 设计过程中不可或缺的重要一步。a v s 解码器芯片可在相关a v s 应用领域 提供解码服务。同时，a v s 是我国第一个拥有自主知识产权的音视频编解码 标准，研究设计基于a v s 的解码芯片，对于我国自主知识产权的a v s 标准 是一个有力的支持。完成a v s 变字长解码器设计及其验证之后，该变字长 解码器可以作为一个单独的模块作为其他a v s 解码器的硬件加速器，同时， 由于视频编解码标准的相似性，对其稍加改动后就可以应用在其他视频标准 中。因此，具有十分重要的应用价值。 ( 2 ) 目标 本课题将要完成a v s 解码器中变字长解码部件v l d ( v e r i a b l el e n g t h d e c o d e r ) 的设计，用硬件描述语言v e r i l o g 实现并与a v s 解码器的其他部件 联合调试，最终在x i l i n x 公司的v i r t e x 4 系列x c 4 v s x 3 5 型【1 0 】【1 1 f p g a 开发 山东大学硕士学位论文 板上进行验证。本课题研究所要达到的目的是在f p g a 开发板上能够对a v s 标准清晰度视频达到实时解码的效果。 本文结构安排： 本文基本以作者在实际项目中的工作为主要内容，这些内容集中在完成 基于a v s 协议的变字长解码器的实现研究以及f p g a 的验证。变字长解码 器( v l d ) 广泛应用于各种视频压缩标准中。全文共分六章。 第一章绪论，介绍了视频以及a v s 标准的相关知识，对本研究课题的 研究目标和研究意义进行说明； 第二章a v s 视频编解码技术及其编解码器结构，介绍了视频编码的基 本技术及a v s 标准中的主要技术同时介绍了a v s 编解码器的结构及编解码 原理； 第三章变字长解码器设计与实现，根据a v s 标准中变字长码字的特点， 进行变字长解码器整体架构的设计，以及各功能模块的设计； 第四章主要语法元素求解及联合存储机制，详细介绍变字长解码器解 码的主要语法元素求解