（信号与信息处理专业论文）mpeg2到avs转码器中运动搜索与整数变换量化的fpga实现.pdf

山东大学硕士学位论文 摘要 近年来，随着数字通信技术的快速发展，对多媒体视频图像信息的处理要求 也越来越高。视频图像信息数据量大，对通信设备和信息存储设备要求很高。为 了处理视频图像，m p e g 2 、m p e g - 4 、h 2 6 4 等视频编解码标准相继颁布，我国 也在2 0 0 6 年出台了具有自主知识产权的a v s 标准。 m p e g 2 标准作为第一代视频压缩标准，在数字广播电视领域得到广泛应用， 有丰富的节目资源。h 2 6 4 标准和a v s 标准都是第二代视频编解码标准，编码效 率为m p e g 2 的2 到3 倍。虽然a v s 标准起源于h 2 6 4 标准，但是a v s 标准采用 了许多新技术，有效避开了h 2 6 4 的专利问题。同h 2 6 4 相比，a v s 标准在实现 同等视频压缩性能的情况下，实现复杂度明显降低。在我国的大力的推动下，a v s 标准的应用前景广阔。 目前a v s 标准由于颁布时间短，存在节目资源少的问题，若能将广泛存在的 m p e g 2 节目源转换为a v s 节目源，将对a v s 标准的推广起到促进作用。如果采 用软件实现视频标准的编解码器或者转码器，在实时性上难以保证，f p g a 内部模 块并行工作，可以很好的解决实时性问题，同时f p g a 在大规模生产上具有成本 较低的优点。 本文对m p e g 2 标准和a v s 标准进行深入研究，对比两种标准的差异，提出 一种转码策略，在传统的像素域级联转码器的基础上，采用了一种改进的快速像 素域级联转码结构实现转码，同时对部分模块进行了硬件设计实现。本设计采用 v e r i l o g 编程语言进行设计，m o d e l s i m 进行仿真，i s e 开发环境进行综合，整个转 码系统和本文设计的子模块都在x i l i n x 的v i r t e x 5 系列芯片上进行了验证。实验 表明，该设计支持格式为1 9 2 0 x 1 0 8 8 ，3 0 f p s 的高清视频实时转码。 在本课题的研究与实现过程中，所做的具体工作有以下几个方面： ( 1 ) 对m p e g 2 标准和a v s 标准进行深入研究，介绍两种标准采用的关键技术， 并对比两种标准的差异。 ( 2 ) 根据m p e g 2 和a v s 标准的差异，对转码器的结构进行整体设计，同时设 山东大学硕士学位论文 计了整个转码器实现过程中m p e g 2 信息复用的方案。 ( 3 ) 在转码端复用m p e g 2 的宏块信息，对宏块进行运动搜索，设计并实现了 运动搜索和运动矢量预测两个模块。 ( 4 ) 在a v s 编码端，对a v s 整数变换、量化、反量化、整数反变换及扫描等模 块进行整体设计，以宏块为单位，进行流水处理，并对各个子模块进行了仿真验证。 2 关键词：m p e g 2 ，a v s ，转码器，运动搜索，整数变换 山东大学硕士学位论文 a b s t r a c t r e c e n ty e a r s ，埘mt h ed e v e l o p m e n to fd i g i t a lc o m m u n i c a t i o nt e c h n o l o g y ，t h e r e q u i r e m e n t so fp r o c e s s i n gm u l t i m e d i av i d e oi m a g ei n f o r m a t i o nb e c o m eh i g h e r t h e v i d e oi m a g eh a sl a r g ei n f o r m a t i o nd a t a , n e e d sh i g hd e m a n d so fc o m m u n i c a t i o n s e q u i p m e n ta n di n f o r m a t i o ns t o r a g ed e v i c e s m a n yv i d e oc o m p r e s s i o ns t a n d a r d s a r e i s s u e dt oc o m p r e s sv i d e oi m a g e ，s u c ha sm p e g - 2 、m p e g - 4 、h 2 6 4a n ds oo n o u rc o u n t r y a l s oi s s u e da v ss t a n d a r dw i t hi n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t s m p e g - 2i st h ef i r s tg e n e r a t i o nv i d e oc o m p r e s ss t a n d a r da n di sr i c hi np r o g r a m r e s o u r c e s n o w , m p e g - 2i sw i d e l yu s e di nt h ef i e l do fd i g i t a lb r o a d c a s tt e l e v i s i o n h 2 6 4a n da v sa l lb e l o n gt ot h es e c o n dg e n e r a t i o nv i d e oc o m p r e s ss t a n d a r d t h e t r a n s c o d i n ge f f i c i e n c yi sa b o u t2t o3t i m e sf o rm p e g - 2 a l t h o u g ht h ea v s s t a n d a r d o r i g i n a t e di nt h eh 2 6 4s t a n d a r d ，b u tt h ea v su s e sm a n yn e wt e c h n o l o g i e sw h i c h e f f e c t i v e l ya v o i dt h ep a t e n t so fh 2 6 4 c o m p a r e d 、) r i t l lt h eh 2 6 4 ，t h ea v ss i g n i f i c a n t l y r e d u c e si m p l e m e n t a t i o nc o m p l e x i t yw h e na c h i e v et h es r i t i ep e r f o r m a n c ei nv i d e o c o m p r e s s i o n t h ea v sh a sb r i g h tf u t u r ed r i v e nh a r d l yb yo u rc o u n t r y i nt e r m so f j u s tb ei s s u e df o rs h o r tt i m e ，a v si sp o o ri np r o g r a mr e s o u r c e s i ft h e m p e g - 2p r o g r a mc a nb et r a n s c o d e dt ot h ea v sp r o g r a m ，t h ep r o m o t i o no fa v s s t a n d a r dw i l lb ea d v a n c e d i t sh a r dt og u a r a n t e er e a l - t i m ev i d e oc o d i n go rt r a n s c o d i n g i f w ea d o p tj u s ts o f t w a r et or e a l i z e t h ef p g ac a l ls o l v et h ep r o b l e m 、析t l ls u bm o d u l e s p a r a l l e lp r o c e s s i n gt e c h n o l o g yw h i c hh a st h ea d v a n t a g e so fl o wc o s ti nl a r g e s c a l e p r o d u c t i o n i nt h i sp a p e r ，m p e g 一2s t a n d a r da n da v ss t a n d a r da r ec o n t r a s t e d a c c o r d i n gt ot h e d i f f e r e n c e s ，at r a n s c o d i n gs t r a t e g yi sp r o p o s e d o nb a s i so ft r a d i t i o n a lp i x e lc a s c a d e t r a n s c o d i n gf r a m e w o r k ，a ni m p r o v e df a s tp i x e lc a s c a d et r a n s c o d i n gf r a m e w o r ki su s e d s o m ep a r t so ft h et r a n s c o d e rh a sa c c o m p l i s h e dh a r d w a r ed e s i g na n di m p l e m e n t a t i o n t h i sd i s s e r t a t i o nu s e sv e r i l o gp r o g r a m m i n gl a n g u a g et op r o g r a ma n dm o d e l s i mt o s i m u l a t e i s ei n t e g r a t e de n v i r o n m e n ti sa d o p t e dt os y n t h e s i z ea n di m p l e m e n t t h e e n t i r et r a n s c o d ea n ds u bm o d u l ed e s i g n e di nt h i sp a p e ra l lb ev e r i f i e do nx i l i n x v i r t e x 一5 s e r i e s c h i p t h e v e r i f i c a t i o nr e s u l t ss h o wt h a tt h e d e s i g ns u p p o r t s 3 山东大学硕士学位论文 19 2 0 x10 8 8 ，3 0 f p sr e a l - t i m eh dv i d e ot r a n s c o d i n g i nt h e p r o c e s so fs t u d ya n di m p l e n m e n t , t h es p e c i f i cw o r k sa r ed o n ea sf o l l o w s ： ( 1 ) d od e e ps t u d yi nm p e g - 2a n da v s ，i n t r o d u c et h ek e yt e c h n o l o g i e so ft h et w o s t a n d a r d sa n dc o m p a r et h ed i f f e r e n c e so ft h e m ( 2 ) i nt e r m so ft h ed i f f e r e n c e sb e t w e e nt h et w os t a n d a r d s ，d e t e r m i n et h et r a n s c o d i n g f i a m w o r ka n dt h es t r a t e g yo fu s i n gm p e g 一2i n f o r m a t i o n s ( 3 ) r e u s em a c r o b l o c km o t i o ni n f o r m a t i o mo fm 呼e g 一2t od om a e r o b l o c km o t i o n s e a r c hi nt r a n s c o d i n gp o r t d e s i g na n dr e a l i z em o t i o ns e a r c hm o d u l ea n dm o t i o nv e c t o r p r e d i t i o nm o d u l e ( 4 ) t r a n s f o r m 、q u a n t i z a t i o n 、i n v e r s eq u a n t i z a t i o n 、i n v e r s et r a n s f o r ma n ds c a na r e d e s i g n e di nt h ew h o l ei na v sc o d i n gp o r t n ed e s i g no p e r a t e so nm a c r ob l o c kl e v e l a n dp r o v i d e sh i g hp a r a l l e l i z a t i o n t h es u bm o d u l e sa r ea l ls i m u l a t i o na n dv e r i f i e d k e yw o r d s ：m p e g - 2 、a v s 、t r a n s c o d e r 、m o t i o ns e a r c h 、i n t e g e rt r a n s f o r m 4 山东大学硕士学位论文 符号说明 a v c ( a d v a n c e dv i d e oc o d i n g ) ：高级视频编码 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) ：数字音视频编解码技术标准 d c t ( i n v e r s ed i s c r e t ec o s i n et r a n s f o r m ) ：离散余弦变换 i d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ：离散余弦反变换 f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) ：现场可编程门阵列 a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) ：专用集成电路 s d t v ( s t a n d a r dd e f i n i t i o nt e l e v i s i o n ) ：标准清晰度电视 h d t v ( h i g hd e f i n i t i o n t e l e v i s i o n ) ：高清晰度电视 d s p ( d g i t a ls i g n a lp r o c e s s e r ) ：数字信号处理器 i t u ( i n t e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) ：国际电信联盟 i s o ( i n t e m a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) ：国际标准化组织 t ( j o i n tv i d e ot e a m ) ：联合视频专家组 j t a g ( j o i n tt e s ta c t i o ng r o u p ) ：联合测试行动小组 m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) ：运动图像专家组 p a j l ( p h a s e m e t e m a t i n gl i n e ) ：逐行倒相 g a l ( g e n e r i ca r r a yl o g i c ) ：通用阵列逻辑 l u t ( l o o k u pt a b l e ) ：显示查找表 s o c ( s y s t e mo nc h i p ) 片上系统 r t l ( r e g i s t e rt r a n s f e rl e v e l ) ：寄存器传输级 p l d ( p r o g r a m m a b l el o g i c a ld e v i c e ) ：可编程逻辑器件 v l s i ( v e r yl a r g es c a l ei n t e g r a t e dc i r c u i t s ) ：超大规模集成电路 v c l ( v i d e o c o d i n gl a y e r ) ：视频编码层 m a e ( m e a na b s o l u t ee r r o r ) ：平均绝对误差 m s e ( m e a n s q u a r ee r r o r ) ：均方误差 s a e ( s u mo f a b s o l u t ee r r o r ) ：绝对误差和 5 山东大学硕士学位论文 s a d ( s u mo f a b s o l u t ed i f f e r e n t ) 绝对插值和 m v d ( m o t i o nv e c t o rd i f f e r e n c e ) ：运动矢量差 q p ( q u a n t i z a t i o np a r a m e t e r ) ：量化参数 r d o ( r a t e d i s t o r t i o no p t i m i z a t i o n ) ：率失真优化 c b p ( c o d eb l o c kp a t t e r n ) ：当前块编码模式 l d s p ( l a r g ed i a m o n ds e a r c h ) ：大菱形搜索模板 s d s p ( s m a l ld i a m o n ds e a r c hp a t t e r n ) ：小菱形搜索模板 6 山东大学硕士学位论文 1 1研究背景 第一章绪论 1 1 1 视频编解码标准技术的发展 2 0 世纪9 0 年代以来，随着信息技术和网络通信技术的发展，多媒体技术和多 媒体通信步入快速发展阶段，图像、视频成为通信中的主要的信息。多媒体信息 传递过程中需要存储和传输的数据量急剧增加，若图像数据不进行压缩编码将给 计算机计算能力、信道带宽等方面提出极高的要求。例如，对于采样格式为4 ：2 ：0 的标清数字电视，在不经过压缩处理的情况下，其每秒的数据量将达到 7 2 0 5 1 2 2 5 8 1 5 = 1 l o m b p s ，而对于高清数字电视器每秒数据量更达到1 g b p s 以 上【1 1 。如此大的数据量，无论从传输还是存储的角度来看都是不实际的，尽管近 年来网络的传输带宽、网络节点处理能力和终端存储器容量都在有明显的增长， 但仍然无法满足这么高的要求，所以对视频数据进行压缩成了解决上述问题的唯 一途径。 匡e 巨e 王习一一 圈回e 1 y 5 41 9 t ；o1 9 s 81 9 9 01 9 9 z1 9 9 41 9 9 0i ，y 墨z o o oz u u zz 0 0 4 图1 1 视频编码标准的发展 随着多媒体技术的不断发展，视频压缩技术得到了深入研究，最新的压缩技 术被最近涌现的视频编解码标准采用。国际电信联盟电信标准部( i t u t ) 和国际标 准化组织国际电工委员会( i s o i e c ) 等两大标准化组织，从1 9 8 8 年开始针对不同 应用制定了一系列视频编码标准。i t u t 的视频编码专家组先后推出了h 2 6 1 、 7 山东大学硕士学位论文 h 2 6 2 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 和h 2 6 4 标准系列。i s o i e c 的运动图像专家组 制定了m p e g 1 、m p e g 2 、m p e g - 4 以及m p e g 7 、m p e g 2 1 等系列标准。其 中h 2 6 x 标准主要用于实时的视频通信，如视频会议、可视电话等，而m p e g x 标准主要用于视频存储、视频广播和流媒体。图1 1 按照制定标准的时间顺序展 示了视频编码标准的发展过程。 国际电信联盟在1 9 8 8 年发布了第一个成功用于实际的数字视频标准_ 视频 编码标准h 2 6 1 1 2 的建议，这个视频方案对以后各种视频编码标准产生了深远的影 响，被视为视频标准发展史上的一个里程碑。h 2 6 1 的基于块的运动补偿与离散余 弦变换相结合的混合视频编码框架成为后来各种视频编码标准的基础。i s o i e c 信 息技术联合委员会成立了活动图像专家组( m p e g ：m o v i n gp i c t u r ee x p e r t sg r o u p ) ， 该组织首先于1 9 9 1 年公布了m p e g 1 1 3 1 视频编码标准，它是数据传输率低于 1 5 m b p s 的数字存储媒体图像及其伴音的压缩编码标准，主要应用领域是v c d 的 视频压缩；1 9 9 4 年，该组织又公布了m p e g 2 n 视频编码标准，主要用于标清及高 清电视( h d t v ) 、d v d 的视频压缩及数字广播电视等领域，其码率从4 m b i t s 至 1 0 0 m b i t s 分别用于不同级别的视频压缩，由于m p e g 2 特别适用于广播级的数字 电视的编码和传送，被做为标清电视和高清电视的编码标准；1 9 9 5 年，i t u t 推 出h 2 6 3 标准【5 1 ，是为通信信道宽度低于6 4 m b i t s 的窄带信道而制定的极低码率视 频编码标准；1 9 9 9 年，i s o i e c 制定了m p e g - 4 标准，该标准也被称为“视听对象 的编码标准”，m p e g - 4 1 6 】对各种音频和视觉对象都规定了相应的编码方式，包括自 然及合成地音频、视频对象；2 0 0 3 年，删t 和i s o i e c 联合公布了h 2 6 4 视频 压缩标准，h 2 6 4 i 7 】【8 】标准采用了一些最新的编码技术，大大提高了编码效率。这 些新技术包括：采用空间预测模式的帧内编码、可变块运动估计、多参考帧的运 动补偿、4 x 4 整数变换、二进制算术编码以及环路滤波等。我国在2 0 0 6 年颁布了 具有自主知识产权的a v s 标准t 9 1 1 1 0 1 ，编码效率比m p e g - 2 高2 3 倍，与h 2 6 4 相 当，而且技术方案简洁，芯片实现复杂度低，主要面向高清晰度电视、高密度光 存储媒体等应用。 随着多媒体技术的不断应用推广，对不同视频标准间数据能够进行交换的要 求越来越多，因此将不同视频编码格式的视频数据进行转换成为当前重要的研究 课题。 8 山东大学硕士学位论文 1 1 2f p g a 技术的发展 现场可编程门阵歹u ( f p g a ) 是一种可以在制造完成后根据需要灵活编程的半导 体器件，f p g a 硬件功能不是在制造前预先确定好的。f p g a 支持用户根据产品特 性和功能进行编程，也支持用户对已经编写程序并且应用的产品进行重新编程， 因此，f p g a 叫做“现场可编程”器件。任何专用集成电路( a s i c ) 可以完成的逻辑功 能都可以f p g a 用来实现，而且产品在售后也能够对功能进行更新，在很多应用 中都具有一定优势。f p g a 用户现场可编程、产品上市快特点，使其成为电子系统 集成化的重要手段。 随着产品架构和生产工艺的不断优化，f p g a 已经发展成为具有百万门级门电 路的器件。新的f p g a 器件不断上市，集成了更多的逻辑单元，实现了更高的性 能，需要更低的单位成本和功耗。当前市场上流通的f p g a 的品种很多，主要有 x i l i n x 的x c 系列、1 r i 公司的t p c 系列、a l t e r a 公司的f i e x 系列等，其中 x i l i n x 和a l t e r a 是市场份额最高的两家公司。x i l i n x 公司的产品主要有 s p a r t a r f l 、v i r t e x i i 、v i r t e x - 4 、v i r t e x 5 等系列，集成开发环境为i s e ，而a l t e r a 公 司的主流器件有c y e l o n e l i 、c y c l o n e l i i 、s t a t i x l i 、s t a t i x l ig x 、s t a t i x l i i 、s t a t i x l i ig x 等系列，集成开发环境为q u a r t u s i i 。两家公司都提供了优秀的开发环境，用以支 持本公司所有器件的设计和开发，而且有很多第三方合作伙伴提供的相应技术支 持。用户在开发选择片型时，具有丰富的候选资源。 1 2 国内外研究现状 数字视频转换编码【1 l 】【1 2 1 ，是指数字视频从一种格式到另一种格式的转换，其 中格式由码率、分辨率及编码语法等所表示，并针对不同码率、不同的分辨率、 不同的语法格式进行转换，使转换处理之后的数据能够满足信道传输或者接收端 对码流的要求，从而使不同网络或者不同终端设备间进行视频数据交换成为了可 能。当前，视频转码已成为视频编解码领域一个新的研究熟点。视频转码可分为 三类，分别是：码率转换、分辨率转换和标准间转码。 码率转换： 9 山东大学硕士学位论文 由于广播电视、因特网及无线网络等不同网络的带宽各不相同，所以不能在 不同网络使用码率相同的码流。实现码流的码率转换，可以得到与不同的网络或 者不同数字设备相对应的码流。目前码率转换主要有两种结构：开环结构和闭环结 构【1 3 】。码率转码的研究主要集中在两个方面：降低复杂度和减少误差漂移( d r i f t r e d u c t i o n ) 【1 4 1 。 分辨率转码： 分辨率转码包括空间分辨率转码和时间分辨率转码，空间分辨率转码是一般 指的是降低源视频图像的空间分辨率，时间分辨率转码是通过将源视频序列中的 一些帧删除以降低帧率来实现。由于不同的显示设备对视频图像的像素分辨率要 求各不相同，因此要使同一视频序列能在不同的显示终端上显示，需要将视频码 流进行空间分辨率转码。空间分辨率转码研究主要涉及空间下采样【1 5 】【1 6 】、下采样 后宏块模式和宏块运动矢量的选择【1 7 】【1 8 】及降低空间分辨率开环结构中出现的漂移 误差【1 9 】等问题。若想将高清电视的视频序列应用与标清电视，或者将带宽较高的 视频在手机、m p 4 等带宽较窄并且处理能力有限的终端，就需要进行视频序列的 时间分辨率转码。时间分辨率转码研究的主要方面是丢帧策略幽】、帧类型转换1 2 2 1 及丢弃帧运动矢量重新合成运动矢量【2 1 】等。 标准间转码： 不同的视频压缩标准的语法和码流结构往往不同，因此不同标准之间的转码 主要在语法和码流结构上进行。如m p e g 2 到h 2 6 4 的转码，可以将目前应用范 围最广的m p e g 2 标准编码的码流格式转换为h 2 6 4 编码的格式，从而增加h 2 6 4 标准节目源的数量。语法转换主要应用于数字广播和网络传输等领域，可使发送 方和接收方保持兼容性，确保空间网络的自适应性，并尽可能地节省带宽。本文 m p e g 2 到a v s 的转码就是属于标准间转码。 1 3 课题意义 m p e g 组织于1 9 9 4 年推出了m p e g 2 刚压缩标准，以实现栅音频服务与应用 互操作的可能性，该标准主要是针对数字视频广播( o v a ) 、高清晰度电视( h d t v ) 和数字光盘( d v d ) 等制定的运动图像及其伴音的编码标准。m p e g - 2 规定了不同压 1 0 山东大学硕士学位论文 缩比的五个档次和不同视频清晰度的四个级别，共2 0 种组合，分别用于标准数字 电视、高清晰度电视，码率4 1 0 0 m b p s ，可以满足不同用途的需要。m p e g 2 的 编码图像被分为三类，分别是i 帧、p 帧和b 帧。i 帧图像采用帧内编码方式，没 有利用时间相关性，只利用了单帧图像自身的空间相关性。p 帧和b 帧图像采用 帧间编码方式，即同时利用了空间和时间的相关性。p 帧图像只采用前向预测，可 以提高压缩效率和图像质量。b 帧图像中的每一个宏块可以是前向预测，也可以是 后向预测，可以大大提高压缩效率。 a v s 是我国制定的第二代信源编码标准，以h 2 6 4 框架为基础，针对数字电 视、网络电视及移动电视等音视频系统的制定的基础性标准，具有自主知识产权， 其视频部分已于2 0 0 6 年3 月被正式批准为国家标准。a v s 标准【1 0 j 采用了一系列具 有自主知识产权的先进技术以提高视频压缩的效率，包括基于空间预测的帧内预 测、基于可变块的帧间预测、整数变换、量化、熵编码和环路滤波等。视频图像 的帧内宏块通过空间预测模式的帧内预测找出预测宏块，得到残差图像，帧间块 基于可变块的运动补偿预测块得到预测图像来消除图像间的冗余。得到的预测残 差通过变换和量化，进一步消除冗余。量化数据经过扫描，在进行熵编码。图像 类型、宏块类型、运动矢量等也经过熵编码进行压缩。 虽然a v s 标准以h 2 6 4 标准为基础并且在实现架构上与其相同 2 4 】，但是相对于 h 2 6 4 标准和m p e g - 4 标准，a v s 在以下几个方面具有优势：首先是专利费用低；其 次压缩性能高，a v s 的数据压缩率比第一代标准( m p e g 2 ) 高2 3 倍，同h 2 6 4 压缩 效率相当；第三，a v s 具有自出知识产权，使我国多媒体技术的发展不再受制于人。 该标准技术方案简洁，芯片实现复杂度低，在和h 2 6 4 标准编码效率相当的同时具有 较低的编码复杂度。如果能将目前应用范围最广m p e g 2 视频转换为a v s 视频，则 可以解决现在a v s 格式节目源不足的问题，大大推动我国a v s 标准的推广。 视频转码系统算法实现复杂，需要进行大量的数据计算，只采用计算机软件 实现转码算法难以实现，因此对于这样的应用就需要设计专门的电路或者用硬件 解码芯片来实现转码。用d s p 平台来实现a v s 转码，大批量生产后，d s p 每片成本 太高，本课题面向市场应用的开发，成本是一个必须要考虑的问题，所以没有选 用d s p 来进行设计。a s i c 定制的视频编解码芯片生产后不能根据需要编程，增加 了研发时的风险和成本。视频编解码算法复杂，计算量大，f p g a 内部器件能并行 山东大学硕士学位论文 处理运算，大大减少了视频编解码算法所需要的时间，因此用f p g a 进行编解码系 统的设计是一个很好的选择。 1 4 论文内容安排 本设计综合考虑设计规模和各厂家f p g a 器件的性能与价格，选用x i l i n x 公司 v m e x 5 系列的x c 5 v f x l 0 0 t 1 f f l l 3 6 器件进行设计，本课题采用自顶向下的设计方 法，通过r t l 级v e r i l o g 硬件描述语言编程完成芯片的设计。在x i l i n xi s e1 0 1 0 3 集 成开发环境中完成设计的输入、功能仿真等，采用m e n t o r g r a p h i c s 公司的m o d e l s i m 6 2 i 进行功能仿真和时序仿真，将物理实现生成的b i t 下载文件写入到f p g a ，用 x i l i n x 公司的c h i p s c o p ep r o 软件进行片上验证。本文的内容安排如下： 第一章绪论，介绍了本文的相关技术背景和当前的研究现状，并介绍了本课 题的意义，阐述了论文的内容安排。 第二章系统平台简介，对系统的硬件平台v i r t e x 5 和软件平台i s e 、m o d e l s i m 进 行了简要介绍。 第三章m p e g 2 和a v s 对比分析，介绍了m p e g 2 和a v s 的主要技术，并对两 种标准的差异进行了对比。 第四章转码器设计和运动搜索实现，介绍了典型的转码结构，根据第三章介 绍的m p e g 2 和a v s 标准的差异，采用一种改进的快速像素域级联转码结构。对运 动搜索模块进行设计，复用m p e g 2 整像素运动矢量、宏块类型等信息，进行小菱 形搜索。对p 帧宏块进行跳过模式预判，减少了对p 帧宏块的转码实现复杂度。对 运动矢量预测模块单独设计，采用了少量的r a m 资源就实现了周围块信息的存储 和读取。 第五章整数变换量化模块，对转码器中a v s 编码中变换、反变换、量化、反量 化和扫描等几个模块进行设计，将几个模块设计为一个流水线，一个宏块完成处 理最多需要3 9 0 个时钟，满足编码需要，实现了上板验证。在设计中采用r a m 行列 存储器、并行扫描等设计大大减少了数据处理所需的资源和时间。 第六章总结和展望 1 2 山东大学硕士学位论文 第二章系统平台简介 2 1系统开发的硬件平台 2 1 1f p g a 简介 f p g a 是以p a l 、g a l 、c p l d 等为基础发展的可编程器件，是专用集成电路 ( a s i c ) 中的一种半定制电路。它的出现既解决了定制电路的不足，又克服了原 有可编程器件门电路数有限的缺点1 2 ”。 根据f p g a 基本结构的不同，可以将其分为基于乘积项( p r o d u c tt e r m ) 技术的 f p g a 和基于查找表( l o o k u pt a b l e ，l u t ) 技术的f p g a 两种。采用乘积项技术的 f p g a 根据保存程序的存储器种类，又可以分为采用e e p r o m 和f l a s h 保存两种。 基于查找表技术的f p g a 一般使用s r a m 保存程序。由于f p g a 是可编程的芯片， 不需要在生产中确定功能，因此用户进行a s i c 产品研发前，可以用f p g a 进行设计， 测试设计功能。f p g a 是a s i c 电路中开发成本最低、设计周期最短、研发风险最小 的器件之一，因此f p g a 芯片是进行研发与小规模应用的最合适选择之一。 f p g a l 2 6 】一般由6 部分组成：基本可编程逻辑单元、可编程输入输出单元、丰 富的布线资源、嵌入式块r a m 、底层嵌入功能单元和内嵌专用硬核。 ( 1 ) 基本可编程逻辑单元 基本可编程逻辑单元可以根据设计需要对其内部连接与配置进行改变，以完 成相应的逻辑功能，是f p g a 完成编程逻辑的主要单元。大部分f p g a 采用基于 s r a m ( 静态随机存储器) 的查找表逻辑形成结构，即由查找表和寄存器构成基本可 编程逻辑单元，其中查找表实现组合逻辑功能，寄存器可以配置成同步异步复位、 置位触发器或者锁存器等。由一个4 输入的查找表和一个触发器构成的基本可编程 逻辑单元是f p g a 基本逻辑单元的一个典型结构。一般而言，不同厂商的f p g a 寄 存器和查找表构成基本逻辑单元的组合模式不同。例如，x i l i n x 可编程逻辑单元 ( s l i c e ) 分为上下两部分，每部分都由一个寄存器和一个查找表组成。a l t e m 可编 山东大学硕士学位论文 程逻辑单元被称为l e ( l o g i ce l e m e n t ) ，则由一个寄存器和一个查找表构成。 ( 2 ) 可编程输输出单元 输输出单元简称为i o 单元，是芯片与外界电路的接口部分，大多数f p g a 的i o 单元都是可编程的，应用非常灵活。不同的电气标准与i o 物理特性对输入输 出端口的阻抗和输出驱动电流的大小要求不同，因此在实际应用时可以通过软件 设置进行匹配。 ( 3 ) 丰富的布线资源 f p g a 所有内部单元都通过布线资源相连，信号在连线上的驱动能力和传输速 度由连线的长度和工艺决定。根据连线工艺、长度、宽度和分布位置的不同，布 线资源可以分为全局性的专用布线资源、长线资源、短线资源、控制信号线等不 同等级。 ( 4 ) 嵌入式块r a m f p g a 一般都有内嵌的块r a m ，内嵌的块r a m 可以配置为r a m 或者r o m ，当 配置为r a m 时有单双u i r a m 、c a m 和f i f o 等几种常用存储结构，当配置为r o m 时将r a m 存储初值并保持不变。 ( 5 ) 底层嵌入功能单元 通常指p l l ( p h a s el o c k e dl o o p ) 、d l l ( d e l a yl o c k e dl o o p ) 、d s p 、c p u 等 通用程度较高的嵌入式功能模块。 ( 6 ) 内嵌专用硬核 主要指那些大多数f p g a 器件并不包含的硬核，这些硬核的通用性一般较差。 2 1 2v ir t e x - 5 系列f p g a x i l i n x 公司的v i r t e x 5 系列 2 7 1 1 冽采用第二代高级芯片组合模块( a s m b l t m ) 列式架构，是f p g a 系列中类型最多的系列，包含5 个截然不同的平台( l x 、l x t 、 s x t 、t x t 及f x t ) 。x r t r t e x 5 系列丰富的资源能够满足开发者对高性能逻辑设 计的需求，每个平台面向的主要应用如表2 1 所示。 v i r t e x 5 系列f p g a 采用先进的6 5 n m 铜工艺技术，是替代定制a s i c 技术的理想 方案。除了具有高性能的逻辑结构外，v r i t e x 5 系歹0 f p g a 还内置大量i p 硬核系统级 1 4 山东大学硕士学位论文 模块，其中包括容量达至l j 3 6 k b 模块片内r a m 、d s p 4 8 es l i c e 、c h i p s y n c 源同步接口 模块、系统监控功能、增强型时钟管理模块、带内置数控阻抗的s e l e c t l o ，以及高 级的配置选项。v i r t e x 5 系歹u f p g a 强大的逻辑功能、强大的d s p 功能与丰富的i p 硬 核，能满足设计人员对高性能逻辑、快速d s p 运算和高性能嵌入式系统需求。 表2 1v i r t e x - 5 系列各平台面向的主要应用 平台名称主要应用 v i r t e x - 5l x 主要用于高性能通用逻辑应用 v i r t e x 5l x t 主要用于具备高级串行连接功能的高性能逻辑 v i r t e x 5s x t 主要用于具备高级串行连接功能的高性能信号处理应用 v i r t e x - 5t x t 主要用于具备双密度高级串行连接功能的高性能系统 v i r t e x 5f x t 主要用于具备高级串行连接功能的高性能嵌入式系统 本文系统设计所采用的硬件开发平台是v i r t e x 5 系列的x c 5 v f x l 0 0 t - 1 f f l1 3 6 芯片 5 9 1 ，芯片资源如图2 1 所示。 骨 删。嚣? c 。2 ：以太号 嚣删麓漱等笔 蕊霉 i 热j ：豁 销怒涮2 。删辩灿怂”，_ 冒翳删。g t p 锨 x c s v f x 3 0 t 8 0 x 3 8 5 3 2 0 。湖i b 41 弱 2 4 4 8 ：2 14 不适甩+ b 1 23 x c 5 v f x i o t 。1 6 0 1 3 b1 1 , 2 0 0 8 2 0 1 2 b 2 9 6 1 4 85 3 2 8 6 1 3 不适用1 61 9翩o x c 5 v f x i o o t1 6 0 x5 6 ：1 6 0 0 01 2 4 0 ：2 弱骗 2 2 8 ：8 2 0 8 623不适用：1 6约鹊0 x c 5 v f x l 3 0 t2 0 0 x5 6 4 8 01 5 8 03 2 05 9 62 9 8 ：1 0 7 氇6 ，23 6不适用2 0 2 酣o x c s v f x 2 0 0 t 2 4 0 x 6 8 ：3 0 7 2 2 l3 明 9 1 2 4 5 6 ；1 6 _ 4 1 6 ，6 2 48不适用：拍2 7 6 0 图2 - lv i r t e x - 5 系列的x c 5 v f x l o o t - l f f l1 3 6 器件资源 2 2 系统