（信息与通信工程专业论文）avs视频编码器性能优化及dsp实现研究.pdf

浙江人学颇l 学位论文 摘要 随着信息时代的来临，多媒体技术已经渗透到生活的每个角落。视频图像 是多媒体信息的重要组成部分，但是数字化的视频信号的数据量之大是非常惊 人的，这使得在开发多媒体应用系统时，对包含巨大数据量的视频图像数据的 采集、存储、传输成为最大的瓶颈。因此，视频数据的高效压缩意义重大，是 降低网络传输带宽、节省存储容量的关键技术。但视频压缩算法运算量大，实 时处理对通用处理器的要求高，因而各种专用高速数字信号处理器( d s p ) 得到 广泛应用。 a v s 标准作为数字音视频产业的共性基础标准，可以应用于高清晰度和标 准清晰度数字电视广播、激光视盘机、移动多媒体通信、视频会议与视频监控、 宽带网络流媒体、数字电影等产业群。与其他类似标准相比，a v s 有两大优势： 基于自主技术和部分开放技术构建的丌放标准，妥善解决专利许可问题；中国 日渐强大的产业化实力和市场提供了良好土壤。在这两大翅膀的助推下，a v s 已成为全球范围内最有可能成为事实标准的第二代音视频编码标准”1 。目前a v s 标准组已经发布了企业版参考软件，不过其编码器部分时间效率低并且在关闭 r d o 的情况下图像质量也相对较差。因此进一步提高a v s 编码器的时间效率以 及图像质量是很有必要的。现在国内已经有很多企业希望将a v s 标准应用于实 际产品中( 比如数字电视或监控领域应用) ，这就进一步要求a v s 编码器在保证 编码性能具有竞争力的同时，还必须可咀实现实时编解码。在这种环境下，选 择对a v s 编码器进行性能上的优化以及提高时间效率是很有意义的。t i 的d m 6 4 2 开发板专门针对多媒体应用，其特有的优化器可以让开发者以线性汇编代码的 形式书写汇编程序，从而缩短开发周期。同时其软件流水操作将大大提高程序 执行效率，并且它提供了许多数据打包指令，以便开发者实现对一块内存的访 问。 本课题研究在t i 的d m 6 4 2 平台上实现a v s 编码器，包括a v s 编码器性能提 升：根据d s p 的结构特点、内存限制生成合理的c 代码；c 代码从p c 平台到d s p 平台的移植研究：在d s p 平台上的代码优化研究。最终实现一个可产生能被a v s 参考软件解码器正常解码的a v s 码流的a v s 编码器，并且实现c i f 格式视频流 的实时编码。 关键词：a v s 编码器，d s p ，性能提升，移植与优化，实时编码 浙江人学颇1 学位论文 a b s t r a c t w i t ht h ea d v e n to ft h ei n f o r m a t i o na g e ，m u l t i - m e d i at e c h n o l o g yh a si n f i l t r a t e d e v e r yc o r r l e ro fl i f e v i d e oa n di m a g ea r ei m p o r t a n tc o m p o n e n t so ft h em u l t i m e d i a i n f o r m a t i o n ，h o w e v e r , t h ed i g i t i z e dv i d e os i g n a l si nt h el a r g ev o l u m eo fd a t ai sv e r y a l a r m i n g ，w h i c hl e d ，t h eh u g ev o l u m eo fv i d e oa n di m a g ed a t aa c q u i s i t i o n ， s t o r a g e ，a n d t r a n s m i s s i o nb e c o m et h eb i g g e s tb o t t l e n e c ki nt h ed e v e l o p m e n to f m u l t i m e d i aa p p l i c a t i o n s t h e r e f o r e ，t h ev i d e od a t ac o m p r e s s i o ne f f i c i e n c yi st h ek e y t e c h n o l o g i e st or e d u c et h en e t w o r kb a n d w i d t h ，a n ds a v es t o r a g ec a p a c i t y b u tv i d e o c o m p r e s s i o na l g o r i t h mh a sg r e a tc o m p l e x i t yo fc o m p u t i n g ，a n dr e a l t i m ep r o c e s s i n g d e m a n d so bg e n e r a lp r o c e s s o r s h a v eb e c o m ev e r ys t r i c t ，s ot h ev a r i o u sd e d i c a t e d t l i g h s p e e dd i g i t a ls i g n a lp r o c e s s o rr d s p ) w a sw i d e l yu s e d a sac o m m o nb a s i so ft h ed i g i t a la u d i oa n dv i d e oi n d u s t r ys t a n d a r d ，a v s s t a n d a r di s w i d e l y u s e d i n ，h i g h d e f i n i t i o na n ds t a n d a r d d e f i n i t i o nd i g i t a l t e l e v i s i o n ，l a s e rd i s c ，m u l t i m e d i ac o m m u n i c a t i o n so fm o b i l e ，v i d e oc o n f e r e n c i n ga n d s u r v e i l l a n c e ，b r o a d b a n dn e t w o r ks t r e a m i n gm e d i a a n dd i g i t a lf i l mi n d u s t r i e s c o m p a r e dw i t ho t h e rs i m i l a rs t a n d a r d ，a v sh a st w om a i na d v a n t a g e s ：b a s e do nt h e p a r t i a lo p e n i n ga n da u t o n o m o u st e c h n o l o g y , i th a sc o n s t r u c t e da n 印e ns t a n d a r d ， w h i c hp r o p e r l yr e s o l v e st h el i c e n s i n gi s s u e s ；c h i n a si n c r e a s i n g l yp o w e r f u li n d u s t r i a l s t r e n g t ha n dt h em a r k e tp r o v i d e sag o o ds o i l w i t ht h e s et w ow i n g s ，a v si sm o s t l i k e l yt ob e c o m et h es t a n d a r df o r t h es e c o n d - g e n e r a t i o na u d i o v i d e oc o d i n gs t a n d a r d i nt h ew o r l d t e l ，c u r r e n t l ya v ss t a n d a r dg r o u ph a sp r o v i d e dt h er e f e r e n c es o f t w a r ef o r e n t e r p r i s e ，b u tt h et i m ee f f i c i e n c yo fe n c o d e ri sl o wa n dw h e nt h er d of u n c t i o ni s c l o s e d ，t h ei m a g eq u a l i t yi sr e l a t i v e l yp o o r t h e r e f o r e ，f u r t h e ri m p r o v e m e n to fa v s e n c o d e r st i m e e f f i c i e n c ya n di m a g eq u a l i t y i s v e r yn e c e s s a r y n o wm a n y e n t e r p r i s e so fc h i n ah o p et h a tt h ea v ss t a n d a r da p p l i e dt ot h ea c t u a lp r o d u c t s ( s u c h a sd i 百t a lt e l e v i s i o no rm o n i t o ra r e a s ) ，w h i c hw o u l df u r t h e rr e q u e s tt h a tt h ei m a g e q u a l i t yo fa v se n c o d e ri sc o m p e t i t i v e ，a n dr e a l t i m ee n c o d i n gc a nb ea c h i e v e d u n d e rs u c hc i r c u m s t a n c e s ，t h e p e r f o r m a n c eo p t i m i z a t i o nf o ra v se n c o d e ra n d i m p r o v e m e n to f t h et i m e e f f i c i e n c y i so f g r e a ts i g n i f i c a n c e t i sd m 6 4 2 d e v e l o p m e n tb o a r di ss p e c i f i c a l l yf o rm u l t i m e d i aa p p l i c a t i o n s ，a n di t so p t i m i z e r a l l o w sd e v e l o p e r st oc o m p i l ec o d ei nt h ef o r mo fl i n e a ra s s e m b l e r , s oa st os h o r t e n t h ed e v e l o p m e n tc y c l e a tt h es a m et i m ei t ss o f t w a r ep i p e l i n i n go p e r a t i o n sw i l l g r e a t l ye n h a n c et h ee f f i c i e n c yo ft h ei m p l e m e n t a t i o np r o c e s s i tp r o v i d e sal o to f d a t ap a c k i n gi n s t r u c t i o n s ，i no r d e rt op r o c e s sm o r ed a t aw i t ho n em e m o r yv i s i t t h er e s e a r c hi nt i sd m 6 4 2p l a t f o r mt oa c h i e v ea v se n c o d e r , i n c l u d i n gt h e i m p r o v e m e n to fa v se n c o d e r sp e r f o r m a n c e ；w i t ht h es t r u c t u r a lc h a r a c t e r i s t i c so f d s pa n dm e m o r yl i m i t ，t og e n e r a t ear e a s o n a b l ecc o d e ；t h et r a n s p l a n t a t i o no fc 浙江人学坝i 。学位论文 c o d ef r o mp cp l a t f o r mt od s pp l a t f o r m ；t h eo p t i m i z a t i o no ft h ec o d eo nd s p p l a t f o r m f i n a l l yw ec a np r o d u c eaa v s e n c o d e rw h i c hc a r lg e n e r a t et h eb i ts t r e a m d e c o d e db yt h ed e c o d e ro f a v sr e f e r e n c es o f t w a r es u c e e s s f u l l y ，a n dc a l la c h i e v et h e r e a l t i m ee n c o d i n gw i t hv i d e oo f c i ff o r m a t k e y w o r d s ：a v se n c o d e r , d s p , i m p r o v e m e n to fp e r f o r m a n c e , t r a s p i a t a t i o a n do p t i m i z a t i o n ，r e a l t i m ee n c o d i n g 一1 1 1 浙江大学钡1 1 学位论空 第1 章绪论 随着人类社会不断进步和科技不断发展，人们对信息的获取、处理、传输、 存储及检索等都已经发生了巨大的变化。信息内容也已经不再是单一媒体的信 息，而是集语音、图像、视频、文字于一体的多媒体信息。 图像及视频信息在多媒体信息中占据着重要的作用。然而，图像视频本身 包含有巨大的数据量，这为高速处理、传输和存储带来了困难。以普通p a l 制 4 ：2 ：0 格式数字图像序列为例，1 秒钟时间所需存储空间为1 5 ，5 5 2 ，0 0 0 字节， 所需传输带宽为1 1 8 6 5 m b p s 。这在实际应用中代价是很高的。为解决这个问题， 一方面要提高设备和器件处理能力，另一方面要找到更有效的压缩编码方法。 目前视频编码技术有国际标准m p e g 一2 ，m p e g 一4 和h 2 6 4 等，以及我国具备自主 知识产权的第二代信源编码标准a v s 标准。a v s 的全称是数字音视频编解码技 术标准工作组，它由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立。它的 目标是面向中国的信息产业需求，联合国内企业和科研机构，制( 修) 订数字 音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系 统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存 储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。1 。a v s 强调自主知识产权，同时充分考虑了实现的复杂程度。其视频编码性能明显优 于目前在标清和高清视频应用中主流的m p e g - 2 ，同时和h 2 6 4 的主要档次( m a i n p r o f i l e ) 性能相当，而a v s 编码标准的核心技术降低了实现复杂度。由于a v s 技术良好的压缩效率和低复杂度使其适用于数字电视、网络摄像机、实时监控 等各种领域，并可以方便的在嵌入式平台上进行实现与开发。 实际应用中，在d s p 平台上开发视频编码器自由度大，可以适应市场不断 提出的新要求。且d s p 处理器处理能力不断提高，如t ic 6 0 0 0 系列d s p 在音视 频处理方面可以发挥强大的功能，并提供多种视频专用接口和适合于视频算法 的运算单元及指令。同时，d s p 芯片功耗低，为提高产品的稳定性提供了可靠 的保障。因此，在某些行业应用，d s p 平台是实现a v s 编码器的理想方案。虽 然a v s 编码标准的实现复杂度低于h 2 6 4 ，但其核心技术的运算量仍然很大， 需要对a v s 编码器进行充分的优化工作。目前a v s 标准组已经发布了企业版参 考软件，但编码器部分时间效率很低，并且在关闭r d o 的情况下编码性能下降 较多。因此在实现a v s 编码器时，进一步提高a v s 编码器的时间效率以及编码 性能是很有必要的。 浙江丈学硕i 一学位论文 1 1 视频压缩技术 1 - 1 1 视频信号 视频由许多幅按时间顺序排列的连续图像构成，每一幅称为一帧。视频信 号有模拟视频信号与数字视频信号之分。其中用于计算、处理的通常是数字视 频信号，本文涉及到的编码对象就属于数字视频信号。 目前常用的数字视频帧格式主要有两种：一种由i t u t ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 提 出。如4 c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ，帧大小为7 0 4 5 7 6 ) 、c i f ( 帧大 小为3 5 2 2 8 8 ) 、q c i f ( 帧大小为1 7 6 1 4 4 ) 和s q c i f ( 帧大小为1 2 8 x 9 6 ) 等。 另一种由i t u r ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o r lu n i o n r a d i oc o m m u n i c a t i o n ss t a n d a r d i z a t i o ns e c t o r ) 提出，在现有电视信号基础上通过采样得到， 即n t s c 格式( 帧大小为7 2 0 x 4 8 0 ) 以及p a l 格式( 帧大小为7 2 0 5 7 6 ) ”1 。 1 1 2 视频压缩标准简介 所谓压缩，就是去除信息中的相关性，也即冗余，使得用更少的码率能够 存储和传输更多的信息。视频中的冗余包括图像内部灰度或颜色相近的邻近像 素组成的局部区域内的强相关性造成的空间冗余，运动图像中相邻帧图像之问 的相同的背景和对象而造成的时间冗余，由码字出现概率而得到对熵编码有重 大意义的统计冗余，因人眼视觉非均匀性和非线性造成的视觉冗余，以及一些 先验背景知识造成的知识冗余。视频压缩正是基于这些冗余而采用了基于块的 运动估计、补偿和变换的混合编码技术，这些也是目前国际标准所采用的主要 方法。 数字视频技术的广泛应用，推动视频编码标准的制定和发展， i t u t 与 i s o i e c 是制定视频编码标准的两大组织，i t u t 制定的标准包括h 2 6 1 、h ，2 6 3 、 h 2 6 4 ，主要应用于实时视频通信领域，如会议电视； i s o i e c 制定的m p e g 系 列标准，主要应用于视频存储( v c d 、d v d ) 、广播电视、因特网或无线网上的流 媒体等。后期两个组织也共同制定了些标准，如m p e g 一4 ( a v c ) 。图卜1 为主 要视频编码标准的发展历程。下面将简单的介绍一下几个比较重要的视频方面 的标准： 一2 一 浙江大学颂 。学位论文 1 8 8 9 8 61 嘲1 9 9 0 9 鼋2 ，9 舛 9 9 6 伸9 82 0 0 0 a 0 0 22 0 0 4 图卜1 音视频编码压缩标准发展 ( 1 ) m p e g 一1 标准： 1 9 9 3 年j 下式推出的m p e g 一1 ( i s o i e c1 1 1 7 2 ) 标准是用于高至1 5 m b i t s e c 的数字存储媒体的活动图像和及其伴音的压缩编码标准，它可针对s i f 标准分 辨率( 对于n t s c 制为3 5 2 2 4 0 ：对于p a l 制为3 5 2 2 8 8 ) 的图象进行压缩，标 准包括系统、视频、音频、一致性和参考软件五个部分。m p e g 一1 具有随机存取、 快速正向逆向搜索、逆向重播、视听同步、容错性等功能，当时被用于数字光 盘的存储和数字电话网络上的视频传输，现在市面上的v c d 使用的就是m p e g 一1 的标准o 】。 ( 2 ) m p e g 一2 标准： m p e g 一2 ( i s o i e c1 3 8 1 8 ) 标准于1 9 9 4 年正式推出，目的是进行更高的分 辨率( 标清7 2 0 4 8 6 ，高清1 9 2 0 x1 0 8 0 ) 下的视频及其音频的编码，它的码率 在3 l o m b i t s s e c 之间。m p e g 一2 支持固定比特率传送、可变比特率传送、随 机访问、分级编码、比特流编辑等功能，能够提供广播级的视像和c d 级的音质。 m p e g 一2 主要用于数字存储媒体、高清晰度电视和数字视频广播等领域，除了作 为d v d 的指定标准外，还为广播，有线电视网，电缆网络以及卫星直播提供广 播级的数字视频“1 。 ( 3 ) m p e g 一4 标准： m p e g 一4 ( 1 8 0 i e c14 4 9 6 ) 于1 9 9 9 年推出，它可以进行从极低分辨率到高 清晰度分辨率问的各种分辨率下的压缩编码，码率在5 2 g b i t s s e c 之间，它 的压缩率是m p e g 2 的1 5 2 倍，是一个适合多种多媒体应用的面向对象的视频 压缩编码标准。它从框架的角度来定义标准，使得根据此标准开发的视频产品 具备更大的灵活性和可扩展性。m p e g 一4 采用基于对象的方式，通过对不同的视 听对象( 自然的或合成的) 独立进行编码，同时允许在不同的对象之间灵活分 配码率，从而实现较高的压缩效率”1 。 ( 4 ) h 2 6 1 标准： h 2 6 1 是1 9 9 0 年底推出的，它是i t u t 为在综合业务数字网( i s d n ) 上开展 一3 一 浙江大学硕l 学位论文 实时的双向声像业务( 可视电话、视频会议) 而制定的，支持c i f 和q c i f 的分辨 率格式，码率为6 4 k b s 的整数倍。它包含有包括运动补偿的帧间预测、d c t 变 换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。h 2 6 l 适用于电视或电话会议”1 。 ( 5 ) h 2 6 3 标准： h 2 6 3 是1 9 9 6 年推出的，它是i t u t 为低于6 4 k b s 的窄带通信信道制定 的替换h 2 6 1 的标准视频编码标准，支持c i f 和q c i f 的分辨率格式。它是在 h 2 6 1 基础上发展起来的，和h 2 6 1 相比，h 2 6 3 的运动补偿精度是半像素，不 包含环路滤波器。同时，它支持越过图像边界的运动矢量、基于上下文的算术 编码、先进的预测模式、前向和后向帧预测以及分级的比特流“1 。 ( 6 ) h 2 6 4 标准： h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频压 缩编码标准，目前，已经有几个l e v e l 的标准面世，并且正在进一步制定之中。 在压缩效率方面，h 2 6 4 的压缩率是h 2 6 3 + 和m p e g 一4 ( s p ) 的2 倍左右。h 2 6 4 标准对信道时延的适应性较强，同时具备较强的抗误码能力，加强了对误码和 丢包的处理，提高解码器的差错恢复能力。既可以满足实时业务，如会议电视 等，又可工作于时延要求较低的场合，如视频存储等”1 。 ( 7 ) a v s 标准： a v s 是由我国自主制定的音视频编码技术标准，主要面向高清晰度电视、 高密度光存储媒体等应用，已于2 0 0 6 年初正式成为国家标准。a v s 标准以当前 国际上最先进的m p e c 一4 和h 2 6 4 a v c 框架为基础，强调自主知识产权，同时充 分考虑了实现的复杂度。a v s 具有特征性的核心技术有：( 1 ) 8 8 的整数变换与 6 4 级量化；( 2 ) 亮度和色度帧内预测都是以8 8 块为单位，亮度块采用5 种预 测模式，色度块采用4 种预测模式；( 3 ) 采用1 6 1 6 、1 6 x 8 、8 1 6 和8 8 四 种块模式进行运动补偿；( 4 ) 在1 4 像素运动估计方面，采用不同的四抽头滤波 器进行半像素插值和1 4 像素插值；( 5 ) p 帧可以利用最多2 帧的前向参考帧， 而b 帧采用前后各一个参考帧。 变换量化：a v s 的8 8 变换与量化可以在1 6 位处理器上无失配地实现，6 4 级 量化可以完全适应不同的应用对码率和质量的要求。目前a v s 所采用的8 x 8 变换 与量化方案，既适用于1 6 位d s p 或其他软件方式的快速实现，也适合于a s l c 的优 化实现。 帧内预测：a v s 的帧内预测技术是利用相邻块的像素值预测当前块像素值， a v s 亮度和色度帧内预测都是以8 8 块为单位的。亮度块有5 种预测模式，色 度块有4 种预测模式。在与其他视频编码标准编码质量相当的前提下，a v s 采 用较少的预测模式，使实现的复杂度大为降低。 一4 一 浙江大学硕l j 学位论史 帧间预测：a v s 标准采用了1 6 1 6 、1 6 x 8 、8 1 6 和8 8 的块模式进行 运动补偿，相较于m p e g 一4 等标准可变块大小运动补偿可以达到更好的匹配效 果，减少运动补偿贱差从而提高压缩效率：而相比于h 2 6 4 的7 种划分模式， a v s 较少的块模式能降低模式选择及帧间运动估计补偿的计算复杂度。a v s 采 用不同的4 抽头滤波器进行半像素插值和四分之一像素插值，相对于h 2 6 4 半 像素插值采用的6 抽头滤波器而言，在不降低性能的情况下减少了插值所需要 的参考像素点，降低了数据存取带宽需求以及计算复杂度。a v s 中p 帧可以利 用至多2 帧的前向参考帧，而b 帧采用前后各1 个参考帧，p 帧与b 帧( 包括后 向参考帧) 的参考帧数相同，其参考帧存储空间与数据存取的开销均不多于传统 视频编码。另外，a v s 的b 帧的双向预测中多种模式的设定，也有效的节省了 运动矢量的编码丌销。 熵编码：a v s 熵编码采用自适应变长编码技术，所有的语法元素和残差数据 都是以指数哥伦布码的形式映射成二进制比特流，可以很好的发挥指数哥伦布码 硬件复杂度低，可由闭合公式直接解析的优点。对预测残差的块变换系数，经扫 描形成( 1 e v e l 、r o d ) 对串，进行二维联合编码，并可以根据当前l e v e l 、f u r l 的不 同概率分布趋势，自适应改变指数哥伦布码的阶数。“”。”1 。 1 2 编码器实现平台简介 在实际应用中，有许多场合需要使用嵌入式编码器，如室外系统以及移动设 备等。而嵌入式视频编码器主要有两种设计方案：一种是以专用a s i c 芯片为核心 加上外围控制电路构成：另一种是以d s p 等器件为核心以自行设计的编码系统实 现。 用a s i c 芯片实现实时编码，编码速度快，但当用户需要发生更改或者编码算 法需要修改时，无法灵活变换，只能重新设计芯片，这样会带来巨大的损耗，因 此只能在算法与程序成熟的前提下才能使用。基于a s i c 的方法在适应不同需求方 面显得力不从心，而基于d s p 平台的编码器实现则可以适用于不同的系统需求“”。 对于多种不同情况下的应用来说，利用d s p 处理器进行开发是更为灵活且有 效的方案。在d s p 平台上用户开发自由度大，可以适应市场不断提出的新要求。 且d s p 处理器处理能力强，如t ic 6 0 0 0 系歹i j d s p 在音视频处理方面可以发挥强大的 功能，并提供多种视频专用接口和适合于视频算法的运算单元及指令。另外，d s p 芯片功耗低，为提高产品的稳定性提供了可靠的保障。因此在d s p 平台上开发是 实现a v s 实时编码器的理想方案。现今，基于d s p 平台的a v s 编码器的实例还不多， 能够在保证性能的条件下实现实时的编码器更为缺乏，因此本文研究基于d s p 平 台的a v s 实时编码器的实现与优化，可以弥补这方面的缺乏，在当前具有很重大 的意义。 c 6 0 0 0 系列多媒体处理d s p 是t i 公司丌发的众多系列中专为多媒体应用而 一5 一 浙江大学硕l 。学位论史 开发的一个系列产品，2 0 0 2 年t i 发布的t m s 3 2 0 d m 6 4 x 系列的多媒体d s p ，专为 音视频处理方面的应用而丌发，其中的t m s 3 2 0 d m 6 4 2 是c 6 0 0 0 系列中一款高性 能的定点d s p ，基于c 6 4 x 内核，在主频6 0 0 m h z 情况下，最高可以实现4 8 0 0 m i p s 的运算能力。 t m s 3 2 0 d m 6 4 2 是t i 公司c 6 0 0 0 系列中款高性能的定点d s p ，基于c 6 4 x 内核，发布于2 0 0 2 年。d m 6 4 2 构建在t i 公司自主研发设计的第二代甚长指令 字( v l i w ：v e r y l o n g i n s t r u c t i o n w o r d ) 结构技术v e l o c i1 2 基础上，是数 字媒体应用领域的最佳选择。d m 6 4 2 采用专用的存取结构，有6 4 个3 2 位通用 寄存器，8 个独立的功能单元( 2 个3 2 位乘法单元和6 个3 2 位算术逻辑单元) ， v e l o c i l 2 为这些功能单元专门扩充了若干指令，可以用在图像和视频处理领 域，如可以在一个周期内实现4 个1 6 位的乘加操作或者8 个8 位的乘加操作。 在主频6 0 0 m h z 情况下，d m 6 4 2 最高可以实现4 8 0 0 m i p s 的运算能力“。t id m 6 0 0 0 系列d s p 最主要的特点是内核有8 个运算单元和超长指令集结构，从而可以在 一个时钟周期内为8 个运算单元取8 个指令。8 个指令之间相互独立，分别在 各个处理单元独自运行。编译器在对汇编程序进行编译的过程中，决定代码中 的哪些指令合成一个超长指令包。这种指令的并行安排是静态的，也就是说， 所有的指令在编译的时候都是决定了的，无论什么时候执行，都是不变的。每 3 2 b i t 中的第一个比特决定本指令是属于上一个指令同样的指令包还是属于一 个新的指令包。对于取指令时，指令包的大小是一定的，总是2 5 6 比特，而在 运行的时候，指令包的大小是可变的。因为当运算单元没有准备好下一次运算 时，超长指令集控制单元就不为在下一个时钟为运算单元提供运算指令。这种 可变的运行指令包正是c 6 0 0 0 与其他的超长指令集体系结构之间的最大不同， 这种可变的运行指令包的好处就是可以减少存储器的开销。 1 3 本文的内容与组织 本毕业设计主要进行下面几个方面的研究： ( 1 ) 熟悉a v s 以及h 2 6 4 视频编解码标准。 ( 2 ) 研究并改进a v s 编码器的模式选择、s k i p 模式预判以及运动估计算 法，提高编码性能。 ( 3 ) 针对a v s 参考软件采用的码率控制算法运算复杂度较高的情况，研究 一种基于运动复杂度的码率控制算法，降低编码器的计算复杂度。 ( 4 ) 根据d s p 的结构特点和内存限制确定编码器的系统框架和重要数据结 构，编写a v s 编码器的c 代码。 ( 5 ) 将a v s 编码器的c 代码移植到d s p 平台上。实现c 代码优化及线性汇 编代码的优化，提高编码器编码的实时性。 本文的创新点如下： 一6 一 浙江大学硕 ：学位论义 ( 1 ) 采用量化系数游程权重法进行s k i p 模式的判断。 ( 2 ) 针对采用运动估计补偿( m c m e ) 技术的具有多种宏块划分模式的 a v s 视频编码标准，提出一种基于运动复杂度的码率控制算法 ( m b r c ) 来降低编码器码率控制的计算复杂度。 ( 3 ) 充分的利用t id s p 强大的视频处理指令，合理的协调c p u 与d m a 的 并行化操作，实现了稳定实时的a v s 编码器。 全文总共分为七章，各章内容如下： 第一章：介绍视频压缩技术以及编码器实现平台。 第二章：介绍a v s p 2 视频标准中的关键技术，包括帧内预测、帧间预测、 变换量化、环路滤波以及熵编码。 第三章：本章首先详细介绍了本a v s 编码器的系统框架以及其重要的数据 结构，接着介绍了编码器所采用的滑动窗口帧存管理方案以及p i n g p o n g 缓冲技术，最后给出了a v s 编码器软件流程。 第四章：本章针对影响a v s 编码器性能的运动估计、模式选择以及s k i p 模式预判算法，提出了更优的算法及方案，并通过实验数据证明了所提出 算法对编码质量的改善。 第五章：本章提出一种新的基于运动复杂度的码率控制方法，它适用于采 用运动估计补偿技术的具有多种宏块划分模式的视频编码标准( 如 h 2 6 4 a v c 和a v s ) 。该算法在保证编码质量的同时，降低了编码器的计算 复杂度。 第六章：详细介绍了a v s 编码器在d s p 上的移植与优化。 第七章：对已完成的工作进行总结，并展望后续工作。 一1 一 浙江大学硕十学位论文 第2 章a v s p 2 视频标准中的关键技术 a v s 标准是信息技术先进音视频编码系列标准的简称。当前国际上音 视频产业多数选择的视频信源编码标准有四个：m p e g 一2 、m p e g 一4 、m p e g - 4a v c ( 简称a v c ，也称j v t 、h 2 6 4 ) 、a v s 。a v s 标准是我国在2 0 0 6 年2 月颁布的具 备自主知识产权的信源编码标准。在编码效率上与h 2 6 4 相当，都在m p e g 一2 两倍以上。a v s 视频标准可广泛服务于高分辨率数字广播，高密度激光数字存 储媒体，无线宽带多媒体通信以及互联网宽带流媒体等重大信息产业应用中。 a v s 标准比m p e g 标准及h 2 6 4 标准的实现复杂性低，同时，由于a v s 是我国具 有自主知识产权的标准，在专利收费上也具有绝对优势，因此，在我国必将是 音视频产业开发应用的首选标准“”。 a v s p 2 采用基于块的混合视频编码框架。具体包括运动估计，运动补偿， 空域上的变换以及基于统计的熵编码等技术。编解码的基本单位是宏块，一个 宏块包括一个1 6 1 6 的亮度样值块和2 个8 8 的色度样值块。语法结构上码 流包括：序列、图像、条带、宏块、块。图像类型有i 、p 、b 三种。宏块有帧 内预测和帧间预测两大类。块是空间预测补偿、时间预测补偿和空间变换的基 本单位。在a v s 标准中，块的大小为8 8 个像素。 2 1 帧内预测 和第代压缩标准m p e g 一2 所采用的基于频域的帧内预测不同的是a v s - p 2 的 帧内预测技术采用了基于空域的帧内预测的思路，采用代表空间域纹理方向的预 测模式，利用当前块的相邻像素直接对每个系数做预测，更有效地去除相邻块之 间的相关性，极大地提高了帧内编码的效率。在h 2 6 4 a v c 中，亮度信号的帧内 预测分为两种，一种是以4 4 的块为单位，共包括9 种预测方式：另一种是以1 6 1 6 的块为单位，共包括4 种预测方式。和h 2 6 4 a v c 相比较，a v s p 2 兼顾高清视 频的特点并且充分利用人眼的视觉掩盖效应，亮度和色度帧内预测都是以8 8 块为单位的。亮度块采用5 种预测模式，色度块采用4 种预测模式，而这4 种模式 中又有3 种和亮度块的预测模式相同。由于a v s p 2 采用较少的预测模式，使得在 编码质量相当的前提下，使方案更加简洁、实现的复杂度大为降低。实验证明， a v s p 2 采用的5 种模式仅比h 2 6 4 a v c 采用的9 种模式损失0 0 5 d b 的p s n r “。 a v s 采用基于8 8 块的帧内预测。亮度块有5 种帧内预测模式，i n t r a8 x 8d c ， i n t r a 一8 x 8 一v e r t i c a l ， n t r a 一8 x 8 一h o r i z o n t a l ，i n t r a 一8 x 8 一d o w n l e f t ， i n t r a 一8 x 8 一d o w n r i g h t ，如图2 1 所示。色度块与之类似，有四种帧内预测模式。 相邻已编码块在环路滤波前的重建像素值用束给当前块作参考。 当前帧内预测块出其上边和左边的参考样本， i ( 卢o 1 6 ) 和d 力( 产o 1 6 ) 来预测( ，、c 可表示亮度或色度参考样本) ，见图2 1 ，其中r i o 等于c r o 。 一8 一 浙江大学硕上学位论空 如果帧内预测需要用到j 大于1 6 的上边和左边的参考样本，n r e 力= r e 6 ， c 力= c e l 6 ( i 1 6 ) 。 图2 - 18 8 亮度块帧内预测模式 与m p e g 一4a v c h 2 6 4 的4 4 f j ：的帧内预测相比，大的预测块将增加待预测样 本和参考样本间的距离，从而减弱相关性，降低预测精确度。因此在a v s 的d c 模 式，先用3 抽头低通滤波器( 1 ，2 ，1 ) 对参考样本滤波。另外，在a v s 的d c 模式中， 每个像素值由水平和垂直位置的相应多个参考像素值来预测，所以每个像素的预 测值都可能不同。这种d c 预测较之h 2 6 4 中的d c 预测更精确，这对于较大的8 8 块尺寸来讲很有意义。 2 2 帧间预测 可变尺寸块、多参考帧和1 4 像素精度是a v s - p 2 运动补偿技术的3 个新特征。 帧问运动补偿编码是混合编码技术框架中最重要的部分之一。a v s - p 2 标准采用了 1 6 1 6 、1 6 8 、8 1 6 和8 8 的块模式进行运动补偿，而去除了h 2 6 4 a v c 标准 中的8 x 4 ，4 8 ，4 4 的块模式。实验表明，对于高分辨率视频，a v s p 2 选用的 块模式已经能足够精细地表达物体的运动。采用较少的块模式，能降低运动矢量 和块模式传输的开销以及环路滤波中模式选择的复杂度和滤波块的边界数目， 从而提高压缩效率、降低编解码实现的复杂度。 在第一代视频编码标准中，b 帧有一个前向参考帧和一个后向参考帧，p 帧有 一个前向参考帧。而最新的t t 2 6 4 a v c 充分地利用图片之问的时域相关性，允许p 帧和b 帧有多个参考帧，最多可以有3 1 个参考帧。多帧参考技术在提高压缩效率 的同时也将极大地增加存储空间与数据存取的开销。在a v s p 2 中，p 帧可以利用 至多2 帧的前向参考帧；而b 帧使用了直接模式、对称模式和跳过模式，采用前后 9 浙江大学硕 学位论文 各一个参考帧，其参考帧存储空间与数据存取的丌销与传统视频编码的标准相 当。 帧问预测与补偿中a v s p 2 和h 2 6 4 a v c 都采用了l 4 像素精度的运动补偿技 术。h 2 6 4 a v c 采用6 抽头滤波器( 1 3 2 、5 3 2 、5 8 、5 8 、5 3 2 、1 3 2 ) 进行半像 素的卷积内插方案并采用线性滤波器进行i 4 像素插值。而a v s - p 2 则简化了设计， 采用了4 抽头滤波器进行半像素插值和1 4 像素插值，亮度亚像素插值分成1 2 和 1 4 像素插值两步：1 2 像素插值用4 抽头滤波器h 1 ( 一1 8 、5 8 、5 8 、一1 8 ) 。1 4 像素插值分两种情况：8 9 一维1 4 像素位置用4 抽头滤波器h 2 ( 1 1 6 、7 1 6 、7 1 6 、 1 1 6 ) ；另外4 个二维1 4 像素位置用双线性滤波器h 3 ( 1 2 、i 2 ) 。相较于h 2 6 4 a v c 的亚像素插值，在不降低性能的情况下减少插值所需要的参考像素点，数据带宽 减小1 1 “，而计算复杂度没有提高。 2 3 变换量化 a v s p 2 采用的是8 x 8 - - 维整数余弦变换，并且变换与量化可以在1 6 位处理器 上无失配地实现，而且只需要加法和移位就可以直接实现。消除了h 2 6 4 a v c 之 前所有视频压缩编码国际标准中采用的8 x 8 d c t 变换存在失配的固有问题。而和 h 2 6 4 a v c 所采用的4 4 整数变换相比较，