（计算机软件与理论专业论文）基于dm648的avs实时编码关键技术研究.pdf

摘要 摘要 近几年来，多媒体技术发展突飞猛进，视频处理技术作为多媒体技术的一个 子集，也得到了快速发展。但是因为海量的视频数据对于传输或者存储都是很不 方便，所以对这些海量数据的及标准压缩化是当今视频技术发展的关键问题。 a v s 标准针对中国巨大的市场需求，由我国自主研发制定的第二代视频信源 编码标准。在这标准中的第二部分，也就是视频部分，于2 0 0 6 年正式成为国家标 准。与m p e g 2 相比，a v s 标准编码效率要高出3 倍左右，但是a v s 的实现技术 方案简单，硬件实现复杂度低，达到了第二代视频编码标准的最高水平。a v s 与 以前的视频压缩标准相比，在编码效率和信道自适应能力上都具有明显的优越性。 因此，对a v s 中的一些关键算法的研究很有必要。 本文是对a v s 编码关键技术的分析与研究，主要是对a v s 编码的三个关键算 法一一运动估计、模式抉择和子像素插值一一进行进行了研究与优化。 1 对于运动估计算法。本文在分析以往运动估计算法的优劣的基础上，对经 典的菱形算法提出了一些改进，改进的思想是增加大模块的搜索位置，减 少小模块的搜索位置，使得总的搜索复杂度下降，而不影响图像质量。 2 对于模式抉择算法。本文提出一种快速帧间模式抉择算法，该算法针对以 往算法只能一个宏块一个宏块独立选择模式的缺点，结合d m 6 4 8 的结构特 点，将一帧中的所有宏块划分为若干连续的宏块，对每个连续宏块中的所 有宏块模式的计算进行连续的循环处理。 3 对于子像素插值算法。本文分析了子像素插值的原理，插值的过程，以及 最后插值算法的设计与优化，并通过对仿真结果的分析，证明了优化后的 子像素插值算法的优越性所在。 关键词：a v s ，运动估计，模式抉择，子像素插值 a b s t r a c t m u l t i m e d i at e c h n o l o g yi sd e v e l o p i n g i sas u b s e to fm u l t i m e d i at e c h n o l o g y , s o v e r yq u i c k l y i nr e c e n ty e a r s ，v i d e ot e c h n o l o g y v i d e oi sq u i c kd e v e l o p i n gt o o b e c a u s eo f t h e l a r g ea m o u n to ft h ed a t ai nav i d e os e q u e n t , b o t ht r a n s m i s s i o na n ds t o r a g ea r e n o t c o n v e n i e n c e s oi ti sb e c o m i n gah o tt o p i ct oe n c o d et h e s el a r g ev i d e od a t aa n d m a k ei t t os t a n d a r d i z e a v si sas i g n a le n c o d i n gs t a n d a r dw h i c hi sd e v e l o p e db yt h ea u t o v i d e oc o d i n g s t a n d a r dw o r k i n gg r o u po fc h i n a , t h i ss t a n d a r da i ma tc h i n e s em a r k e t ，b e c a u s et h i s s 切【n d a r di sa d v a n c e ds oi tb e l o n g st h es e c o n di n t e r n a t i o n a ls t a n d a r d v i d e op a r ti s t h e s e c o n dp a r to ft 1 ：l i ss t 缸d a r d ，t h i sp a r ti sa p p r o v e dt ot h en a t i o n a ls t a n d a r do n 3 0 t ha p r i l ， 2 0 0 6 a v ss t a n d a r di st h es e c o n dv i d e os t a n d a r db e c a u s ei t se n c o d i n ge f f i c i e n c y i s m o r e 也a n2 - 3t i m e so fm p e g 2s t a n d a r d ，a n dh a v et h e s a l n ee f f i c i e n c yw i t ha v c s t a n d a r d m o r e o v e rt h ea v s t e c h n i c a lp l a ni sv e r ys u c c i n c t ，a n dt h ec h i pi sl e s sc o m p l e x i ta l s oa c l l i e v e st h eh i g h e s tl e v e lo fs e c o n dg e n e r a t i o n a v sh a so b v i o u ss u p e r i o r i t y 1 1 1 饫= n i l so fc o d i n ge f f i c i e n c ya n dc h a n n e la d a p t i v ec a p a c i t y , c o m p a r e dt ot h o s ee x i s t i n g v i d c o m p r e s s i o ns t a n d a r d s s oit h i n ki ti sv e r yn e c e s s a r yt os t u d yt h ek e y a r i t h m e t i c o f a v s a c c o r d i n gt oa n a l y z i n ga n dr e s e a r c h i n gt h ek e yt e c h n o l o g yo f a v sd e t a i l e d l yi nt h i s p a p e r ，w et h i n kt h ep i v o t a lp o i n to ft h ea v se n c o d i n gt e c h n o l o g y a r et h et h r e e a r i t 岫e t i c s m o t i o ne s t i m a t i o n 、p a t t e r nc h o i c ea n ds u bp i x e l i n s e r t 1 a b o u tm o t i o ne s t i m a t i o n a r i t h m e t i c w ea n a l y z e d t h ea d v a n t a g ea n d d i s a ( 1 v a n t a g eo fo l da r i t h m e t i ca n dt h e ni m p r o v e dd s a r i t h m e t i cw h i c hi sac l a s s i c a l a d t h m e t i c ，w er e d u c e dt h ec o m p l e x i t yo fe n c o d i n ga r i t h m e t i cv i ae n l a r g i n gt h e s e a r c h s c o p ef o rl a r g em o d u l ea n dr e d u c i n gt h es e a r c hs c o p e f o rt h es m a l lm o d u l eb u ti td o n o ta f f e c tt h ei m a g eq u a l i t y 2 a b o u tp a t t e md l o i c ea r i t h m e t i c a i m e d a tt h ed i s a d v a n t a g eo ft h eo l d 池甜c sa n dc o m b i i l e dt h es t r u c t u r a lc h a r a c t e r i s t i co fd m 6 4 8 w eg i v e dan e w d a t t 锄c h o i c e 撕t h m e t i ci nt h i sp a p e r , t h i sa r i t h m e t i cd i v i d ea l lm o d u l e si n t os e v e r a l c o n t j n l 】a u sm o i h d e si no n ef r a m e ，a n dt h e nc o m p u t et h e mo n eb yo n e c i r c u l a r l ya n d i i 垒呈墨坠堕 c o n t i n u o u s l y 3 a b o u ts u bp i x di n s e r ta r i t h m e t i c w ea n a l y z e dt h e i n s e r tt h e o r y , p r o c e s sa n d a r i t h m e t i cd e s i g na n do p t i m i z e ，a n dt h e na c c o r d i n gt o a n a l y z i n gt h es i m u l a t e dr e s u r ， w ep r o v e dt h ea d v a n t a g eo ft h e o p t i m i z e ds u bp i x e li n s e r ta r i t h m e t i cf i n a l l y k e y w o r d ：a v s ，m o t i o ne s t i m a t i o n ，p a t t e r nc h o i c e ，s u bp i x e li n s e r t i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期： 关于论文使用授权的说明 黾6 日 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 第一章绪论 1 1 本课题的研究背景 第一章绪论 近几年来，多媒体技术( 例如视频、音频、图形图像等) 迅速发展，这就标志着 人类社会的不断发展，目前已经步入数字化时代。 很多年以来，我国人口数量都是位居世界之首，这必将带动多媒体技术的不 断发展，尤其是在数字音视频方面，中国具有巨大的市场，根据对我国各种产业 的统计数字显示，到2 0 0 8 年为止，数字音视频产业已经跃居首位，年产值高达9 0 0 0 亿元，这个产值超过了信息产业；根据分析和对未来发展的预测，到2 0 1 0 年，音 视频产业至少会达到1 5 万亿元以上，这样的收入必将成为国民经济的第一大收 入。目前，国际上比较通用的音视频编解码标准被分成两大系列，即m p e g 。x 系 列和h 2 6 x 系列，同时这两个系列的编码标准也是最具有典型的。正是因为我国 没有自己的视频标准，所以多数企业不得不使用以上两大系列中的一种，但是由 于要使用这些标准涉及到众多不便之处，因为这些标准都具有诸多的专利技术， 或者受到法律的保护着，要使用它每年必须要交纳的专利费用惊人的多，一般都 是数十亿甚至上百亿，这必然会给我国信息产业的发展带来诸多不利因素，必然 会严重的制约其发展【l 2 1 。 鉴于以上存在的问题，我国国家信息产业部科学技术司终于在2 0 0 2 年批准成 立了我国的第一个数字音视频编解码技术标准工作组，该工作研究制定了我国的 第一个音视频标准，即先进音视频编码系列信源编码标准，简称为a v s 标准，a v s 包括的内容很多，包括了从视频压缩技术到系统规范的一整套标准；它根据中国 音视频产业的需求，由我国的科研机构和企业牵头，联合音视频相关的国际组织 和企业，根据和参照国际开放式规则制定的中国自主的音视频标准。a v s 标准的 制定和推广对我国多媒体产业的发展有着极其重要的作用。 在2 0 0 2 年，召开了第一次a v s 会议，从那时到现在a v s 已经发展了七年， 在这七年间，针对a v s 涌现了许多优秀技术提案，结合这些优秀提案我国成功地 制定了视频编码标准，这种标准可用于高清的数字电视、流媒体、移动通信等应 用。而且经过这七年的发展，在其他方面( 音频、版权、系统等) 也已取得一定的成 果。目前，a v s 已经形成了一套标准体系。 电子科技大学硕士学位论文 本课题主要研究基于a v s 标准的音视频处理技术和开发出基于a v s 标准的各 种软件系统，并开发出基于a v s 标准的非线性编辑系统。主要包括以下几个方面： 1 ) 开发基于t i st m s 3 2 0 d m 6 4 8 的支持d 1 分辨率的a v s 编码库和应用系统； 2 ) 开发基于t i s t m s 3 2 0 d m 6 4 8 的支持d 1 分辨率的a v s 解码库和应用系统； 3 ) 开发基于t i st m s 3 2 0 d m 6 4 8 的a v s 音频编解码库和应用系统； 4 ) 开发广播级的a v s 非线性编辑系统：p c 平台上非线性编辑库；p c 平台上 非线性编辑系统应用程序； 5 ) 开发基于p c 平台的从m p e g 2 到a v s 的转码库和应用系统； 6 ) 研究基于a v s 的视频检索技术，并开发出p c 平台上的原型系统。 本论文主要介绍a v s 压缩技术的相关内容，并对其中比较关键的几个算法进 行了分析研究，最后在不影响图像质量的情况下，对几种算法提出了改进，使得 改进后的算法更能满足实时性的要求。我们采用t i s t m s 3 2 0 d m 6 4 8 作为处理板 卡。在编码器中对板卡上特有的视频采集芯片采集的实时视频进行编码，然后存 储压缩后的数据，形成a v s 编码库，并将该编码库应用于p c 平台上的非线性编 辑系统中。 1 2 视频压缩编码技术基本原理 视频压缩技术的发展历史比较悠久，它开始于1 9 5 2 年，截至到目前为止已经 具有接近6 0 年的发展历程，如图1 1 所示，它起始于贝尔实验室的差分脉冲编码 第一代标准第二代标准 i t u j s t a n d a r d s i l2 6 1h 2 6 3l l2 6 3 +l l2 6 3 + + 1 ”it 删巳g s t a n d a r d 8 l l2 6 2 印髓- 2 l2 6 4 m p e 64 v c l 麟 s t a n d a r d s 般髓j肝眦i fifil 1 9 8 4 1 9 8 6l g昭1 9 9 01 9 9 21 9 9 4 m a l i l i a 图1 - 1 视频编码标准的发展历程 2 第一章绪论 调锘i ( d p c m ) 技术。在这近6 0 年的发展过程中，相继出现了许多的视频编码技术， 但是就目前来看要数变换编码、预测编码和熵编码三种技术最为经典，其中变换 编码主要是从空间上进行考虑，用于去除视频信号的空间冗余；预测编码是从时 间上进行考虑，用于除去时间冗余；而熵编码是从统计上进行考虑，用于除去统 计冗余【3 1 。 将以上三种典型的结合起来就构成了目前比较经典的一种混合编码框架就是 结合这几种编码技术的优缺点组合而成的，这种编码框架以块为单位进行预测。 截至于当前，这一混合编码框架已经几乎用于国内外全部的视频编码标准中，包 括国际上主流的h 2 6 x 系列和m p e g x 系列，以及中国自主研发制定的a v s 标 准。这些标准或者技术主要就是为了改进视频数据的表示方式，在不影响质量的 情况下，采用尽量少的数据来表示，这样当视频传输带宽受到限制或者存储空间 不够的时候，海量的数据也能得到很好传输或存储。 当前视频编码技术被分成有损编码和无损编码两大类，分类的依据就是看压 缩前后信息损失情况，有信息损失就是有损，没有信息损失就是无损。对于无损 压缩，又称为可逆编码，这种编码技术的明显优势就在于在编码过程中不会丢失 任何数据，但是正因为这种明显的优势也将使得该技术的编码率变得相当低，目 前使用较多的无损编码技术有霍夫曼的可变长度特征编码、游程编码和算术编码 等；对于有损压缩，所谓有损，顾名思义，有损压缩的意思就是在视频的压缩过 程中会有数据的丢失，丢失的数据一般都是些人眼所不能敏感到的数据，但是这 些数据丢失以后将没有办法恢复，因而这种编码技术是不可逆的【4 1 。虽然有损压缩 会有信息丢失，但丢失的都不会是关键数据，又因为有损压缩的压缩率一般都比 较高，所以，一般而言高压缩率的算法一定会采用有损压缩技术，这样做的目的 就是为了尽可能的减少数据量。根据对以上两种压缩技术的优缺点分析可知，当 前比较流行的视频编码技术都应该采用的是有损压缩技术。 对视频压缩技术进行划分的另一种思路就是从视频压缩的思想上出发，根据 这种分类方式，可将其划分为波形编码和模型编码【3 叫两大类。 波形编码，顾名思义，它必然是基于信息论的相关理论，该编码方法将视频 信号看作是二维或三维的波形信号，并且根据波形信号的统计规律，研究有效去 除视频信号的空间和时间冗余性，最后实现视频数据的压缩。主流的波形编码有 预测编码、变换编码、小波编码等。 对于模型编码一般被视为是对视频图像内容的理解，该方法利用对图像模型 假设和图像中目标或景物的结构化特征来提高压缩率，从而实现对海量数据的压 3 电子科技大学硕士学位论文 缩。如果要对模型编码进行细分的话，它又被分为两类，一类是面向对象的编码， 这类编码方式是基于普遍景物的；另外一类是面向语义的编码，这类编码方式是 基于特定景物的。第一类是针对未知物体，用一般性的参数集合描述编码对像， 这类集合比较多，像景物集、形状集和色彩集等，对于这一类编码方法，它对于 景物的先知性比较少，所以它在整个编码过程中必须要实时的预测或者估算模型 参数，进行实时的建模，故这样做就会降低编码效率，所以这类编码方法适用于 一般的景物对象；至于第二类，它与第一类有很大不同，它是针对特定景物对像， 用限定的参数集描述编码图像对像，对于这一类编码方法，由于它是针对特定的 景物，所以它在编码开始之前已经对景物知道很多，故它可以在编码之前就进行 建模，进行编码的时候仅仅需要传送那些必须的特征参数或运动参数，这样就会 使得编码效率比较高。 虽然模型编码具有很多优点，但同时它也具有计算量大的缺点，然而正是因 为这种缺点的存在，使得该编码方法在通用的视频压缩领域用得并不广泛，目前 国际上的几种主流视频编码标准，像h 2 6 x 系列、m p e g x 系列都是采用的波形变 换混合编码方法。 香农信息论是视频压缩技术的出发点，传统的视频压缩技术都是采用概率统 计模型来描述信源。香农定理的原理是：在不产生任何失真的前提下，通过合理 的编码，对于不同信源符号分配不等长的码字或者根据信源符号出现的频率不同 也采用不同的码字表示，使得平均码长尽可能的接近信源的熵。根据香农定理， 几种无失真的编码技术便产生了，他们是游程编码、霍夫曼编码和算术编码等， 这些编码就是所谓的熵编码。 1 2 1 熵编码 如果根据有损无损来划分的话，熵编码属于无损编码方法；如果根据压缩思 想来划分的话，熵编码属于具有信号统计特性的压缩方法，综上所述，熵编码是 一种无损的波形编码方式，用此方法编码的图像在解码后必定能无失真地重构出 原始图像。熵编码技术的实现原理是根据信源符号的出现概率来决定表示它的码 字长度，通常是用短码字表示出现概率较大的符号，而对于那些出现概率较小的 则用长码字来表示，这样做的目的就是为了减小平均码长。熵编码仅仅是把需要 压缩的数据流看作是简单的数字序列，它并不关心这些数据的具体代表什么意思， 所以熵编码不是面向语义的编码方法。 4 第一章绪论 游程编码、霍夫曼编码和算术编码是目前使用最为广泛的熵编码方法，其中 霍夫曼编码又是这三种编码中使用最为广泛的一种。 游程编码主要是从数据中相同字节序列比较多时候进行考虑的，对于那些相 同的字节序列，采用更紧密的序列来代替它们，从而实现压缩。游程编码方式最 适合的场合就是当经过采样量化后很大一部分参数为零的情形，这个时候利用游 程编码来表示连零码，这样就能大大的减少为了表示连零码所要采用的数据量。 霍夫曼编码方法是唯一一种能给出最佳编码的熵编码方法，之所以这样说， 主要是因为霍夫曼编码能够根据己知概率分布决定最小编码位数，故采用霍夫曼 编码编码的编码字符的位长度是变化的，即根据字符出现的频率来决定采用什么 样的码字来表示，对于出现频率最高的字符用最短的码字表示，用最长的码字表 示出现频率最小的字符，这样做能减小编码码字的平均长度，从而提高编码效率。 霍夫曼编码被认为是最佳的变长编码方法，之所以这样说是因为相对于其他的编 码方法来说，对于相同概率分布的信源来说，它的平均码长是最短的，所以认为 它是最佳的变长编码方法。但霍夫曼编码的最大缺点就在于它在进行编码的过程 中，必须对信源的概率分布了解清楚，这很难做到，所以在通常情况下，只能采 用大量数据统计后的近似结果来代替，但是不同的图像类型其系数分布总有所差 异，这就必然会导致在实际应用时无法达到最佳性能。 算术编码也是一种熵编码方式，它起源于是2 0 世纪8 0 年代。采用这种编码 方式可以根据信源的统计特性来设计具体的编码器来消除统计冗余，也可以设计 一种自适应概率分布的编码器，这种编码器是针对未知模型的信源而设计的，值 得提出的是，采用这两种方式实现的编码器都可以在硬件上来实现，这样对编码 的效率提高有很大帮助。 1 2 2 预测编码 预测编码的分类有几种情况，如果按照线性与否来划分的话，可以被分为线 性预测和非线性预测两种；如果按照适用范围来划分的话，可以被分为帧间预测 和帧内预测，帧间用于多幅图像之间，帧内用于一幅图像之内。该方法主要考虑 的是消除空间和时间冗余的问题，用已经编码的帧作为参考帧来预测当前帧，即 让当前帧与参考帧进行比较得到运动矢量，然后在进行运动补偿得到残差值，最 后仅仅只对残差值进行编码，这样做的好处就是为了减少运算量、降低复杂度。 采用预测编码方式要想提高效率的关键就在于预测算法的选择问题，选取不 电子科技大学硕士学位论文 同的预测算法，对预测编码的整体效率影响相当大，但是预测算法的选取一般都 与图像信号的概率分布密切相关，在实际应用中通常都是根据大量的统计结果采 用简化的概率分布形式来设计最佳的预测器，有时还使用自适应预测器，以便较 好地刻画图像信号的局部特性，提高预测效率。 所谓线性预测指的就是d p c m ( 差分脉码调制) 。帧内预测编码一般采用像素预 测形式的差分脉码调制，使用该方法的最大优点就是算法简单、易于硬件实现。 然而，该方法同时也具有对信道噪声及误码很敏感，容易产生误码扩散，使图像 质量大大下降等缺剧引。 通过帧间预测能够获得的压缩比要远远大于采用帧内预测所得到的，所以如 果要进行视频编码标准的研究，进行帧间算法的研究是一个毕竟过程。作为消除 图像帧之间相关性的主要手段之一，帧间预测是视频编码中的重要组成部分，在 整个视频编码框架中，帧间预测所占的地位无与伦比。帧间预测一般是针对图像 块( 宏块) 的预测，它采用的技术有帧重复法、阈值法、帧内插法、运动补偿法、和 自适应交替帧内帧间编码法等，其中，运动补偿技术受到各种视频编码标准青睐。 虽然预测编码在视频编码中占有及其重要的作用，但是这类编码方法也有其不足 的地方，其主要缺点在于对图像序列不同的区域，预测性能不一样，特别是在快 运动区，预测效率很差，而且为了降低预测算法的运算复杂度和提高预测精度， 一般要对图像进行分块后再预测，这势必造成分块边缘的不连续。 1 2 。3 变换编码 据统计，对于绝大多数图像来说，一幅图像的绝大部分都是平坦的或者内容 变化缓慢的，内容变化较大或者需要细节处理在图像中仅仅占很小的比例。这样 一来，变换编码方式就必然产生了，变换编码的原理是将空间的图像变换所谓的 变换域，通过这样的变化就会产生相关性很小的一系列变换系数，然后只对这些 参数进行编码。 变换编码主要就是从消除空间冗余方面进行考虑的，它通过信号变换来消除 图像的空间冗余。消除空间冗余的方法是将空间相关的点通过变换映射到另一个 正交矢量的空间上，这样做的目的就是使变换后的系数间的相关性降低。离散余 弦变换就是一种编码编码方式，也是实际编码工作中，人们使用最为广泛的一种。 门限值是变换编码中的一个特殊概念，对门限值的使用是变换编码技术与其 他编码方式之间的一大差别，变换编码技术一般对变换后图像系数的编码采用的 6 第一章绪论 都是门限编码加区域编码相结合的形式，而且门限值也是根据编码区域的不同而 改变的，对不同区域采用不同的门限值。比如d c t 变换后幅值较大的系数大多数 集中在图像的左上角，与其它系数相比，这些低频系数具有的能量较大，包括了 图像的大部分内容，在变换图像中地位最重要，应使他们量化误差最小；变换系 数中许多系数幅值较小，这些幅值只带有原始图像中很小比例的能量，所以这些 幅值的系数对图像质量影响相对较小，所以就会设定一个门限值，也就是通常所 说的阀值，将小于阈值所有变换系数都设置为零，对于为零的部分就不用进行编 码，从而大大的减少了编码数据量，提高了编码效率。在d c t 图像编码中对变换 系数进行“z ”形排序，这种做法有效地解决了将连零系数组织起来的问题。 1 2 4 其他编码方法 除了以上三种常用的、经典的编码方法以外，还有诸如子带编码、子采样编 码、统计分快编码、分形编码与模型基编码等视频编码方式。 由于混合编码具有计算量不大、抗干扰能力强和压缩比高等优点，所以现有 的视频标准都采用的是混合编码方法。这些高级的视频编码技术采用离散余弦变 换、行程编码、预测编码以及基于统计特征的熵编码的混合，目的就是为了得到 极高的压缩比，而且这样做不会造成图像质量的大幅度降低，即使偶尔会有少量 影响，但都是人眼所无法敏感到的【7 】。 近几年，随着小波变换的迅猛发展，利用小波变换进行变化编码的人越来越 多，与经典的傅立叶变换分析相比，小波变换能更加有效地提取信号和分析局部 信号，可以说小波变换是傅立叶变换的批判继承，它既拥有傅立叶变换的优点， 同时又克服了它的许多缺点，所以在静态和动态图像压缩领域，小波变换都得到 了广泛的应用。 1 3 本论文的主要内容及安排 本文所讨论的主要内容包括：1 对运动估计算法进行优化；2 提出了一种快速 帧间模式抉择算法；3 深入分析了子像素插值算法的原理、插值过程以及插值算法 的实现，并对插值算法进行优化。 本文共分为6 章，以下为各章的内容的概述： 第一章：绪论，主要介绍了课题的研究背景、视频编码技术的基本原理以及 本论文的主要研究内容与章节安排。 7 电子科技大学硕士学位论文 第二章：a v s 视频编码标准分析与d m 6 4 8 平台介绍，主要介绍了a v s 编码 框架；a v s 编码的核心技术，包括帧内预测、帧间预测、变换与量化、熵编码和 环路滤波；a v s 编码算法的流程，主要是以d s p 实现的为例的i 帧和p 帧编码流 程；最后对本文a v s 编码标准的实现平台d m 6 4 8 进行了简要介绍，并简单的 分析了选择该平台的优势所在。 第三章：运动估计搜索算法研究，介绍了运动估计原理；对现有常用运动搜 索算法进行优劣分析，然后根据现有算法的缺点，对d s 算法进行改进和优化，在 不影响编码质量的前提下，增加大模块的搜索范围，减小小模块的搜索范围，从 而降低搜索复杂度，提高编码效率，最后在d m 6 4 8 平台上进行了算法仿真，证明 了算法的可行性。 第四章：帧间模式抉择算法研究，首先对传统的模式抉择算法和当前用的比 较多的率失真优化算法进行仔细的分析与研究，针对这两种算法所存在的缺点即 只能对一个宏块一个宏块的单独处理并结合d m 6 4 8 的结构特点，提出了一种快速 帧间模式抉择算法，该算法针对以往算法只能一个宏块一个宏块独立选择模式的 缺点，将一帧中的所有宏块划分为若干连续的宏块，对每个连续宏块中的所有宏 块模式的计算进行连续的循环处理，最后在d m 6 4 8 平台上进行了算法仿真，证明 了算法的可行性和优越性。 第五章：子像素插值算法研究，分析了子像素插值的原理，插值的过程，以 及最后插值算法的设计与优化，并通过对仿真结果的分析，得出优化后的子像素 插值算法的优越性所在。 第六章：总结与展望，主要对本文中用的技术和研究工作总结，提出不足和 需要改进之处以及对将来的展望。 第二章a v s 视频编码标准分析与d m 6 4 8 平台介绍 第二章a v s 视频编码标准分析与d m 6 4 8 平台介绍 2 1a v s 标准概述 a v s 视频编码标准是中国第二代信源级的编码标准，并且是中国拥有自主知 识产权的第一个( 同时也是唯一的一个) 视频编码标准。所谓“信源”，即产生信息 的“起点 ，这种数据的数据量一般都是海量的，那么将这些数据量处于海量级别 的、数字化的语音或者视频等各种多媒体数据，按照性能给定要求进行有效的编 码、压缩，即信源编码技术核心，鉴于这些原因，所以也将在这个过程中使用的 技术称之为数字音视频编解码技术。数字化的音频或者是视频信息甚至一些其他 的多媒体数据如果需要具备良好的传输、存储、播放等功能，其前提条件就是采 用优化的数字视频压缩技术进行先期处理【9 】，将海量的数据减少到给定要求的范围 之内。 作为a v s 标准整个文档系统，主要由系统、视频、音频、数字版权管理四个 技术性标准，以及一致性测试等支撑标准构成 9 】。其中视频部分，也就是a v s l - p 2 作为a v s 标准的第二部分内容，它的技术性规范文档于2 0 0 3 年1 2 月才完毕。该 视频编码标准有着特殊的处理对象，其主要面向的对象是比较高端的视频服务领 域的编码应用，比如标清和高清的视频编码应用服务。根据性能的划分，a v s 属 于高性能的视频编码标准，所以将其归属于高效的第二代视频编码技术，而且他 完全是由中国独立研发和制定的，所以它是中国独立拥有自主性的视频编码标准， 具有中国自主的知识产权，但它也不是完全孤立于中国的技术，它也吸收了国内、 国外相关领域最新的、最优秀的视频研究方面的结晶。相对m p e g - 2 标准来讲， a v s 在编码效率上提高了至少二至三倍。在标清视频广播应用服务领域中，在传 输带宽要求上，m p e g - 2 标准需要5 - 6 m b s ，而a v s 视频编码标准，至少可以减 小到1 5 , - 3m b s ，这足以看出a v s 的先进性。在具备如此高效的编码技术下，可 不用采取工程庞大的宽带光纤网络升级，仅需借助a v s 视频编码技术，就可以基 于现有家用数字用户线( d s l ) 网络2m b s 带宽的条件下，应用i p t v 技术服务。 为了尽最大可能获得高效的编码质量的同时，a v s 视频编码标准同时需要保 证较小的计算复杂度和实现上的难度因素。在高清视频技术的编码应用领域中， 单从编码效率这个层面来看，a v s 视频编码标准与a v c h 2 6 4 视频编码标准基本 9 电子科技大学硕士学位论文 致；但在解码器模块的软件和硬件实现复杂度上，前者仅只有后者6 0 - - 一7 0 的 复杂程度。在专利管理方面，a v s 标准专利许可申请流程简洁、方便，仅仅通过 一站式的流程即可办理许可政策，避免了m p e g - 4 标准与a v c h 2 6 4 标准长期因 被专利许可问题致使难以实现产业化的弊端。同时在专利许可费问题上，a v s 标 准的专利费用远低于其它国际同类标准的费用【2 7 1 。 根据上述分析情况看，a v s 编码标准具有以下方面的特点和自身优势： 自主性：之所以说其具有自主性，原因是该标准是完全由我们自主研发制 定的信源编码技术标准，它完全避开了国际专利的限制。 先进性：因为该标准领导国际潮流的专利池管理方案，其性能已经达到了 当前国际上的优秀编码标准的要求，已经是先进的第二代编码标准。 开放性：该标准的整个制定过程中是完全开放化、国际化的，几乎不具有 封闭性。 2 2a v s 编码框架 当前在国际上比较先进的视频编码标准基本上都是采用的比较典型的混合编 码框架，当然作为第二代标准之一的a v s 编码标准中也不会例外，其编码框架结 构与h 2 6 4 编码标准相同，该框架结构组成如图2 1 所示。虽然这些先进的编码编 码标准采用相同的编码框架，但是不同的编码标准出于不同的考虑和侧重，以及 面对不同的应用服务基准，决定了它们在技术各有侧重和优势，同时各自对复杂 度性能的衡量指标也不尽相同，这就带来它们在编码复杂性与编码效率上各有特 色。比如，就在编码器复杂程度而言，一般情况下都按照h 2 6 4 的编码器比m p e g 2 的编码器复杂九倍左右的指标进行判定。因a v s l p 2 在编码模块中所采用的各种 编码优化技术，所以其复杂度都有所减小，故该标准在整体上编码器的复杂程度 上约为m p e g 2 的六倍左右，同时在视频清晰度上不逊于h 2 6 4 表现出的性能【l 。 根据a v s 编码标准的框架结构，我们可以很明显的看出，该框架主要由五个 部分组成：变换、量化、熵编码、预测、环路滤波，这五个部分都是编码流程的 关键所在，缺一不可。其中预测部分由帧内预测和帧间预测两部分构成，帧间预 测又是编码流程中复杂度最高的一个模块。a v s 编码标准之所以能能提高编码性 能，达到第二代标准的要求，主要是在其创新上得益于采用了大量的优化技术， 这些先进的优化技术，使其能在较小的复杂度要求下表现出不逊于国际同类标准 体现出的性能，同时a v s 编码标准的用户不用担心会有大量的专利费用负担，所 1 0 第二章a v s 视频编码标准分析与d m 6 4 9 平台介绍 以该标准的出现对于我国多媒体技术的发展起到很大的作用。a v s 视频部分的核 心技术包括：8 x 8 整数变换、量化、帧内预测、子像素捅值、帧间预测运动补偿、 一维熵编码、去块效应环内滤波等，同时对于这些模块的分析与研究，也是当前 帽关领域的一大热点。 了胃。陋数据，rr p 目目_ 。一 。蓦茧鲎i j i 叠 i 一 量化后的l 圈0 i 一，圉i 貅文 i 厂啦i 姆生国k 豳尸。肇 引 量勇彝嗣 i 圈2 - 1 典型视频编码框架 从剧2 - 1 所示的编码框架结构可以获知，a v s 视频编码的基本步骤为：首先 是获取原始数据，这个过程是这样的，从数字视频信息序列中获取帧一帧的视 频数据，并且必须要将每帧图象按照定法则分解为大小固定不变的宏块( a v s 中是将每一帧数据划分成1 6 1 6 大小的宏块大小，如果有需要还会继续细化) ，然 后在第一步的基础卜对第一步中所划分出来的宏块进行编码。当然整个a v s 在编 码环节根据帧的类型不同又可以被划分为帧内和帧间两种编码方式( i 帧为帧内，p 帧和b 帧为帧间) 。另外还有特殊情况特殊情况主要包括以下三种，处于数字视 频信息序列的第一帧、场景切换帧、随机读取帧，这二三种特殊情况下的帧使用的 是i 帧编码方式进行编码；i 帧编码方式有一个很大的特点，即在编码过程中仅仅 只是利用当前帧内范围的像素值作空间预测，即图2 - 1 中的帧内编码模块，不会参 电子科技大学硕士学位论文 考当前帧或者宏块以外的帧或者宏块。对除以上三种特殊情况之外的帧都是采用 的帧间编码方式，根据选取参考帧数量和方位的不同，帧间编码又可划分为前向 预测p 帧( 仅仅是采用左边或者上边已经编码过程的帧作为参考帧) 和双向预测b 帧( 既要采用左边或者上边已经编码过的帧，同时也要采用右边或者下边还需要继 续编码的帧作为参考帧) 。帧间编码基本思想如下：对于当前帧内的宏块，首先是 选择参考帧，过程是在相对当前帧的先前已编码帧中，搜索与当前帧内的当前宏 块最相似的宏块，然后对参考帧进行重构，并拿当前帧与重构帧进行比较，计算 得到残差值，之后再对预测残差进行编码。除上述描述的模块之外，编码器中还 拥有一个解码器，如图2 1 中模块所示，解码器主要功用是对图像的重构，即在进 行帧间编码的过程中需要对已编码的参考帧进行解码重构。 2 3a v s 编码核心技术 本节主要介绍a v s 编码的核心技术，主要包括：预测( 包括帧内预测和帧间 预测) 、运动估计、变换与量化、熵编码、环路滤波等。下面将对各技术进行详细 介绍。 2 3 1 帧内预测 帧内预测技术的起源还不算很悠久，它是从h 2 6 3 + 编码标准开始才被引入的， 它的引入从很大程度上来讲，主要就是为了增强对i 帧的编码性能，从而达到提高 整体编码性能的目的。该技术的工作原理或者说是工作思想其实很简单，就是考 虑到图像内部相邻的像素之间的相关性，然后结合这种相关性，来减小编码的码 率。特别地，在一幅图像内尤其是运动量比较小的图像，其相邻像素间变化一般 来说都比较小，所以比较平滑的部分一般都会占据整副图像的一大部分，这样就 会使得它们之间的相关性程度大，从这个层面上来讲，帧内预测技术就是通过减 少空间冗余达到视频压缩的目的。帧内预测，顾名思义，就是局限在当前帧，预 测当前帧内当前像素块的值，不会考虑到已经编码过的帧或者是还没有编码帧， 它的对象就仅仅是当前这一帧。该过程的具体实现过程也不算复杂，它主要是通 过当前像素块左方和上方相邻像素块来进行预测得到，之后再将经过预测得到的 值与实际的像素值相减，其相减结果称为预测残差值，一般情况下，预测残差值 的数据量肯定都是远小于实际对应的像素值的数据量；编码时仅对预测残差值进 行编码，单从编码数量这个层面上来看，采用预测编码技术对一帧图像的编码， 1 2 第二章a v s 视频编码标准分析与d m 6 4 8 平台介绍 大幅度地减少了表达一副i 帧图像所需的比特数，这就实现了图像数据压缩的目 的。 由于a v s 编码标准中采用的是数据格式，所以必须将帧内预测分成亮度 预测和色度预测两种预测方式，而这两种预测方式都是以大小为8 x 8 ( 就是将一个 1 6 1 6 大小的宏块划分成四个相同大小的块) 的块为单位。其中亮度预测又有五种 预测模式，色度预测有四种预测模式，如表2 - 1 所示。 综合亮度预测和色度预测，a v s 帧内预测一共采用了以下六种不同的预测模 式【l l - 1 2 】： 表2 - 18 8 帧内预测模式 模式编号亮度块色度块 o i n t r a 8 x 8 v e r t i c a li n t r a c h r o m a d c l i n t r a 8 x 8 h o r i z o n t a li n t r a _ c h r o m a _ h o r i z o n t a l 2 i n t r a 8 x 8 d ci n t r a _ c h r o m a _ v e r t i c a l 3 i n t r a 8 x 8 ，d o w n e f ti n t r a _ c h r o m a _ p l a n e 4 i n t r a 8 x 8 d o w n _ r i g h t ( 1 ) 垂直预测模式 p r e d m a t r i x x ，y - - r x + 1 ( x ，y = o 7 ) ( 2 ) 水平预测模式 p r e d m a t r i x x ，y 】= c y + 1 ( x ，y = 0 7 ) ( 3 ) d c 预测模式 如果r i 、c i ( i - 0 8 ) 都可用 p r e d m a t r i x x ，y 】= ( ( r x 】+ 2 r x + 1 】+ r x + 2 + 2 ) 2 + ( c y + 2 x c y + 1 + c 【y + 1 】 + 2 ) 2 ) 1 ，( x ，y = 0 7 ) 如果仅r i 】( i _ o 8 ) 可用 p r e d m a t r i x x ，y 】= ( r x 】+ 2 r x + 1 打 x + 2 】+ 2 ) 2 ，( x ，y 20 7 ) 如果仅c i 】( i = o 8 ) 可用 p r e d m a t r i x x ，y = ( c y + 2 c y + 1 】+ c 【y + 1 + 2 ) 2 ，( x ，y = o 7 ) 如果r i 、