（信号与信息处理专业论文）纹理与噪声自适应性视频编码算法研究.pdf

纹理与噪声自适应性视频编码算法研究 摘要 随着信息化社会的到来，多媒体通信需求越来越迫切，特别是作为可视化通 信的关键，视频通信已成为邋信领域研究的热点之一。鉴于视频信息量巨大的特 性，如何有效提高视频编码效率和性能成了视频通信中的核心问题之一。而视频 信号的高时间和空间相关性则为视频信号的压缩提供可能。 为了实现视频通信的通用性，国际标准讫组织0 s o ) 和嚣际电讯联盟( r r u ) 相 继推出了一系列视频压缩编码国际标准；m p e g 1 、m p e g - 2 、m p e g - 4 和h 2 6 1 、 h 2 6 3 、h 2 6 4 等。通过提供各种灵活的编码新选项，新的编码标准大大提高了 视频编码的效率，并能更好地适应视频通信瘸路的传输。但也不难发现，新视频 编码标准压缩效率的提升是以编码复杂度的剧增为代价的。这就给视频编码的实 ：时实现带来了挑战；因而，对视频编码算法的优化设计除了考虑算法的压缩效率 的同时，不能忽略算法的计算复杂发。高效率的视频编码算法在保证较高的压缩 效率的同时，应该具备较低的计算复杂度，能在节省通信带宽或者存储空间的同 时，有效地节省计算资源。 本论文从实际应用角度出发，针对计算资源有限的编码场合，根据复杂度和 噪声这两个关键性因素，对视频编码器中关键算法进行图像纹理和噪声的自适应 性优化设计。在保证一定率失真效率的基础上，有效减低视频编码的复杂度。 首先，本文提出了分析视频信号特征的两种方法：图像块边缘模式分析方 法和噪声估计方法。这两种算法能够准确地分析出视频序列巾的图像块边缘模式 信息和噪声信息。这两种分析方法都具有较低的计算复杂度。所得到的边缘模式 信息和噪声信息将作为后续自适应性算法的先验知识；接着，提出了基予h 2 6 4 标准的快速帧内预测模式选择算法和快速帧阿编码模式选择算法。快速帧内预测 模式选择算法基于图像块的边缘模式信息，而快速帧间编码模式选择算法基于运 动补偿詹得到的残差块的边缘信息。与其它的快速算法相比，这两种快速算法在 保证较高的率失真效率的基础上，有效降低了算法复杂度。而且，由于所提出的 图像块边缘模式分析方法的计算复杂度低，这两种快速算法所需的额外复杂度可 上海交通大学博士学位论文 以忽略。这为在计算资源有限的场合实现实时编码提供了良好的方案；运动估计 是视频编码器中最关键、最复杂的环节。噪声的存在不仅影响了运动估计准确性， 因而影响编码效率，噪声也较大程度地影响了运动估计的速度。所以，最后，本 文提出了一种具有抗噪声干扰能力的运动匹配准则：自适应超级块扩展匹配准 则，接着还对一种性能较优的快速运动估计算法进行噪声自适应性扩展设计。 图像边缘自适应的模式选择算法和噪声自适应的运动估计算法，能在保证 较高视频压缩效率的基础上，有效地降低视频编码的复杂度，为基于计算资源有 限的应用场合实时实现视频通信提供良好的编码算法。 关键词：视频压缩，模式选择，运动估计，噪声估计，边缘分析 i i a b s t r a c t w i t ht h ea d v e n to fi n f o r m a t i o n s o c i e t y , t h e d e m a n df o rm u l t i m e d i a c o m m u n i c a t i o n si s g r o w i n g v i s u a lc o m m u n i c a t i o n s 鹤t h ek e y t ot h ev i d e o c o m m u n i c a t i o ni so n eo ft h eh o t e s tr e s e a r c h e si nt h ef i e l do fc o m m u n i c a t i o i l s a st h e d a t ao fv i d e os i g n a li se n o r m o u $ ，h o wt oe f f e c t i v e l yi m p r o v et h ev i d e oc o m p r e s s i o n e f f i c i e n c ya n dp e r f o r m a n c eh a sb e c o m et h em a i np r o b l e mi nv i d e oc o m m u n i c a t i o n t h e r ea r e h i g l l c o r r e l a t i o n sb e t w e e nc o n s e c u t i v ev i d e of r a m e sa n db e t w e e n n e i g h b o r h o o dp i x e l si no n ef r a m e t h ec o r r e l a t i o n sa r er e d u n d a n ti n f o r m a t i o nf o r c o m p r e s s i o n i no r d e rt oa c h i e v et h eu n i v e r s a lv i d e oc o m m u n i c a t i o n s ，t h ei n t e r n a t i o n a l s t a n d a r d so r g a n i z a t i o n ( t s o ) a n dt h ei n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ( f r o ) h a v el a u n c h e das e r i e so fv i d e oc o d i n gi n t e r n a t i o n a ls t a n d a r d s ：m p e g 1 ，m p e g 一2 ， m p e g - 4a n dh 2 6 1 ，h 2 6 3 ，h 2 6 4 ，a n ds oo n a n a l y z i n gt h ev i d e oc o d i n gs t a n d a r d s ， w ec a nf i n dt h a tt h el a t e s tv i d e oc o d i n gs t a n d a r dg r e a t l yi m p r o v e st h ec o m p r e s s i o n p e r f o r m a n c eb yp r o v i d i n gav a r i e t yo ff l e x i b l ee n c o d i n g n e wo p t i o n s h i 曲 c o m p r e s s i o np e r f o r m a n c eo fv i d e om a k e sv i d e oc o m m u n i c a t i o np o s s i b l ee v e nb a s e d o nc h a n n e l sw i t hv e r yn a r r o wb a n d w i d t h u n f o r t u n a t e l y , t h ef l e x i b l ee n c o d i n go p t i o n s i n c r e a s et h ee n c o d i n gc o m p l e x i t yd r a m a t i c a l l y t h ec o m p l e x i t yo fv i d e oe n c o d i n g a l g o r i t h mb e c o m e sam a i nf a c t o rf o rr e a l - t i m ev i d e oc o m m u n i c a t i o n t h e r e f o r e ，i n a d d i t i o nt oc o m p r e s s i o np e r f o r m a n c e , t h ec o m p l e x i t yf a c t o ro ft h ea l g o r i t h ms h o u l d b et a k e ni n t oa c c o u n ts e r i o u s l yw h e no n ei so p t i m i z i n gt h ea l g o r i t h m so fav i d e o e n c o d e r a ne f f i c i e n tv i d e oc o d i n ga l g o r i t h mc a l ln o to n l ys a v em u c hb a n d w i d t ho r s t o r a g es p a c e ，b u ta l s oc a n s a v eh u g ec o m p l e x i t y 砸st h e s i sa i m st o p r o p o s ea d a p t i v ev i d e oc o d i n ga l g o r i t h m sw i t hh i 班 c o m p r e s s i o np e r f o r m a n c ea n dl o w e rc o m p l e x i t y n ea d a p t a b i l i t yo ft h ea l g o r i t h m si s b a s e do nt h en o i s ei n f o r m a t i o na n db l o c ke d g ep a t t e r no ft h ev i d e os e q u e n c e s t h e c o n t r i b u t i o n so ft h i st h e s i sa r el i s t e d 勰f o l l o w s f i r s t ，t w on e wv i d e oc h a r a c t e r i s t i ca n a l y s i sm e t h o d sa r ep r o p o s e d o n ei sn o i s e l e v e le s t i m a t i o nm e t h o d sa n da n o t h e ri sb l o c kb a s e di m a g ep a t t e r nc a l c u l a t i o n t h e n o i s el e v e li st h e k e yi n f o r m a t i o nf o rt h en o i s er o b u s t f a s tm o t i o ne s t i m a t i o n a l g o r i t h m 1 1 1 eb l o c kb a s e di m a g ep a t t e r ni st h ek e yf a c t o rf o rf a s tm o d ed e c i s i o n t h e n , t w of a s tm o d ed e c i s i o na l g o r i t h m sa r ep r o p o s e df o ra nh 2 6 4v i d e oe n c o d e r i i i 上海交通大学博士学位论文 t h ef i r s to n ei st h ef a s ti n t r ap r e d i c t i o nm o d ed e c i s i o na n dt h es e c o n do n ei st h ef a s t m o d ed e c i s i o nf o ri n t e rm a c r ob l o c k s ( m b ) t h ef a s ti n t r ap r e d i c t i o nm o d ed e c i s i o n a l g o r i t h mi sb a s e do nt h eb l o c ke d g ed i r e c t i o no ft h eb l o c kw h i c hi sg o t t e nb yt h e i m a g ep a t t e r nc a l c u l a t i o n t h ef a s tm o d ed e c i s i o nf o ra ni n t e rm bi sb a s e do nt h e e d g ep a t t e r no ft h er e s i d u a lb l o c kc a l c u l a t e db yt h em o t i o nc o m p e n s a t i o n 、i n la p r e d i c t e dm o t i o nv e c t o r t h e s et w om o d ed e c i s i o na l g o r i t h m sr e d u c et h e e n c o d i n gc o m p l e x i t ys i g n i f i c a n t l y w h i l ek e 印a l m o s tt h es a m ec o m p r e s s i o n p e r f o r m a n c e m o t i o ne s t i m a t i o ni st h em o s tc o m p l e xp r o c e d u r ef o rav i d e oe n c o d e r a n di ta f f e c t st h ec o m p r e s s i o np e r f o r m a n c es i g n i f i c a n t l y n o i s ei nv i d e on o to n l y a f f e c t st h ea c c u r a c yo fm o t i o ne s t i m a t i o n , b u ta l s os l o w sd o w nt h ep r o c e d u r eo f m o t i o ne s t i m a t i o n s o ，a tl a s t ，t h i st h e s i sp r o p o s e sa na n t i - n o i s em a t c h i n gc r i t e r i o nf o r m o t i o ne s t i m a t i o na n de x t e n t saf a s tf u l ls e a r c hm o t i o ne s t i m a t i o na l g o r i t h mt on o i s y v i d e os e q u e n c e s b a s e do nt h ea n a l y s i so fn o i s el e v e la n di m a g ee d g ep a r e r n so ft h ei m a g e ，t h e m o d ed e c i s i o na n dm o t i o ne s t i m a t i o na l g o r i t h m sp r o p o s e dh a v et h ea d a p t a b i l i t yt o i n p u t v i d e o w i t h o u t d e c r e a s i n gc o m p r e s s i o np e r f o r m a n c es i g n i f i c a n t l y , t h e c o m p l e x i t yo fav i d e oe n c o d e rw i t ht h et w oa l g o r i t h m sd e c e a s e sd r a m a t i c a l l y b o t h t h ev i d e oc h a r a c t e r i s t i c s a n a l y s i sm e t h o d sa n dt h ea d a p t i v em o d ed e c i s i o na n d a n t i n o i s em o t i o ne s t i m a t i o nh a v eb r o a dp r a c t i c a la p p l i c a t i o n si nr e a l t i m ev i d e o c o m m u n i c a t i o n s 、i ml i m i t e dc o m p u t a t i o nr e s o b r c 销t h i st h e s i sc o n t r i b u t e st of u r t h e r p o p u l a r i z a t i o nf o rv i d e oc o m m u n i c a t i o n s k e yw o r d s ：v i d e oc o m p r e s s i o n , m o d e ld e c i s i o n ，m o t i o ne s t i m a t i o n , n o i s e e s t i m a t i o n , e d g ep a t t e r na n a l y s i s i v 缩略语表 英文缩写英文全称中文含义 c i f d c t d p c m d v d f g s h v 8 i s d n i s o 删 j p e g j v t m c m e n 伊e g m s e l 嗵 o b m c o b m e p c m p s n r q o s c o m m o ni n t e r m e d i a t ef o r m a t d i s c r e t ec o s i n et r a n s f o r m d i f f e r e n c ep u l s ec o d i n gm o d u l a t i o n d i g i t a lv e r s a t i l ed i s c f i n eg r a n u l a rs c a l a b i l i t y h u m a nv i s u a ls y s t e m i n t e g r a t e ds e r v i c ed i g i t a ln e t w o r k 通用媒体格式 离散余弦变换 差分脉冲编码调制 数字多用途光盘 精细粒度分级 人眼视觉系统 综合业务服务网 i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n 国际标准化组织 i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n国际电信联盟 j o i n tv i d e ot e a m m o t i o nc o m p e n s a t e d m o t i o ne s t i m a t i o n m o t i o np i c t u r e e x p e r t sg r o u p m e a ns q u a r e de r r o r m e a na b s o l u t ee r r o r 联合图像专家组 联合视频编码组 运动补偿 运动估计 运动图像专家组 均方误差 绝对均值差 o v e r l a p p e db l o c km o t i o nc o m p e n s a t i o n交叠块运动补偿 o v e r l a p p e db l o c km o t i o ne s t i m a t i o n 交叠块运动估计 p u l s ec o d em o d u l a t i o n脉冲编码调制 p e a ks i g n a l t o - n o i s er a t i o峰值信噪比 q u a l i t yo f s e r v i c e v i i 服务质量 上海交通大学博士学位论文 q p q c i f r d o s a d s 舯 s e a s s d t s s v l c v q e g 量化参数 q u a r t e rc o m m o ni n t e r m e d i a t ef o r m a t 四分之一通用媒体格式 r a t ed i s t o r t i o no p t i m i z a t i o n率失真优化 s u mo f a b s o l u t ed i f f e r e n c e 绝对误差和 s u mo f a b s o l u t eh a d a m a r dt r a n s f o r m dd i f f e r e n c e s u c c e s s i v ee l i m i n a t i o na l g o r i t h m h a d a m a r d 变换的绝对差 顺序排除法 s u mo f s q u a r ed i f f e r e n c e 方差和 t h r e es t e ps e a r c h三步搜索法 v a r i a b l el e n g t hc o d i n g 变长码编码 v i d e oq u a l i t y e x p e r t sg r o u p视频质量专家组 i l 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：互句丈 日期：渊年t p 月乌日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“”) 学位论文作者签名：乏响女指导教师签名：矿旷 聃：埘掣嗍多7 日 日期：噼，月尸 第一章绪论 1 1 引言 眼见为实。视觉信息占人们生活信息的8 0 以上。可视化信息在生活和生产 中占至关重要的地位。可视化信息中关键的部分就是数字视频信息。电子计算机 技术和通信技术的快速发展，给人们带来了各式各样的可视化信息。 当前，对数字视频信息方面研究的重点之一是如何高效率实现视频信息的高 质量传输和保存。由于数字视频的信息量巨大，给传输和存储都带来了极大的挑 战。比如人们想要观看d 1 尺寸( 7 2 0 x 5 7 6 ，8 b i t 像素) 的、流畅的( 2 5 帧每秒) 、彩 色电视( y u v 4 2 2 ) ，这样的视频信号在没有编码压缩情况进行下传送，需要的带 宽是7 2 0 x 5 7 6 x 2 x 8 x 2 5 = 16 6 m b p s ( 兆比特每秒) 。这是一般信道所无法承担的。 众所周知，视频信号的冗余度非常商，这就给压缩编码带来了可能。那么， 如何快速、有效地去除这些冗余信息，实现视频信号的压缩编码，就成了当今学 术界和产业界研究的一个热门课题。进入九十年代以来，随着视频编码技术的羁 益成熟，国际标准组织( i s o ) 和国际电讯联盟0 t u ) 相继推出了一系列视频压缩编 码国际标准：m p e g - 1 、m p e g - 2 、m p e g 4 和h 2 6 1 、h 2 6 3 、h 2 6 4 等玎- 6 。这 些标准在不同的领域墨得到了广泛应用，为视频信息的推广和普及做出了巨大的 贡献。 这些视频编码标准获得巨大成功的个重要因素是这些标准本身并不规定 视频信号该如何编码，它们仅仅规范了压缩码流的解码格式。也正是这个原因， 不同商家所提供的相同标准的视频编码器的编码效率可能大相径庭。所以，在遵 循固定格式的码流结构基础上，性能卓越的视频编码算法就成了学术界和产业界 一个不懈的追求露标。 l 。2 视频压缩编码原理和楣关技术 视频数据在时间域和空间域都存在较强的相关性，对于通信系统来说，这些 信息是冗余信息。视频压缩的目的就是最大限度发现并消除这些信息，达到高效 的噩缩效率。总结视频序列中的冗余信息如下【8 】： ( 1 ) 时间冗余：视频序列中邻近帧之间存在很强的时间相关性； ( 2 ) 空间冗余：视频序列中的每帧相邻像素之间存在较大的相似性； 上海交通大学博士学位论文 ( 3 ) 统计冗余：对于一串由许多数值构成的数据来说，其中某些值经常出 现，而另外一些值很少出现，这种取值上的统计不均匀性构成了统计冗余； ( 4 ) 视觉冗余：因为视频的最终接收者是眼睛，而人眼的分辨能力有限， 人眼对亮度的敏感度大于对色度的敏感度；随着空间变化频率的提高，人眼对细 节分辩能力下降等等。所以，从人眼的视觉特性方面考虑，图像存在一定的视觉 冗余； ( 5 ) 知识结构冗余：有些图像的理解与先验知识有相当大的相关性。例如 人脸的图像有固定的结构，这类规律性的结构可由先验知识和背景知识得到。 按照以上不同种类的冗余信息，视频压缩编码中采用的关键去冗余信息技术 可以分为以下几类【8 】： ( 1 ) 基于时间和空间的预测编码和变换编码技术。基于d p c m 技术，空间 域和时间域的预测编码可以消除大量的时间和空间相关冗余，被普遍采用的变换 编码技术也可极大程度地发现和去除空域的相关性信息，使后续量化和熵编码变 得更加有效； ( 2 ) 基于图像统计相关性的优化量化和熵编码技术。通过采用像矢量量化 和自适应量化技术可以根据输入的数据适当地调整量化步长，达到码率的合理分 配，以使每一比特码率都尽可能传送最有意义的视频信息，这属于r d o ( 码率失 真优化) 技术。熵编码技术旨在根据输入数据的统计性，合理有效地分配比特位； ( 3 ) 基于人眼视觉特性的量化方法和基于图像轮廓纹理的编码方法等来尽 量去除视频中的视觉冗余； ( 4 ) 着眼于图像传输的内容特征，主要有分形编码、基于内容的编码方法 等主要从视频的知识结构冗余出发提高压缩效率。 其中第三和第四类方法被视为第二代编码方法【l o 】，是近年来较活跃的研究领 域。但因为有些关键技术还不很成熟，或实现起来过于复杂，所以还没能达到广 泛应用的地步。矢量量化压缩编码可以获得好的压缩效果，但码书设计相对复杂， 编码复杂度较高。基于块d p c m d c t + v l c 的混合编码方法是目前工业界一致 认可、并得到最广泛应用的编码方案。在这种编码方案中，以上的第一类和第二 类技术得到了充分的利用。在近三十年左右的时间里，人们根据已有的理论知识 和现有的技术制定了不同的方案来实现第一类和第二类技术，以充分提高压缩效 率。 2 上海交通大学博士学位论文 1 3 视频编码标准 标准化是产业活动成功的前提，因而一些国际组织在不同的时期，根据当 前技术的发展和对未来技术的展望，制定出一系列的国际标准以满足技术产业化 的要求。目前制定视频编码标准的国际组织主要有两个：i s o i e c 和i t u t 。在 视频压缩算法的研究中，国际标准化组织的运动图像专家组( m p e g ：m o t i o n p i c t u r ee x p e r tg r o u p ) 和国际电信联盟n u - t 的视频编码专家组( v c e g ：v i d e o c o d i n ge x p e r tg r o u p ) 的贡献颇多。他们分别提出了m p e g l 、m p e g 一2 、m p e g 一4 和h 2 6 1 、h 2 6 3 、h 2 6 3 + + 等视频编码标准。m p e g 标准主要用于广播电视、 d v d 和视频流媒体等领域中，而i t u t 的建议标准则主要用于实时视频通信， 如视频电视会议、可视电话等。大多数情况下，这两个标准组织独立制定不同的 标准，但m p e g - 2 和h 2 6 4 是由这两个组织所联合制定。 h 2 6 1 【1 】是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 如可视 电话、视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、 块( b l o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码 的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固 定速率的信道相适配的码率控制等部分。 m p e g - i 3 】主要用于速率在1 5 m b 内的运动图象和声音的编码它在h 2 6 1 的基础上加入了b 帧。码流分为宏块条s l i c e ，每一个s l i c e 都有自己的头，当出 现比特错误时，用来重新同步。 m p e g 2 4 1 是为了提供广播级视频和c d 级的音频而制定的高质量视频音频 编码标准。码率在3 l o m b i t s 之间。作为m p e g 1 的兼容性扩展，m p e g - 2 支持 隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场 合。m p e g 2 增加了档次等级( p r o f i l e l e v e l ) 和可分级性( s c a l a b i l i t y ) 的概念。 此外还引入了误码掩盖等技术。 m p e c “ 5 】不仅针对一定比特率下的视频、音频编码，更加注重多媒体系统 的交互性和灵活性。与m p e g - 1 和m p e g - 2 相比，m p e g - 4 的特点是基于内容的 视频编码标准，更适于交互音视频服务以及远程监控，具有更广的适应性和可扩 展性。 h 2 6 3 2 】主要针对低码率的视频会议和可视电话应用场合。它适用的码率范 上海交通大学博士学位论文 围一般为1 0 k b p s 到3 8 4 k b p s 。随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 什增加了许多 选项，使其具有更广泛的适用性。h 2 6 3 引入了半象素运动补偿精度，需要时可 引入b 帧( 双向预测) 等。h 2 6 3 提供了四种可选的编码算法，即无约束运动矢量 算法、基于语法的算术编码、高级预测法和p b 帧算法，进一步提高编码效率。 之后的h 2 6 3 + ，h 2 6 3 + + 加入了多种编码可选模式，例如高级帧内编码、去方块 效应、参考帧选择、趼限时空可分级性等。 h 2 6 4 6 】是适应于从低到高码率传输的新一代视频压缩标准。2 0 0 3 年3 月， j 、，t 公布了这一标准的最终草案，此标准被称为a v c ( a d a v a n e ev i d e oc o d i n g ) 或 删t 的h 2 6 4 标准或m p e g 一4 的高级视频编码部分( p a r t1 0 ) 。相对以前的编码方 法，h 2 6 4 标准的图像质量和编码效率得到了明显的提高，这主要得益于：可变 块大小运动补偿；1 4 采样精度运动补偿；多参考图像运动补偿；加权预测；丰 富的帧内预测编码；去块效应滤波器；4 x 4 整型d c t 变换；无失真的量化和变换 编码；通用v l c 码表( u v l c ) 和基于内容的算术编码( c a b a c ) 等等。整个 系统被划分为视频编码层和网络抽象层。视频编码层主要描述要传输的视频数据 所承载的视频内容。而网络抽象层则是考虑不同的应用，如视频会议通信、h 3 2 x 连续包的视频传输或r t p u d p i p 的通信等。h 2 6 4 具有较强的抗误码特性，可适 应丢包率高、干扰严重的无线信道中的视频传输，支持不同网络资源下的分级编 码传输。 a v s 7 】是中国自主制定的音视频编码技术标准，是利用自主技术形成的自主 标准。2 0 0 3 年1 2 月1 9 日a v s 视频部分终于定稿。a v s 视频主要面向高清晰度 电视、高密度光存储媒体等应用。a v s 视频当中具特色的核心技术包括：8 x 8 整 数变换、量化、帧内预测、1 4 精度像素插值、特殊的帧间预测运动补偿、二维 熵编码、去块效应环内滤波等。a v s 与h 2 6 4 标准编码效率相当，技术方案更简 洁，可避免超过1 0 亿美元的专利费，为我国数字电视等音视频产业的跨越发展 提供难得的契机。 从最简单的h 2 6 1 到最新的h 2 6 4 ，标准的演变主要体现在：码流结构层次 的改变，运动估计和运动补偿技术的改进，d c t 变换，量化技术，熵编码技术 等方面。从分析可以看出，较新的视频标准的压缩效率的提高是以多种多样的编 码选项为基础的。为了达到最高的压缩效率，最简单的方法就是对所有允许的编 码选项对进行预编码，计算出实际的编码效率，然后选择其中效率最高的一种。 4 上海交通大学博士学位论文 虽然这样可以得到最优的编码效率。但是，这样会产生巨大的计算复杂度。为了 能实时实现编码，就必须对视频编码算法进行优化设计。 1 4 视频编码算法的优化设计 基于块d p c m d c t + v l c ( 运动补偿混合编码) 框架的通用视频编码标准， 对编码算法的优化研究主要集中在以下几个模块中【7 1 4 1 0 l ： ( 1 ) 帧间运动估计和运动补偿模块； 视频信息中存在巨大的时间冗余信息。运动估计是去除视频信号中时间冗余 信息的关键。运动估计是否准确，决定着运动向量场和运动补偿残差图象的能量 分布，从而直接影响运动向量和d c t 系数的编码比特数。所以运动估计和补偿 算法对于视频编码算法优化是至关重要。另外，运动估计模块非常耗时，占用了 整个视频编码器的大部分编码时间。对运动估计和运动补偿进行优化算法也很 多。一类是为了提高速度的快速运动估计算法的研究【8 5 1 4 1 ，另一类研究旨在提 高压缩效率，文献 7 8 - 8 1 】将率失真优化理论应用到运动估计算法中。文献 1 0 0 ， 【1 0 8 1 中研究了重叠块运动补偿算法( o b m c ) 。该方法可大大减少块效应，提高 编码性能和视频质量。文献【3 8 】中研究了与o b m c 相对应的运动估计算法。 ( 2 ) 帧内预测模式和帧间编码模式选择； 视频序列的每一帧图像的相邻像素之间都存在很强的空间相关性。最新的 h 2 6 4 视频编码标准给帧内预测提供了多种预测方式来充分去除这些空间冗余信 息，大大提高了压缩效率。而且，在h 2 6 4 中，所有的帧间块编码同样支持帧内 预测编码方式。文献 5 8 1 6 4 1 q ，研究了编码模式选择。在h 2 6 4 中，标准建议了 r d o 的联合码控和模式选择的率失真优化编码框架【1 5 】。在推荐的参考代码j m t 5 7 】 中，模式选择通过对所有编码选项进行预编码并计算编码的率失真代价，最后确 定编码模式。这种方案复杂度极高，不能在实际中应用，所以，一系列的快速算 法在 6 8 1 7 1 1 中被提出。 ( 3 ) 码率控制和量化模块； 在视频编码器中，码率控制通过合理控制编码的量化参数以产生符合应用需 求的码流。a o r t e g a 在文献【5 3 】中比较系统地分析了率失真定理对于视频编码 优化理论的作用。码率控制算法一般包含目标码率分配、自适应量化、量化参数 的选择几个部分。量化是视频编码中形成编码失真的最主要模块。量化参数直接 5 上海交通大学博士学位论文 决定失真大小和输出码流的码率，量化参数的选择也是实现码率控制的主要措 施。因为人眼是视频质量的最终评判者，所以失真的估计应该考虑人眼视觉模型 ( h v s ) 1 3 】特性。自适应量化正是利用h v s 特性来自适应确定量化参数，使视 频质量尽可能符合人眼的评判标准。另外，量化矩阵的选取在一定程度上影响视 频质量。 ( 4 ) 熵编码模块 可变长编码( v l c ) 涉及行程编码、差分编码和熵编码。行程编码用于去除 块内d c t 系数统计分布冗余，差分编码用于去除运动向量、量化步长等参数在 相邻宏块或块的之间的相关性，熵编码用于去除二进制码流中的统计冗余。如何 充分利用信源的相关特性和h v s 特性更好地压缩数据，降低所需的传码率，是 v l c 编码算法的目标。 1 5 本文的主要目的和研究内容 在实际编码器中，影响编码器压缩效率和编码速度的因素除了各个模块的算 法选择之外，输入视频的内在特征同样决定着最后的压缩效率和编码速度。基于 某种视频压缩标准，视频编码器中不同的关键模块采用不同算法，对同一段视频 序列进行编码，所得到的压缩效率与编码速度会相差很大；而在固定编码标准和 编码算法后，对不同的视频序列进行编码，所得到的压缩效率与编码速度同样会 截然不同。 图像的纹理信息和运动特征刻画了输入视频的内在特征。在设计、优化编码 算法时，充分考虑输入视频的这些特征，不仅可以提高编码器的压缩效率，还可 以大大加快编码的速度。文献 1 2 】利用输入图像的纹理信息来调整编码器的量化 过程，提高率失真效率；文献 1 8 】利用提前提取的输入视频的运动信息来加快运 动估计的搜索过程，文献 5 2 】利用提取的编码块纹理信息来加速模式选择过程， 等等。这些基于输入图像特征信息的自适应性视频编码算法都提高编码性能。但 是，对这类文献分析发现，纹理或者运动信息提取计算增加了较重的额外复杂度。 除了纹理和运动信息，视频序列中的噪声也刻画了视频序列的特征，并影响 编码效率。目前，对于视频编码器中的噪声研究重点基本上都集中在如何估计噪 声强度并去除噪声上。噪声除了影响编码器的压缩效率外，常常被忽视的一点是， 噪声也影响着编码的速度，尤其是运动估计环节。但遗憾的是，绝大部分文献对 6 上海交通大学博士学位论文 运动估计的优化设计几乎都忽略了视频中噪声的存在。这种忽略是不合理。因为 实际编码器中，视频源不可能避免被噪声的干扰，即使有专门的滤波，噪声也不 可能完全滤除。另外，量化噪声必然存在，当运动估计的参考帧选择重建帧时， 运动估计必然受到量化噪声影响。 本文从实际应用角度出发，紧紧围绕编码器中的计算复杂度和噪声两个因 素，对视频编码的关键模块：帧内预测模式选择、帧间编码模式选择以及运动估 计进行纹理、运动以及噪声的自适应性优化设计。 本文主要内容分章节安排如下： 第一章为绪论。 第二章提出了分析视频特征的两种基本工具：图像块边缘模式分析方法和噪 声估计方法。纹理和噪声是视频信号中的两个关键性特征，是实现自适应性编码 算法优化的两个根本点。图像块边缘模式分析方法得到的图像块边缘信息，将作 为第三章中自适应性模式选择算法的主要参考信息；而本章提出的噪声估计方法 也直接被用于第四章中，作为分析视频噪声强度的工具。图像块边缘模式分析方 法不仅具有良好的分析性能，与其他常用的方法相比较，其计算复杂度可以忽略。 因此，基于这这种方法的自适应性编码算法因分析视频特征所需要的额外计算复 杂度基本上可以忽略。这就克服了诸如文献 1 2 1 、【5 2 1 等因分析视频特征而增加 的额外计算复杂度。 第三章对h 2 6 4 视频编码器中的帧内和帧间模式选择进行优化设计。h 2 6 4 提供给每个宏块丰富多样的编码模式选项，为了达到最高的编码性能，可以按照 率失真框架，对每种模式选项进行预编码，计算率失真代价值，按照率失真代价 值来决定最终编码模式。这样的计算复杂度非常高。为了提高编码速度，本章提 出了两种基于图像块边缘模式的快速帧内预测模式选择算法和一种基于残差块 边缘模式的快速帧间模式选择算法。这几种算法在保证较高压缩效率的基础上， 有效地提高了编码速度。为在计算资源有限的场合实现实时编码创造了条件。 第四章对运动估计进行噪声的鲁棒性扩展设计。运动估计是视频编码器中最 关键的环节。噪声的存在不仅影响了运动估计的准确性，也很大程度上降低了运 动估计的速度。这一章对基于块的运动估计所固有的缺陷进行了讨论；并在分析 噪声对运动估计干扰的基础上，提出了一种具有抗干扰能力的运动匹配准则；最 后，本章还对一种性能较优的快速全搜索运动估计算法( s e a ，连续排除法) 进行噪 7 上海交通大学博士学位论文 声自适应性扩展设计。 第五章总结本文的工作，并指出了进一步研究的方向。 1 7 研究创新点 本论文的研究主要创新点如下： 1 ) 提出了一种基于块的图像块边缘模式分析方法和一种图像噪声强度估计 方法。图像块边缘模式分析方法有效地解决了视频编码中分析编码块的 边缘方向需要耗费大量计算资源这个难题；噪声强度估计方法实现了对 图像噪声的快速估计。通过分析和实验结果得出，与其他经典方法相比 较，这两种分析方法性能良好且都具有较低的计算复杂度。 2 ) 提出基于h 2 6 4 编码标准的快速模式选择算法，包括两种基于图像块边 缘模式的快速帧内预测模式选择算法和一种基于残差信号边缘模式的快 速帧问编码模式选择算法。这几种算法有效避免了h 2 6 4 参考编码器中 从众多编码选项中选择最优编码模