（通信与信息系统专业论文）压缩视频流实时处理方法.pdf

摘要 【多媒体通信的迅猛发展在改变作人类生活方式的同i | 寸，对视频处理与传输提出了很高 的要求。尤其是以交互式实时视频通信为代表的视频业务，由，其高带宽、低延时、低误 码等要求使得视频业务成为整个多媒体通信的瓶颈。 视频压缩算法的日益成熟，编码标准的相继推出，有力的支持了视频通信的发展。特 别是一些新的视频表示思想，如：基丁目标的表示、基丁语义的编码，大人的拓展了可实 现的视频业务范围。 正是数字视频的巨大的数据量，使得视频信号一般以压缩码流的形式存储和传输。对 压缩视频流的处理有两种方案：一是解码一空域处理一再编码方案也称像素域处理方案； 二是压缩域处理方案。本文对实现这两种处理方案的关键技术进行了研究。 第二、三章是为视频流实时处理提供理论基础，后续章节主要研究压缩码流处理的实 现。( 通常视频编解码器高度不对称，即编码器复杂昂贵，解玛器简单便宜。这一特点对压 缩视频业务的普及很有帮助，也给压缩域处理方案提供最有力的支持。分析与实验表明 压缩域处理方案能有效的降低软硬件复杂度，为实时压缩视频流处理提供一种理想选择；士 本文的重点也是压缩视频流处理的压缩域实时实现方法。 。 文中第二章讨论d c t 域采样结构转换、d c t 域运动补偿、d c t 域滤波等压缩域处理 的数学原理与快速实现方法。瞻动估值是视频滤波、运动补偿、运动目标跟踪和场景分割、 压缩编码等视频处理的基本操作，被公认为是最为复杂、耗列的视频信息提取过程之一一上 第二章对运动估值各种方法和思想进行总结归纳，并提 b 改进方案。它包括光流二维运动 矢量场估值原理、运动估值的块基方法和像素基方法。最后在典型测试序列上对算法进行 仿真。 第四章解决降码率转码器、采样结构变换转码器对i 类转码器实现中的关键技术。( 内容 涉及各种转码器结构、码率控制方法、运动矢量利用机制、压缩域处理中特殊的数学分析、 运算量比较和转码性能分析等问题。最后对两种测试序列不同压缩比的码流进行类转码仿 真，对像素域方法和压缩域算法性能作出定量和主观的比较实验证明了压缩域转码的高 效性。 m p e g - 2 语法中分层编码为视频信号存储传输提供两度灵活性，从单独的基层开始， 可以获得基本的视频服务，当加入增强层信息时即可获得完全的视频服务质量( q o s 脚。第五 章的工作是解决如何由基层数据解码得到尽可能高的视频服务质龌( q o s ) 。艇动补偿帧间序 列处理方法被证明为最有效的视频增强方法，文中讨论了运动补偿帧问序列处理方法实现 信噪比增强和超分辨率增强的几种可行的算法。另外，运动补偿帧问序列处理方法的采用 也是基于如下考虑的，即m p e g 2 中运动矢量作为最重要的边信息存在于压缩码流中，因 此减少考虑运动估值的时间代价。最后对典型的测试序列进行超分辨率增强仿真分析。 由于视频业务的q o s 是人们关注的最终标准，它是编解码和压缩码流处理中需要重点 考虑的问题：皮中最后以m p e g 编码视频为例，详细的分析了视频q o s 要求、影响视频q o s 的因素、提高视频q o s 的编解码方案。 、r、 关键词：压缩编码；视频转码i 运动补偿，超分辨率，运动估值，光流场，m p e g ，d c t ， o o s ，失真掩蔽。 a b s t r a c t t h er a p i dd e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o ni sc h a n g i n gt h el i f es t y l e so fh u m a n b e i n g s i td e m a n d sm o r es o p h i s t i c a t e dv i d e op r o c e s s i n ga n dt r a n s m i s s i o nt e c h n i q u e s e s p e c i a l l y , d i g i t a lv i d e os e r v i c e s ，w h i c ha r er e p r e s e n t e db yi n t e r a c t i v er e a l t i m ev i d e oc o m m u n i c a t i o n ，i st h e b o t t l en e c ko fm u l t i m e d i ac o m m u n i c a t i o nb e c a u s eo ft h e i rh i g ht e c h n i c a lr e q u i r e m e n t ss u c ha s b r o a db a n d ，l o wd e l a ya n dl o wb i te r r o rr a t e t h ed e v e l o p m e n to fv i d e oc o m m u n i c a t i o ni ss t r o n g l ys u p p o r t e db yt h ea d v a n c e si nt h e r e s e a r c ho nv i d e oc o m p r e s s i o na l g o r i t h m sa n dr e l e a s eo fc o d i n gs t a n d a r d s m a n yn e wi d e a so f v i d e or e p r e s e n t a t i o n s u c ha so b j e c t - b a s e dt e c h n i q u e sa n ds e m a n t i c b a s e dc o d i n g ，d r a m a t i c a l l y b r o a d e nt h es c o p eo f r e a l i z a b l ev i d e os e r v i c e s i ng e n e r a l ，d u et oi t sh u g ev o l u m eo fv i d e od a t a , v i d e oi n f o r m a t i o ni sa l w a y ss t o r e da n d t r a n s m i t t e di nc o m p r e s s e df o r m t h e r ea r et w ow a y st op r o c e s st h ec o m p r e s s e dv i d e os t r e a m t h e f i r s to n ei sd e c o d e - s p a t i a l - t e m p o r a lp r o c e s s i n g - r e e n c o d em e t h o d ，i e p i x e ld o m a i nm e t h o d t h e s e c o n do n ei sc o m p r e s s i o nd o m a i nm e t h o d i nt h i sd i s s e r t a t i o n ，t h ek e yi s s u e st oi m p l e m e n tt h e s e t w om e t h o d sa r es t u d i e d c h a p t e rt w oa n dt h r e el a ya t h e o r e t i c a lg r o u n df o rt h er e a l - t i m ep r o c e s s i n go f v i d e ob i t s t r e a m ， a n di nt h es e q u e l ，t h ei m p l e m e n t a t i o no fv i d e ob i t s t r e a mp r o c e s s i n gi ss t u d i e di nd e t a i l t y p i c a l l y , t h ev i d e oc o d e ci sh i g h l ya s y m m e t r i c a l ，t h ec o d e ri sc o m p l e xa n dt h ed e c o d e ri ss i m p l e i ti sv e r y h e l p f u lt ot h ep o p u l a r i z a t i o no fv i d e os e r v i c e sa n ds t r o n g l ys u p p e r st h ec o m p r e s s i o nd o m a i n p r o c e s s i n gs o l u t i o n t h r o u 【g ht h et h e o r e t i c a la n a l y s i sa n de x p e r i m e n t s ，i t sp r o v e dt h a t t h e c o m p r e s s i o nd o m a i nm e t h o d sc a l lr e d u c et h ec o m p l e x i t yo fs o f t w a r ea n dh a r d w a r ed r a m a t i c a l l y , a n di tp r o v i d e sa l lo p t i m a ls o l u t i o nf o rr e a l t i m ev i d e os t r e a mp r o c e s s i n g a n dt h er e a l - t i m e p r o c e s s i n gi nc o m p r e s s i o nd o m a i ni st h em a i nt o p i co f t h i sd i s s e r t a t i o nt o o i nc h a p t e rt w o ，t h ed c td o m a i na l g o r i t h m ss u c ha ss a m p l i n gs t r u c t u r ec o n v e r s i o ni nd c t d o m a i n ，m o t i o nc o m p e n s a t i o ni nd c td o m a i n ，f i l t e r i n gi nd c td o m a i na n ds p e e dr e a l i z a t i o n m e t h o d ，a r ea d d r e s s e di nd e t a i l m o t i o ne s t i m a t i o ni st h eb a s i co p e r a t i o ni nm a n yv i d e op r o c e s s i n ga l g o r i t h m ss u c ha sv i d e o f i l t e r i n g , m o t i o n c o m p e n s a t i o n ，m o t i o no b j e c t i v et r a c k i n g ，s c e n es e g m e n t a t i o na n dv i d e oc o d i n g ， e t c i ti sp r o v e dt ob eo n eo ft h em o s tc o m p l e xa n dt i m e c o n s u m i n gp r o c e d u r e sf o rv i d e o i n f o r m a t i o ne x t r a c t i o n i nc h a p t e rt h r e e ，t h ep r i n c i p l e so fm o t i o ne s t i m a t i o na r ei n t r o d u c e d m a n y a l g o r i t h m sf o ro p t i c a lf l o we s t i m a t i o n ，i n c l u d i n gb l o c k b a s e dm e t h o d sa n dp i x e l b a s e dm e t h o d s ， a r es u m m a r i z e da n dc l a s s i f i e d ，a n ds o m ei m p r o v e ds o l u t i o n sa r ep r o p o s e d a tl a s t ，t h ea l g o r i t h m s a r es i m u l a t e di nt h er e p r e s e n t a t i v et e s ts e q u e n c e s i nc h a p t e rf o u r , t h ek e yt e c h n i q u e sf o rr a t es c a l i n gt r a n s c o d e r , p i c t u r er e s i z i n gt r a n s c o d e ra n d p r o f i l et r a n s c o d e ra r es t u d i e d t h em a i ni s s u e si n c l u d et r a n s c o d e ra r c h i t e c t u r e s ，r a t ec o n t r o l m e t h o d s ，m o t i o nv e c t o rr e u s i n gs c h e m e ，s p e c i a lm a t h e m a t i c a la n a l y s i sf o rc o m p r e s s i o np r o c e s s i n g ， c o m p a r i s o no fo p e r a t i o nb u r d e na n da n a l y s i so ft r a n s c o d i n ge f f i c i e n c y i nt h ee n d ，t h ep r o f i l e t r a n c o d i n gi ss i m u l a t e df o rt h ed i f f e r e n tv i d e os e q u e n c ew i t hd i f r e r e n tb i t r a t e si nc o m p r e s s i o n d o m a i na n dp i x e ld o m a i nr e s p e c t i v e l y , a n dt h ep e r f o r m a n c ei sc o m p a r e ds u b j e c t i v e l ya n d o b j e c t i v e l yt o o i ti sp r o v e dt h a tt h ec o m p r e s s i o nd o m a i nt r a n s c o d e ri sv e r ye f f e c t i v e i i t h es c a l a b l es y n t a xo fm p e g - 2p r o v i d e st h eh i g hf l e x i b i l i t yf o rs t o r a g ea n dt r a n s m i s s i o no f v i d e ob i t s t r e a m d e c o d i n gt h eb a s el a y e ro ft h eb i t s t r e a mp r o v i d e st h eb a s i cq a u l i t yo fs e r v i c e ( q o s ) a n dt h ee n h a n c e m e n tl a y e ri n f o r m a t i o nc a nb ea d d e dt og e tt h ef u l lq o s c h a p t e rf i v e r e s o l v e st h ep r o b l e mh o wt og e tt h eq o sa sh i g ha sp o s s i b l ej u s tf r o mt h eb a s el a y e rb i t s t r e a m m o t i o n - c o m p e n s a t i o nm u l t i - f r a m ep r o c e s s i n ga l g o r i t h m sa r ep r o v e dt ob et h em o s te f f e c t i v e f f a e t h o df o ri m p r o v e m e n to fv i d e oq o s t h e s ea l g o r i t h m sa r ed e t a i l e d l ys t u d i e dt oi m p l e m e n tt h e s n ri m p r o v e m e n ta n ds u p e r r e s o l u t i o ni m p r o v e m e n t t h em o t i o nv e c t o ri st h em o s ti m p o r t a n t s i d ei n f o r m a t i o no fm p e g - 2b i t s t r e a m ，i ts t r o n g l yc o n t r i b u t e dt h es e l e c t i o no fm o t i o n c o m p e n s a t i o np r o c e s s i n gm e t h o d a tl a s tt h em a pa l g o r i t h m sa r es i m u l a t e do nt h et y p i c a lt e s t s e q u e n c e b e c a u s et h eq o so f v i d e oi st h ef i n a lt a r g e to f h u m a nb e i n g ，i ti st h em o s ti m p o r t a n tp r o b l e m w h i c hs h o u l db ec o n s i d e r e di nc o d i n g ，d e c o d i n g ，a n dt r a n s c o d i n g i nc h a p t e rs e v e n ，t h eq o s r e q u i r e m e n t s ，t h ef a c t o r sd e t e r m i n i n gq o s ，t h ec o d i n ga n dd e c o d i n gs o l u t i o n st oi m p r o v et h e v i d e oq o sa r ea d d r e s s e db a s e do nm p e gs y n t a x k e yw o r d s ：v i d e oc o m p r e s s i o n ，v i d e ot r a n s c o d i n g ，m o t i o n c o m p e n s a t e d ，s u p e r - r e s o l u t i o n ， m o t i o ne s t i m a t i o n ，o p t i c a lf l o wf i e l d ，m p e g ，d c t , q o s ，e r r o rc o n c e a l i i i 第一章绪论 第一章绪论 当今，数字信号处理技术、物理媒体与网络技术、超大规模集成电路技术突飞猛进的发 展，使得多媒体通信成为研究和应用的热点。其中，最为关键的技术是数字视频的处理和传 输技术。数字视频苛刻的带宽、时延等要求使得它成为多媒体通信发展的瓶颈。而日益纷呈 的视频压缩方法给全业务视频通信带来曙光。 1 1 视频技术及其应用研究背景 视频与图像既有密切的关系又有严格的区别。视频作为传输中的图像信号，它常表示为 附带明确定时信息的序列图像，也称视频序列。 1 。1 1 视频的重要性及其应用 视频与人类的关系可概括为：( 一) 视频信息极易被人类接受。据统计人类接受的信息大 约7 0 来自视觉，景物在视网膜上的印象是人类最有效和最重要的信息获取形式。( 二) 视频 信息具有特别的优点，如视频具有直观、形象、准确、高效和应用广泛等特点。( - - ) 视频信 息的容量大。相对于音频、数据等媒体，视频具有无与伦比的信息容量。 视频研究和应用可从以下几个方面考虑：智能计算机的研究使电脑具有人类的视觉、听 觉、语言等功能，其中关键技术是视频的研究。其次，交互式视频服务系统的研究和应用是 当前视频领域的一大主题。如今，电视由于其特别的视听效果成为最有影响力的媒体和人们 生活的重要组成部分。然而，随着各种网络技术和应用的发展，特别是i n t e r n e t 的出现 大大的吸引了人们的注意力，似乎向传统的t v 业提出挑战。究其原因是传统t v 提供的视 频服务缺乏交互性。如何把视频传输与计算机的交互性结合起来，形成一种全新的信息交流 方式，提供交互式视频服务是多媒体技术研究的主题。再次，以前人们通信的方式局限于低 速非实时数据业务和单向被动接收的音视频业务。多媒体通信不仅在技术上彻底改变传统单 一媒体通信形式，使人们能在一次通信连接中方便地获得所需的多种媒体信息，如数据、文 字、图表、声音、视频等。而且将计算机通信的交互性、通信网络的分布性和多媒体信息的 综合性融为一体，向人们提供全新的信息服务，从而改变人们的生产和生活方式。在多媒体 应用中，视频是最为关键和核心的技术。 1 1 2 数字视频技术 视频技术的产生和发展首先从模拟视频开始，不久以前，视频的记录、存储、传输、回 放仍然以模拟为主。但是当今世界正发生一场数字技术的革命，数字数据和语音通信已经遍 布我们周围，技术已经发展到了实时数字视频服务的阶段。数字视频除了具有一般数字信号 的鲁棒性、处理的方便性外，主要的优点表现在数字表示和传输使得各种不同的通信可以由 同一网络提供，便于业务集成。 1 1 2 1 数字视频的必然性 第一章绪论 模拟视频由于其自身的特性使得它只能提供有限的交互能力，例如t v 频道选择、v c r 前后快速搜索和慢速重放。要实现模拟视频的编辑与处理，首先要经过视频采集和数字化到 数字图像序列，然后进行数字处理，再经过复杂的设备变回到模拟视频。这一过程对视频编 辑的多代特性产生重要的影响，不仅过程复杂且会引入很多噪声。另外，要实现不同视频标 准的转换需要复杂且昂贵的模拟转码器。 数字图像技术及其硬件的最新发展使得数字视频在t v 、计算机和电信工业中的应用发 展极为迅猛。先进的视频压缩算法的不断涌现、各种宽带网络的建立、计算机软硬件的飞速 发展、数字视频记录设备的曰趋完善，推进了各种数字视频业务的诞生。消费业和商业应用 更促进对数字视频技术和设备的研究开发。 视频的数字表示、处理和传输有模拟视频不可替代的优越性： 数字视频系统的开放式结构，它表现为同一可分级数字视频码流可以提供不同的空间、 时间和信噪比分辨率，能按信道和存储媒体要求变速率传输和存储； 最佳的互操作性，它使得视频的随机访问变得极为容易、目标检索也成为可能等； 在同一多媒体平台上综合多种视频应用，不同标准问转码容易实现； 提供最为强大的视频编辑和处理能力，使剪贴、缩放、去噪声、增强和多码流混合等极 为方便，且编辑的多代特性极好，视频质量不会因多次编辑而严重受损； 对信道噪声的具有鲁棒性，极易加密。 1 1 2 2 数字视频处理与传输的特点 数字视频处理主要解决视频码流的各种操作问题，其中特别是对压缩视频码流的处理， 因为数字视频常以压缩码流的形式出现( 存储和传输) 。视频序列与静止图像的主要区别在于 视频序列中包含重要的帧间时问相关性和定时信息。视频处理的一种思路是将视频帧看作单 独的图像序列传统图像处理。然而，利用视频的时空相关性可以设计更为有效的算法， 如运动补偿滤波及预测。它使得标准转换、增强、重建能够得到更好的主观视觉质量和定量 信噪比。另外，有些任务如运动估值、时变场景分析则完全不能靠单幅孤立图像。 数字视频传输与图像通信也有重要区别。相对而言，图像通信是比较成熟和传统的数据 传输业务，数字视频通信是新业务。视频通信与图像通信相比系统复杂、实现困难其主要原 因如下： 视频通信的信源与信宿处理困难，需要复杂的编解码设备且一般编解码算法高度不对 称，双向视频通信时，编解码均需实时完成。 视频通信对信道的要求高，不仅物理上要有宽带传输媒体而且要求良好的高层通信协议 支持。压缩视频传输对信道的可靠性要求很高，虽然象a t m 这样的协议被专家认为是 宽带多媒体通信的最终转移模式，但对于多用户交互式实时视频服务已经暴露出许多有 待解决的问题。 对信道的影响大，由于视频数据量大，且难以预测某些视频传输参数，突发传输容易导 致信道拥塞。 对传输时延高度敏感，图像通信只要在较宽松的时间范围内最终完成数据传输，不会对 质量产生影响。视频通信则不然，要保持良好的质量必须在确定的时刻完成指定帧的传 送，否则不仅失去当前帧，还可能因无法预测后续帧而产生严重的失真传递，最终导致 通信失败。 视频通信既对时延敏感又对时延方差非常敏感，对于单向视频传输来讲，整个系统时延 有很大的可接受范围，而时延变化增加不仅需要大量昂贵的视频缓存，也容易造成丢帧 和失真传递。 1 1 2 3 视频的处理与传输技术研究内容 第一章绪论 视频信号处理传输研究的主要内容包括： 消除视频信号产生、获取和传输过程引入的失真和干扰，使视频信号尽可能逼真的重现 景物细节。如图像增强技术和视频重建技术。 视频特征提取。从视频序列中提取某些特征，以便于视频进行描述、分类、识别和检索 等。 视频编辑、再生提供特殊效果和场景的模拟。 视频的编解码。视频编码包括两方面的技术。一是视频数据的压缩技术，二是视频传输 协议，要实现有效传输必须为通信双方提供通信规则。 视频传输物理媒体的研究，调制方式及高层的信道编码技术的研究。 视频传输失真如丢包、误码等对视频质量的影响及如何从失真视频获得尽可能高的主观 视觉质量和定量信噪比。 交互式实时视频传输机制的研究包括基于信道的自适应信源编码和传输复用模式等。 视频的广泛应用领域使视频处理与传输技术不仅包括以上这些传统的研究内容，而且还 将出现新的研究课题以提供未来新的服务。 1 2 视频压缩技术与编码标准 在实现多媒体通信系统时，遇到的最大障碍是视频信息巨大的数据量对数据采集、存储、 处理和传输带来的压力。如i t u r7 0 9 中定义的高清晰度电视，若直接采用p c m 传输，其 数码率高达8 8 4 7 m b p s 。而地面广播系统只能提供6 m 到8 m 的带宽，可见高效的视频压缩 编码技术是高质量视频服务的关键技术。表1 2 1 列出几种常用视频信号的非压缩码率。 表1 2 1 几种常用视频参数与应用 视频标准空间分辨率 帧频( h z )比特像素( 彩色模式) 码率( m b p s )典型应用 q c i f 1 7 6 1 4 4 3 0 1 2 ( 4 ：2 ：o ) 9 1 可视电话 c i f3 5 2 2 8 83 0 1 2 ( 4 ：2 ：o ) 3 6 5 会议电视 i t u - r6 0 1 7 2 0 5 7 6 2 5 1 6 ( 4 ：2 ：2 ) 1 6 5 9 普通电视 e d t v 9 6 0 x 5 7 6 2 5 1 6 ( 4 ：2 ：2 ) 2 2 1 2 增强型电视 i t u r7 0 9 1 9 2 0 1 1 5 2 2 5 1 6 ( 4 ：2 ：2 ) 8 8 4 7高清晰度电视 显然，要实现数字视频的广泛应用，必须采用有效的压缩技术。而通信的可靠性与有效 性须先进的协议来保证。作为本文的基础，下面综述视频压缩技术和编码标准。 1 2 1 视频压缩技术 视频编码要比图像编码多处理一维信号时间轴。现存的静止图像压缩技术是视频编 码技术的基础，一般都可扩展到视频压缩或是结合运动补偿方法进行混合编码。另外，视频 的时间相关性赋予视频新的压缩思想。一般地，可将视频压缩方法分为四类：波形编码、目 标基编码、模型基编码和分形编码。 1 2 1 ，1 波形编码 波形编码包括预测编码、变换编码( 正交变换、子带编码、小波编码等1 。b a s k u r t 和g u t t e 于1 9 8 8 年提出三维d c t 视频压缩编码方法m j ，高压缩比时严重的块效应使得该方法不宜用 于视频压缩。k a r l s s o n 等首先引入三维子带视频编码l i ，文献【1 5 1 发展和改进了该方法。3 d 子带编码的缺陷是时间方向的滤波没能沿着运动轨迹方向。运动补偿预测编码是极为有效的 第一章绪论 降低序列图像时间相关性的方法，它为许多编码标准所采用【2 6 】。但是，精确运动估值非常 困难且成为实时压缩编码的计算瓶颈，本文第三章作专门讨论。文献 1 5 ，1 6 等中提出几种基 f d , 波变换编码方法。另外，许多编码标准采用联合运动补偿变换编码压缩技术9 。”，它们 被证明；勾t f - 常有效的视频压缩编码技术而得到广泛应用1 2 _ 7 】。 1 2 1 2 基于目标的编码技术 基于y t 标的编码技术试图将视频信息分解为一系列轮廓、纹理、特征区域等视觉基元以 得到视频信息的压缩表示。它是由静止图象的第二代压缩技术的优良性能引发出来的。 很多目标基视频编码算法是2 d 压缩算法的3 d 直接扩展。如w i l l e m i n 1 等提出的基于八 叉树的序列图象分割的分裂合并算法是对k u n t i i s 等的基于四叉树的分裂合并第二代图象压 缩算法的3 d 推广。s a l e m e b i e r 1 9 , 2 0 1 等提出采用数学形态学方法的目标基编码技术，允许编 码的区域为任意形状。h o t t e r l 2 t 等发展了前人的思想，提出另一种基于目标的视频编码方案， 它将场景中目标定义为由形状、纹理内容和运动参数描述的不同区域。这些参数的获取必须 通过一定的信源模型或是2 ，d 、3 d 运动模型分析得到。 以上编码算法均须传送编码器侧产生的目标。纹理内容可以用基于变换的技术编码 t 2 2 , 2 3 ，形状信息可由位图方法编码1 4 , 7 ，另外可用链码【2 4 i 表示轮廓信息等。实验得出形状编 码在整个比特流中占有重要的比例。降低形状编码代价的一种方案是采用更为有效的形状表 示技术，如b r i g g e r ”j 等提出的形态学架构表示方法；另一种方案是通过目标跟踪的方法减 少轮廓信息传送次数；第三种方案是用需要较少比特表示的形状定义目标“。 m p e g 4 1 4 和h 2 6 3 + 1 7 1 标准中采用了基于目标的编码技术，它们都是为了获得高的视频 信息交互性而不是高的压缩比。 1 _ 2 1 3 模型基编码与分形压缩技术 虽然所有视频压缩技术都是基于一定的模型的，但基于模型的编码是指寻求一种三维场 景的二维投影模型或三维预定模型的表示方法。模型基编码的最终目标是找到一种合适的模 型及其相应参数使得它与所描述场景中目标尽可能的相似。该方法由分析和合成两个模块 组成。由于自然场景的复杂性使得分析模块要完成非常困难的任务。迄今为止，主要工作还 集中在比较简单的场景分析上，如头肩序列图像分析口”。合成模块相对容易一些，因为在 计算机图形学中已经有图像合成深入的研究背景。p e a r s o n 2 s l 对模型基编码有详细的讨论， m p e g 4 标准中已经包含了这种技术1 4 j 。 分形技术在图像压缩中所取得的成功促进了分形基视频编码技术的研究。学术界出现了 各种基于分形的编码思想。分形编码的特点是编解码器复杂程度极不对称编码复杂运算 量巨大，解码简单容易。“等提出以增加收缩变换复杂度换取整个编码运算量减少的方法 3 0 1 1 - 2 _ 2 视频编码标准 为了实现有效和可靠的视频通信，必须建立以一定压缩技术和通信协议为内容的编码标 准。针对不同应用和时期，国际上出现了各种不同的私有和通用编码标准。下面讲述视频编 码的通用国际标准及其压缩技术。 1 2 2 1j p e g 虽然j p e g1 21 是联合图像图形专粼日tp h o t o g r a p h i ce x p e r t sg r o u p ) 1 3 1 1 为静止图像制定 的通用编码国际标准，但它是许多视频编码标准中帧内编码的参考，并且经常作为一种中间 4 第一章绪论 形式出现在视频处理中，如：后处理、编辑等。j p e g 支持图像以无损和有损两种方式压缩。 j p e g 无损压缩模式通过相邻已经编码的像素预测当前像素获得中等程度的压缩，压缩比约 为2 ：1 。j p e g 有损压缩的基线( b a s e l i n e ) 算法中主要采用块基d c t 、标量量化、霍夫曼或数 学编码和系数之字扫描等压缩技术，能提供5 。2 0 倍压缩比。其主要局限是高压缩比时块状 效应、蚊蝇噪声为主的失真严重，无码率控制功能，对失真的掩蔽能力差。j p e g 标准也提 供了一些扩展模式，如累进和分层模式。 1 2 2 2m p e g 活动图像专家组( m p e g ) 为视频压缩制定了一系列的编码标准。其中，m p e g 1 是以 c d r o m 为存储媒体，以i s d n 、局域和广域网为传输媒体制定的码率高达1 5 m b i t s 视频 编码通用国际标准。m p e g 1 分帧内和帧间两种编码方式以宏块为组织，帧内编码算法与 j p e g 类似，只是引入了码率控制和抗误码的机制。帧间编码采用运动补偿预测编码方案， 支持单向和双向预测编码。为了限制误码传递和提供强大的随机访问功能，宏块经常被强制 为无预测的帧内编码模式。 m p e g 2 是以m p e g 1 算法为基础并在质量、码率、算法和应用方面进行很多的扩展。 m p e g 2 支持交织视频的帧场混合编码，它包含很多的类( p r o f i l e ) l 级( l e v e l ) ( 为整个标准的 子集) ，支持时间、空间和质量的分级性，以满足从消费领域到专业的演播室编辑、从低码 率通信到h d t v 等全方位视频业务的需要。其码率在1 , 5 3 5 m b i t s 之间。 m p e g 一4 为综合多媒体应用提供编码方案1 4 j ，它的服务范围扩展到包含移动可视电话、 专业视频编辑和网络交互式视频通信等领域。为了实现视觉目标的交互性，m p e g 4 采用了 基于目标的表示方法，目标中的像素被看成不可分割的整体，这也是m p e g 4 与以前编码 标准最大的差别。m p e g 4 中视频信号由包含形状、运动和纹理信息的不同目标组成，目标 独立编码以支持对目标的直接操作和访问，如剪辑、粘帖、变形等。m p e g 7 的制定是为实 现视频检索和图像数据库管理等新功能而开展的标准化工作。图1 2 1 是对m p e g 编码标准 采用的压缩思想的总结。 圈1 2 1m p e g 编码视频中的压缩思想 m p e g 7 m p e g 一4 m p e g 2 m p e g 1 1 2 2 3 l t u 标准 i t u 针对传输网络的特点也制定了一系列的编码标准，成为i t u 建议。h 2 6 1 建议是 c c i t t ( 前i t u n 为视频会议制定的编码标准。又称p 6 4 建议。它使得视频会议可在码率 6 4 k b i t s 的一路i s d n 上传输。h 2 6 1 采用的算法与m p e g 一1 相似，为减低运算复杂度不包 含双向预测编码模式，运动补偿中运动矢量以像素为单位。h ，2 6 3 建议是为甚低码率视频压 缩制定的第一个标准，允许音视频信息在低至9 6 k b i t s 的信道上传输，采用的编码算法与 第一章绪论 h 2 6 1 类似，做了一些改进： 加入了p b 编码帧，支持单双向编码： 使用8 8 像素的运动矢量场： 半像素运动矢量估计； 交叠运动补偿。 视频通信需求的不断增加，促进了视频压缩技术的深入研究推动标准化 作的进展。 编码总趋势是向着低码率( 如：移动通信等窄带信道中应用) 和多功能( 如随机访问、目标编辑、 视频检索等1 方向发展。i s o 和1 t u 两大国际组织为标准化t 作做出不懈的努力，象m p e g 7 、 h2 6 3 + 及其仿真模型相继推出，有力的支持了全业务视频通信对多媒体通信的贡献。 1 3 本文研究的内容 随着数字化革命的曰益推进，数字视频全面的代替模拟视频进行处理和传输已成为技术 发展的必然。数字视频的巨大数据量和高实时性要求，使得视频信号一般以编码压缩视频流 的形式存在。如何在压缩视频码流上实现传统与现代的各种视频处理，已经成为学术界普遍 关注的课题。c h a n g 在1 9 9 3 年解决压缩视频合成问题时首次提出压缩视频流处理的概念”1 ， 从此压缩视频处理成为一个重要的研究领域。 压缩视频流l 压缩视频流2 压缩视频流n 压缩视频 处理系统 模型 1 3 1 文章内容安排 圈1 , 3 1 压缩视频处理系统模型 视频流i 视频流i i 视频流m 压缩视频流处理基本模型如图131 ，一般以一个或多个压缩码流为输入，再以某种需 要形式的一个或多个码流为输出。该系统要完成的任务可概括为： 压缩编码协议转换( 编码标准转换) ”m ： 编码语法转换”q ： 码率变化，如基于信道的动态码率适配1 3 刈； 码流特性增强，如：实现无线信道传输的高鲁棒性转码1 3 ”； 采样率转换( 采样标准转换) ”； 码流合成，是传统视频合成的扩展p 2 ，”“1 ； 编码视频编辑”2 j ： 压缩视频效果处理，如降噪、滤波等【4 2 ，4 。 要实现以上功能的转码器有两种方案 3 6 , 4 4 , 4 5 】：一、解码、处理、再编码方案，称像素域 处理方案：二、压缩域处理方案p “”。通常视频编解码器高度不对称，即编码器复杂而昂贵， 解码器简单便宜。这一特点对压缩视频业务的普及很有帮助，也给转码器的压缩域处理方案 提供最有力的支持。分析与实验表明，压缩域处理方案能有效节省大量的软硬件复杂度。 本文力图为压缩视频码流处理的关键问题进行一些探讨。首先在第二章中讨论d c t 域 第一章绪论 采样结构转换、d c t 域运动补偿、d c t 域滤波等压缩域处理的数学原理与快速实现方法。 运动估值是视频滤波、运动补偿、运动目标跟踪和场景分割、压缩编码等视频处理的基本操 作，被公认为是最为复杂、耗时的视频信息提取过程之一。第三章对运动估值各种方法和思 想进行总结归纳，并提出改进方案。它包括光流二维运动矢量场估值原理、运动估值的块基 方法和像素基方法。最后在典型测试序列上对算法进行仿真。 第四章对视频流压缩域处理方案的理论和实现进行详细的分析，文中详细的研究了了几 种典型的压缩域转码器的实现方案。解决降码率转码器、采样结构变换转码器和类转码器实 现中的关键技术。内容涉及各种转码器结构、码率控制方法、运动矢量利用机制、压缩域处 理中特殊的数学分析、运算量比较和转码性能分析等问题。最后对类转码器进行仿真实验， 对像素域域与压缩域处理方案的性能比较证明压缩域方法能很好地实现软硬件复杂度和实 时性之间的折中。 m p e g 一2 语法中分层编码为信号存储传输提供高度灵活性，从单独的基层开始，可以获 得基本的视频服务，当加入增强层信息时即可获得完全的视频服务质量( q o s ) 。第五章的工 作是解决如何由基层数据解码得到尽可能高的视频服务质量( q o s ) 。运动补偿帧间序列处理 方法被证明为最有效的视频增强方法，文中讨论了运动补偿帧间序列处理方法实现信噪比增 强和超分辨率增强的几种可行的算法。最后对典型的测试序列进行超分辨率增强仿真分析。 由于视频业务的q o s 是人们关注的最终标准，它是编解码和转码处理中需要重点考虑 的问题。本文以m p e g 编码视频为例详细的分析了视频q o s 要求、影响视频q o s 的因素、 提高视频o o s 的编解码方案。 1 3 2 本文的主要贡献 作者的主要工作和创新之处： ( 一) 推导了块基整数倍d c t 域采样结构变换和d c t 域滤波方程，为压缩域处理提供理论 基础：采用a r a i 和m e r h a v 的快速d c t 思想，得到了d c t 域处理的快速实现方法。 ( 二) 对光流运动估值原理和存在的问题进行了详细的分析，将运动估值方法概括为两类： 像素基方法和块基方法，分别适用于小位移、短时间间隔运动估值和大位移、长时间 间隔运动估值。在总结各类算法基础上，首先对块基方法中的累计相似性检测算法 ( s s b a ) 进行了改进，即在匹配搜索前对视频序列进行白