（通信与信息系统专业论文）桌面图像序列编码方法的研究.pdf

浙江大学博士学位论文 捅妥 摘要 随着图形化用户界面g u i ( g r a p h icu s e ri n t e r f a c e ) 的广泛应用和计算机网络的迅 速发展，实时的桌面图像序列传输技术正得到越来越广泛的关注，在网络多媒体会议，产 品演示、远程办公、远程教学等领域都具有非常广阔的应用前景。利用这种技术，不但可 以在当前的数字设备上，如p c 机或便携式显示设备，与远程的其它计算机进行信息交互， 而且还可以操控远程的计算机来解决当前资源无法解决的问题，实现广泛的资源( 包括软 件资源和硬件资源) 共享。但是由于桌面图像序列的原始数据量巨大，在i n t e r n e t 上传 输极易引起网络拥塞和传输延时，所以实时传输前必须对桌面图像序列进行有效的压缩编 码。 桌面图像序列包含了文本、图形和自然图像的信息，是一种混合图像序列。如何有 效地区分桌面图像序列中的文本、图形和自然图像信息，并根据各自的特性进行压缩编码， 是提高桌面图像序列压缩效率的关键。本文针对桌面图像序列编码中基于区域特征的分类 编码、分级编码和编码效应后处理3 个方面进行了深入的研究。 本文首先分析了桌面图像序列的特性，在此基础上，提出了一种新的基于“块”区 域特征的桌面图像序列编码方法( b r c - s i s c ，b l o c kr e g i o nc h a r a c t e rb a s e ds c r e e ni m a g e s e q u e n c ec o d i n g ) 。b r c - s i s c 算法使用帧间运动检测去除桌面图像序列时域上的冗余信 息，并基于颜色和梯度特征的不同表现，区分出文本图形块图像块和混合块。根据块 分类的结果和各自的特性，文本图形块采用调色板编码、h e x t i l e 编码和d e f l a t e 编码 相结合的无损压缩方式( p h d c ，p a l e t t e ，h e x t il ea n dd e f l a t ec o m b i n e dc o d i n g ) ，图 像块采用j p e g 有损压缩编码混合块则在精细分类的基础上，引入“层”的概念，填充 为文本图形“层”块和图像“层”块分别编码。算法能够准确地区分出文本图形区域和 自然图像区域，有效地减少或避免了振铃效应的产生。同时该算法的压缩效率较高，运算 速度较快，满足实时系统的要求。 接着本文针对桌面图像序列传输系统中，多点接入的客户端在用户要求、终端计算 能力和网络带宽上存在着差异的问题，提出了一种基于“块”区域特征的桌面图像序列分 级编码方法( b r c - s s i s c ，b l o c kr e g i o nc h a r a c t e rb a s e ds c a l a b l es c r e e ni m a g es e q u e n c e c o d i n g ) 来满足不同性能客户端的需求。其基于前面文本图形信息和图像信息的分类结 果，依据人眼视觉的敏感特性，提供了3 层的s n r 可分级性，最大限度地为所有的客户端 i i i 浙江大学博i 学位论文摘要 提供了优质的桌面图像码流。同时本文还提出了一种补偿编码机制( c c ，c o m p e n s a t o r y c o d i n g ) ，以确保在客户端性能提高或桌面图像序列变化较少的时候，为客户端补偿提供 未变化块的更清晰的码流。实验结果表明，b r c - s s i s c 算法能够有效地提供分级压缩的图 像质量，且算法的复杂度较低，运算速度较快，满足实时传输的需求。 最后本文讨论了重建图像中编码效应的后处理方法。通过对块效应和振铃效应的形 成原因和表现形式的分析，发现受图像局部区域特征和人类视觉特性的影响，编码效应在 不同的图像区域会有不同的表现和视觉感受。因此，本文提出了一种新的空域自适应的编 码效应消除算法( s a f c a r ，s p a t i a la d a p t i v ef i l t e r i n go fc o d i n ga r t i f a c t sr e m o v a l ) 。 块效应滤波时，s a f c a r 算法依据纹理信息将图像块边界区域划分为平滑区域和纹理区域， 分别采用不同的检测标准和滤波范围来消除块效应振铃效应滤波时，s a f c a r 算法采用 了边缘的检测进行强振铃效应跟踪，并增加了补充检测来对弱边缘区域和编码效应扩散区 域的振铃效应强度进行判断。检测完成之后，各区域根据振铃效应的强度也采用了不同强 度的平滑滤波。s a f c a r 算法能够有效地消除自然图像序列和桌面图像序列中的块效应和 振铃效应，并较好地保护图像的纹理细节信息 关键词桌面图像序列编码、基于“块”区域特征的分类( b r c c ，b l o c kr e g i o nc h a r a c t e r b a s e dc l a s s i f i c a t i o n ) 、分级编码、补偿编码( c c ) 、编码效应消除 i v 浙i i = 大学博士学位论文 a b s t r a c t a b s t r a c t w i t ht h ew i d es p r e a d a p p l i c a t i o no fg u i ( g r a p h i cu s e ri n t e r f a c e ) a n dt h er a p i d d e v e l o p m e n to fn e t w o r k s ，r e a l t i m es c r e e ni m a g es e q u e n c et r a n s m i s s i o nt e c h n o l o g yb e c o m e m o r ea n dm o r ei m p o r t a n t ，a n dw i l lb ew i d e l yu s e di nt h ef i e l d so fi n t e r n e tm u l t i m e d i a c o n f e r e n c e ，p r o d u c t sd e m o ，t e l e c o m m u t i n g ，r e m o t ee d u c a t i o ne t c d u et ot h i st e c h n o l o g y , p e o p l ec a nu s el o c a ld i g i t a ld e v i c e sl i k ep ca n ds m a r td i s p l a y s e tt oi n t e r a c tw i t l lr e m o t e c o m p u t e r sg r a p h i c a l l y , o rt or e a l i z er e m o t ec o m p u t e ra i d e dm a s s i v ec o m p u t i n gw o r k t h i s m a k e saw i d es p r e a dh a r d w a r ea n ds o f t w a r er e s o u r c es h a r et h r o u g h o u tn e t w o r k s h o w e v e r , t h e l a r g ea m o u n to fo r i g i n a li m a g ed a t ai sam a j o ro b s t a c l ef o rr e a l t i m es c r e e ni m a g es e q u e n c e t r a n s m i s s i o n i tu s u a l l yc a u s e sn e t w o r kc o n g e s t i o na n dt r a n s m i s s i o nd e l a yo v e ri n t e r n e t t h e r e f o r e ，s c r e e ni m a g es e q u e n c ec o m p r e s s i o na l g o r i t h m sa l ee s s e n t i a lf o rr e a l - t i m e t r a n s m i s s i o n s c r e e ni m a g es e q u e n c ei sak i n do fc o m p o u n di m a g es e q u e n c e ，c o n t a i n i n gt e x t ，g r a p h i c s a n dn a t u r a li m a g e s h o wt oc o m p r e s ss c r e e ni m a g es e q u e n c ei sah a r dp r o b l e m a ne f f e c t i v e r e g i o nc l a s s i f i c a t i o na n dap r o p e rh y 嘶de n c o d i n ga r ev e r yh e l p f u lt o j m p r o v ei t sc o m p r e s s i o n e f f i c i e n c y t h i sd i s s e r t a t i o nf o c u so nt h es c r e e ni m a g es e q u e n c ec o d i n ga n dr e s e a r c h e st h e m e t h o d so fr e g i o n b a s e dc l a s s i f i c a t i o na n de n c o d i n g ，s c a l a b l ee n c o d i n ga n dc o d i n ga r t i f a c t s r e m o v a l f i r s t l y , t h i s d i s s e r t a t i o np r o p o s e san e wb l o c kr e g i o nc h a r a c t e rb a s e ds c r e e ni m a g e s e q u e n c ec o d i n gs c h e m e ( b r c - s is c ) i ta p p l i e st h ei n t e r - f r a m em o t i o nd e t e c t i o nt oe l i m i n a t e t h et e m p o r a lr e d u n d a n ti n f o r m a t i o n a n da c c o r d i n gt ot h e d i f f e r e n tc h a r a c t e r so nc o l o ra n d g r a d i e n t ，i tc l a s s i f i e se a c hb l o c ko fi m a g ei n t ot h r e ec a t e g o r i e s ：t e x t g r a p h i c sb l o c k ，p i c t u r e b l o c ka n dh y b r i db l o c k t e x t g r a p h i c sb l o c ki sc o m p r e s s e dw i t hal o s s l e s sc o d i n ga l g o r i t h m ( p h d c ) ，w h i c hi n t e g r a t e sp a l e t t ec o d i n g ，h e x t i l ec o d i n ga n dd e f l a t ea l g o r i t h m p i c t u r eb l o c ki s e n c o d e db yl o s s yj p e g f o rh y b r i db l o c k ，f i r s t ，as e c o n dc l a s s i f i c a t i o ni sa d o p t e dt od i s t i n g u i s h b e t w e e nt e x t g r a p h i c sp i x e l sa n dp i c t u r ep i x e l s t h e n ，e a c hk i n do fp i x e l si sf i l l e di n t oal a y e r b l o c k t e x t g r a p h i c sl a y e rb l o c ku s e sl o s s l e s sc o d i n gm e t h o d ，a n dp i c t u r el a y e rb l o c ka d o p t s v 浙江人学博上学位论文 a b s t r a c t l o s s yc o d i n gm e t h o d t h ep r o p o s e dc l a s s i f i c a t i o na n dc o d i n gm e t h o d sc o u l de x a c t l yd i s t i n g u i s h b e t w e e nt h et e x t g r a p h i c sa n dp i c t u r ei n f o r m a t i o n a n di ta c h i e v e sg o o dc o m p r e s s i o nr a t i ow i t h l o wc o m p u t a t i o n ，w h i c hs a t i s f i e st h er e a l - t i m ea p p l i c a t i o nr e q u i r e m e n t s e c o n d l y , d i f f e r e n c e s i nc o n s u m e rr e q u i r e m e n t ，t e r m i n a l p r o c e s s i n gc a p a b i l i t y a n d n e t w o r kb a n d w i d t ha l w a y se x i s ta m o n gc l i e n t si ns c r e e ni m a g es e q u e n c et r a n s m i s s i o ns y s t e m i no r d e rt om e e tt h er e q u i r e m e n t so ft h ec l i e n t si nd i f f e r e n tp e r f o r m a n c ec o n d i t i o n so fc o m p u t e r a n dn e t w o r k ，t h i sd i s s e r t a t i o np r o p o s e sab l o c kr e g i o nc h a r a c t e rb a s e ds c a l a b l es c r e e ni m a g e s e q u e n c ec o d i n gm e t h o d ( b r c - s s i s c ) f i r s t ，b a s e do nt h ee a r l i e rt e x t g r a p h i c sa n dp i c t u r e c l a s s i f i c a t i o nr e s u l ta n dt h eh u m a nv i s i o nc h a r a c t e r , at h r e e l a y e rs n rs c a l a b l ec o d i n gm e t h o d i so f f e r e dt op r o v i d eh i g hq u a l i t ys c r e e ni m a g e sf o ra l lt h ec l i e n t s t h e n ，ac o m p e n s a t o r yc o d i n g m e t h o d ( c c ) i sa p p l i e dt om a k es u r ec l e a r e rs c r e e ni m a g ec o u l db er e c e i v e d ，w h e nt h e p e r f o r m a n c eo fc l i e n tb e c o m e sb e t t e ro rs c r e e ni m a g es e q u e n c ec h a n g e ss l o w e r e x p e r i m e n t r e s u l t ss h o w st h a tt h ep r o p o s e ds c a l a b l ec o d i n gm e t h o di se f f e c t i v e a n di ta l s oa c h i e v e sg o o d c o m p r e s s i o nr a t i o 晰t hl o wc o m p u t a t i o n ，w h i c hs a t i s f i e st h er e a l - t i m ea p p l i c a t i o nr e q u i r e m e n t f i n a l l y ，c o d i n ga r t i f a c t sr e m o v a lm e t h o di sd i s c u s s e d i n f l u e n c e db yt h el o c a lr e g i o n c h a r a c t e ro fi m a g ea n dt h eh u m a nv i s i o nc h a r a c t e r , c o d i n ga r t i f a c t sa r em a n i f e s t e dt ov a r y i n g d e g r e ei nd i f f e r e n ta r e a s t h e r e f o r e ，t h i sd i s s e r t a t i o np r o p o s e san e ws p a t i a la d a p t i v ef i l t e r i n go f c o d i n ga r t i f a c t sr e m o v a l ( s a f c a r ) f o rd e b l o c k i n g ，i tc l a s s i f i e st h eb l o c kb o u n d a r yr e g i o n i n t os m o o t hr e g i o na n dt e x t u r er e g i o nb a s e do ni t sg r a d i e n tc h a r a c t e r ，a n dt h e na d o p t sd i f f e r e n t d e t e c t i n gs t a n d a r d sa n df i l t e r i n gr a n g et or e m o v et h eb l o c k i n ga r t i f a c t s f o rd e r i n g i n g ，b e s i d e s t h ee d g ed e t e c t i o nu s e dt ot r a c et h es t r o n gr i n g i n ga r t i f a c t sb l o c k ，ac o m p l e m e n t a r yr i n g i n g d e t e c t i o nm e t h o di sp r o p o s e dt ol o c a t et h ew e a kr i n g i n ga r t i f a c t sb l o c k a f t e rt w i c ed e t e c t i o n s ，a f u z z yf i l t e r ，w h i c hi sa d a p t i v et ot h er i n g i n gs t r e n g t h ，i sa p p l i e dt or e m o v er i n g i n ga r t i f a c t s i n b o t l ln a t u r a lp i c t u r es e q u e n c ea n ds c r e e ni m a g es e q u e n c e ，t h ep r o p o s e dp o s t f i l t e r i n gm e t h o d h a sag o o dp e r f o r m a n c eo nc o d i n ga r t i f a c t sr e m o v a la n dd e t a i lp r e s e r v a t i o n k e y w o r d s s c r e e ni m a g es e q u e n c ec o d i n g ，b l o c kr e g i o nc h a r a c t e rb a s e dc l a s s i f i c a t i o n ( b r c c ) ， s c a l a b l ec o d i n g ，c o m p e n s a t o r yc o d i n g ，c o d i n ga r t i f a c t sr e m o v a l v l 浙江大学博上学位论文 插图清单 插图清单 图2 - 1 桌面图像序列的三种分类方法1 4 图2 - 2 基于“块”区域特征的桌面图像序列编码算法( b r c - s i s c ) 系统流程图1 8 图2 - 3 基于颜色和梯度特征的粗略块分类( c b c ) 2 1 图2 - 4 三类块的梯度直方图统计2 2 图2 - 5 子矩形的选取2 3 图2 - 6 基于颜色纹理和边缘特征的精细像素分类( f p c ) 2 4 图2 - 7 分类算法的测试桌面图像2 4 图2 - 8 桌面图像p p t 文本图形区域和图像区域的分类结果2 5 图2 - 9 桌面图像w a ll 文本图形区域和图像区域的分类结果2 6 图2 - 1 0 文本图形块的无损压缩编码( p h d c ) 2 7 图2 - 1 1 文本图形块的调色板编码2 9 图2 - 1 2 文本图形块的调色板预测编码3 0 图2 - 13 混合块的混合编码3 1 图2 - 1 4 桌面图像无损编码算法测试图像3 4 图2 - 1 5 桌面图像混合编码算法测试图像：3 5 图2 - 1 6p p t 3 的编码结果比较3 7 图2 - 1 7w a ll1 的编码结果比较3 8 图2 - 1 8w e b l 的编码结果比较3 9 图2 - 1 9 桌面图像序列s c r e e n 的第7 4 帧4 0 图2 - 2 0 各桌面图像序列混合编码算法的r - d 曲线图4 1 图2 - 2 1s c r e e n 第7 4 帧的编码结果比较( q p = 5 0 ) 4 2 图3 - 1 时域分级编码4 7 图3 - 2 空域分级编码4 8 图3 - 3 一个两层的空域分级编解码器4 9 图3 - 4s l q r 分级编码5 0 图3 - 5 一个两层的s n r 分级编解码器5 1 图3 - 6 混合分级编码5 1 x i 浙江人学博上学位论文插图清单 图3 - 7 桌面图像的下采样图像5 3 图3 - 8 基于“块”区域特征的桌面图像序列分级编码( b r c - s s i s c ) 系统流程图5 4 图3 9 桌面图像序列分级压缩算法的基本框架5 5 图3 - 10 分级编码方法中的块类型图5 6 图3 - 11 桌面图像分级编码中的运动漂移现象5 7 图3 - 1 2 补偿编码方法( c c ) 中的累积块类型图5 8 图3 - 13 桌面图像序列5 9 图3 - 1 4 桌面图像序列的r - d 曲线统计6 1 图3 - 1 5s c r e e n l 第7 4 帧的变化区域编码结果比较( q p = 2 0 ) 6 3 图3 - 1 6s c r e e n 2 第2 6 帧的变化区域编码结果比较( q p = 4 0 ) 6 4 图3 - 1 7s c r e e n 3 第3 8 帧的变化区域编码结果比较( q p = 7 0 ) 6 5 图4 - 1 块效应图像及其边缘检测结果6 8 图4 - 2 振铃效应图像及其边缘检测结果6 9 图4 - 3 基于图像恢复的方法7 0 图4 - 4 空域自适应编码效应消除算法( s a f c a r ) 系统流程图7 6 图4 - 5 块效应消除算法的详细流程图7 7 图4 - 6 块效应消除算法中感兴趣的块边界区域7 8 图4 - 7 振铃效应消除算法的详细流程图8 1 图4 - 8 补充振铃效应检测算法中感兴趣的块8 3 图4 - 9c o n t ai n e r 序列的滤波结果比较( q p = 2 0 ) 8 7 图4 - 1oh a l1 序列的滤波结果比较( q p = 2 0 ) 8 8 图4 - 11m o b il e 序列的滤波结果比较( q p = 2 0 ) 8 9 图4 - 1 2s c r e e n l 序列第7 4 帧的滤波结果比较( q p = 2 0 ) 9 1 图4 - 13s c r e e n 2 序列第2 6 帧的滤波结果比较( q p = 10 ) 9 2 图4 - 1 4s c r e e n 3 序列第3 8 帧的滤波结果比较( q p = 1 5 ) 9 3 x l l 浙江人学博士学位论文附表清单 附表清单 表2 - 1 各桌面图像无损编码算法的压缩数据量3 4 表2 - 2 各桌面图像无损编码算法的编解码时间3 4 表2 - 3 各桌面图像混合编码算法的压缩数据量3 5 表2 - 4 各桌面图像混合编码算法的信噪比3 6 表2 - 5 各桌面图像混合编码算法的编解码时间3 6 表2 - 6 桌面图像序列混合编码参数设置4 0 表2 - 7 各混合算法与j p e g 算法间的b d - p s n r 和b i ) - b it r a t e 4 1 表2 - 8 各桌面图像混合编码算法平均每帧的编解码时间4 1 表3 - 1 图3 - 10 中产生的分级码流5 7 表3 - 2 图3 - 1 2 中产生的累积码流5 8 表3 - 3 桌面图像序列编码参数设置6 0 表3 - 4 各编码算法与单层编码算法间的b d - b it r a t e 6 0 表3 - 5 各编码算法的平均每帧编解码时间统计6 2 表4 - 1 桌面图像序列编码参数设置8 5 表4 - 2 各后处理算法的b i m 统计：8 6 表4 - 3 各后处理算法的p s n r 统计8 6 表4 - 4 桌面图像序列编码参数设置9 0 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得迸姿态堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：关确 签字日期： 1 0 0 7年7 月日 学位论文版权使用授权书 本学位论文作者完全了解 逝姿态鲎 有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：关嫡 签字日期： j 0 0 7 年了月，r 日 导师签名：移撇 签字目期：细夕年7 月厂日 i 浙江大学博士学位论文 致谢 致谢 值此论文完成之际，我要对一直关心，支持和帮助我的老师、同学以及亲人朋友们 表示衷心的感谢。 首先要真挚地感谢我的导师顾伟康教授，您渊博的知识、敏捷的思维方式、严谨的 治学态度、以及对科学前沿与研究方向的敏锐洞察力给我留下了深刻的印象。正是由于您 的严格要求和精心指导，让我学到了探求知识的方法，也锻炼了我独立从事科研工作的能 力。虽然您对我学业的指导只有短短的五年，但您正直公正的品质和实事求是的治学态度 将使我受益终身。 感谢叶秀清教授在读博期间给予的关怀、指导和鼓励。论文的圆满完成与您在学 - j 和生活上无微不至的关心和帮助是分不开的。您开朗的笑容、积极的生活态度和永不放弃 自我提升的精神更是深深影响着我。同时，也要感谢刘济林教授给予的指导和帮助。您一 丝不苟的治学态度、高深的学术造诣和朴实的作风都令我非常钦佩。 感谢实验室朝夕相处的兄弟姐妹：杜歆、潘翔、陈国斌、金旖青、樊星、周文辉、 姚天翔、朱云芳、应卓瑜、凌波、王慧琼、王倩、顾洁宇、叶敏、吴功伟、王贻术、许慧， 五年求学生涯累积的感情使我们亲如一家。感谢同寝室的姐妹们：夏冰洁、倪伟、钱丽萍， 和你们共同经历的欢笑和泪水都是我人生最美好的回忆。感谢我最亲密的朋友们：戴静、 冯艳蓉、陈雷、郭斌、侯培民，李由、马栋良、杨文琴、苏妮莎，正是你们的关心和陪伴 让我开心地笑对每一天。 最后，特别感谢我的父母和男友。你们一直以来对我的支持和鼓励是我不断进步的 力量源泉，使我有信心面对困难，迎接挑战，顺利完成学业。你们是我今生最大的幸福。 浙江大学博士学位论文第l 章绪论 第1 章绪论 1 1 论文研究背景和意义 随着计算机应用技术的不断提高和计算机网络的迅速发展，图形化用户界面g u i ( g r a p h i cu s e ri n t e r f a c e ) 已经成为各种不同的计算设备，如p c 机、便携式设备等， 所必不可少的功能。同时，人们也不再满足于基于网络的文本，语音和视频交流，开始利 用网络去实现远程控制，监视、计算机支持的协同工作( c s c w ，c o m p u t e rs u p p o r t e d c o o p e r a t i v ew o r k ) 等，并且得到越来越广泛的应用，主要有网络多媒体会议，远程办公 远程教学，产品演示和股票分析系统等等。这些应用直接促使了桌面共享技术的产生和发 展 桌面共享技术是指远程客户端在可以容忍的时间延迟内重现当前服务器主机桌面的 显示内容，提供给远程用户一种如坐在当前主机旁一样虚拟界面环境。在网络发展的早期， 操作系统还基于命令模式控制，桌面共享是使用t e l n e t 协议来完成的。这种基于字符流 的终端模拟只占用很少的网络带宽，在网络条件较差的应用初期非常有效的。至2 0 世纪 9 0 年代，苹果公司( 19 8 4 ) 提出了图形化用户界面g u i ( g r a p h i cu s e ri n t e r f a c e ) 的概 念，并被各类操作系统广泛采用。此时通过简单的t e l n e t 协议无法共享复杂的桌面图像 信息，因而在g u i 的基础上，桌面共享技术产生了根本性的变革。 现有的桌面共享通常由下面两种方式来实现：一种是利用操作系统底层的g u i 矢量 指令实现。用户先使用客户端软件登录到服务器，服务器会为其开辟一个虚拟屏幕 ( d e s k t o p ) ，并将该用户的操作结果显示重定向到该虚拟屏幕；然后服务器将所有的显示 操作都分解为若干个g d i ( g r a p h i c sd e v i c ei n t e r f a c e ) 指令发送给客户端；客户端通 过解码这些指令来显示操作结果。应用于u n i x 系统下的xw i n d o w 和w i n d o w s 系统下的 w i n d o w s2 0 0 0 幢1 提供的远程终端服务就是采用的这种方法。 另一种是利用屏幕拷贝和桌面图像序列压缩的方法来进行桌面共享。用户在服务器 通过w i n d o w s 等操作系统提供的接口函数获取桌面图像序列的原始信息后，使用快速高效 的压缩算法进行桌面图像序列编码，然后通过网络传输发送给客户端；客户端进行解码以 获得服务器的桌面图像微软的n e t m e e ti n g b l 、s y m a n ti c 公司的p c a n y w h e r e h l 和a t & t 的 v n c ( v i r t u a ln e t w o r kc o m p u t i n g ，虚拟网络计算) 睁7 1 等都属于这类系统。 1 浙江大学博士学位论文第1 章绪论 这两种方法相比，前者虽然操作简单，但都是基于特定的平台实现的，不易于扩展。 其若需要在不同硬件配置，不同操作系统的主机之间的进行桌面共享，则需要借助于第三 方软件的帮助，这增加了桌面共享的复杂度。而后者虽然方法比较复杂，但不涉及操作系 统底层g u t 指令，对于很多高层的应用都更为简单和方便。同时，随着计算机硬件处理能 力的提高和网路带宽的扩大，实时的屏幕拷贝和桌面图像序列压缩系统正成为桌面共享系 统的首选。 在基于屏幕拷贝和桌面图像序列压缩的桌面共享系统中，屏幕拷贝和桌面图像序列 压缩编码是两项关键性技术，决定着整个桌面共享系统的性能和发展方向。 首先，屏幕拷贝是桌面共享系统实现的基础。设计优良的屏幕拷贝方案能够提高远 程桌面显示的效率。常见的获取桌面图像序列的方法有三种陋1 0 1 ：利用w i n d o w s 图形设备 接口截取屏幕、利用d ir e c t x 截取屏幕和利用m ir r o r 驱动截取屏幕。这三种方法各有优 劣利用w i n d o w s 图形设备接口( g d i ) 截取屏幕的方法适用面广，能够捕捉大部分的桌 面图像序列内容，但捕捉速度较慢，内存拷贝耗费了大量的c p u 时间；使用d i r e c t x 的方 法操作相对比较简单，但其g e t f r o n t b u f f e r d a t a 函数的效率不高，需要的屏幕拷贝次数 可能比g d i 还要多。相比之下，利用m ir r o r 驱动的方法占用c p u 资源少，且截屏速度快， 实时性高。因而，在性能要求较高的桌面共享系统中多采用m i r r o r 驱动的桌面图像序列 采集方法。广泛使用的共享软件u 1t r a v n c n 就是采用m ir i o t 驱动截屏，其截屏速度可以 达到1 5 2 0 帧秒，完全满足实时系统的需要。 其次，桌面图像序列的压缩编码是实现实时传输任务的保障。通常桌面图像序列的 数据量十分巨大，以1 7 寸1 2 8 0 1 0 2 4 的液晶显示器为例，一帧桌面图像的数据为12 8 0 x1 0 2 4x2 4 8 1 0 2 4 1 0 2 4 = 3 7 5 m b 。若以1 5 帧秒的速度截取桌面图像序列，则1 秒钟产 生数据为3 7 5 1 5 = 5 6 2 5 m b 。这样的数据量在当前1o m 1 0 0 m 的i n t e r n e t 网上传输，极 易引起网络拥塞和传输延时，所以必须对桌面图像序列进行压缩编码桌面图像序列包含 了文本、图形和自然图像的信息，是一种混合图像序列。传统的自然图像和视频的压缩标 准，j p e g 系列、h 2 6 x 系列和m p e g - x 系列等，是基于人类视觉的敏感特性和自然图像色 调连续的特征而制定的，对于混合图像序列无法进行有效的编码，而需要采用新的压缩方 法。正是在这种背景下，本文将桌面图像序列编码算法的研究作为主要方向，提出了高效 实时的桌面图像序列编码方案和算法。 浙江大学博士学位论文 1 2 桌面图像序列编码相关技术及研究进展 桌面图像序列包含了文本、图形和自然图像的信息，是一种混合图像序列。其与传 统的自然图像序列相比，存在着较大的差异： 图像序列内容方面：不同于传统自然图像序列具有连续的色调和丰富的色彩，桌 面图像序列中包含了大量离散色调的文本和图形信息，是一种非连续色调的图像 序列。 图像序列变化规律方面：桌面图像序列的画面变化速度较慢，且基于窗口的形式 变化，相同或相近内容的图像常反复出现。与全运动的传统自然图像序列相比， 是一种半运动的图像序列。 图像序列编码传输方面：桌面图像序列的数据量巨大，且多包含文本和图形信息。 相对于传统自然图像序列传输系统，实时的桌面图像序列传输系统具有更高的压 缩比要求和清晰度要求。 这三方面不同的特性和要求，决定了传统的自然图像和视频的压缩标准，j p e g 系列、 h 2 6 x 系列和m p e g - x 系列等，不能对桌面图像序列进行有效的压缩编码。 传统的自然图像和视频的压缩标准是基于人类视觉的敏感特性和自然图像色调连续 的特征而制定的，主要采用了离散余弦变换( d c t ，i ) is c r e t ec o s i n et r a n s f o r m ) 和运动 4 1 、偿( m c ，m o t i o nc o m p e n s a t i o n ) 相结合的混合编码方案，很好地利用序列图像的频域 相关性和时域相关性来去除冗余信息。但是，这样的编码方法并不适用于桌面图像序列。 首先，混合编码方法中频域上进行的i ) g t 变换和量化过程会导致大量高频分量的损失，而 这些损失的高频分量正是代表了图像的边缘信息。在包含大量文本、图形的桌面图像序列 中，边缘信息丰富。如果编码过程中损失了文字，图形的边缘信息，就无法获得清晰的重 建桌面图像，严重的还会造成图像文字部分语义的丢失。其次，混合编码方法中时域上的 运动补偿算法是基于运动是连续渐变的这一特性提出来的。但是在桌面图像序列中，图像 序列并不是连续渐变的，而是基于窗1 3 形式变化的。例如打开关闭窗口、拖动窗口、窗 口内容修改、滚动等基本操作就会引起桌面图像序列间的“运动”而这种“运动”引起 的帧问变化内容的相关性较小，采用运动补偿编码的效果不明显，反而运动补偿复杂的实 现方式会增加编码器的负担。因此，如果要实现桌面图像序列的有效压缩编码，必须基于 桌面图像序列的特性进行新的编码方法的研究。 浙江大学博i 上学位论文第1 章绪论 1 2 1 桌面图像序列编码 桌面图像序列与扫描文档图像序列一起，统称为混合图像序列。在过去的十几年中， 很多研究机构和学者致力于混合图像序列编码的研究。但研究初期，大部分的学者提出的 都是针对混合图像序列的另一分支一一扫描文档图像序列的编码方案。 扫描文档图像序列大都是基于i t u - tt 4 4 建议书n 2 1 中的三层m r c ( m i x e dr a s t e r c o n t e n t ，混合光栅内容) 图像模型进行压缩编码的。该模型将混合图像分解为三层：前 景层、遮罩层和背景层。其中，前景层包含了文字和图形的颜色信息；背景层包含了自然 图像和背景的颜色信息；而遮罩层是一个二值图像，用于标志重建图像中每个象素点的颜 色是来源于前景层还是背景层。任何i t u - t 的彩色编码方式，如分别于i t u - tt 8 1 和i t u t t 8 7 建议书中定义的j p e g n 钉和j p e g - l s n 们，均可以应用于前景层和背景层的压缩编码 而遮罩层则需要采用二值编码方法