（电路与系统专业论文）集成图像修补技术的图像压缩框架的原理与实现[电路与系统专业优秀论文].pdf

摘要 摘要 图像压缩是数字多媒体计算和通信技术的基础 其中主要针对自然图像的有 损压缩方法是多年来研究的重点 这些方法大体上可分为基于信号处理和基于 视觉两类 前者主要采用信号分析手段 试图去除图像中的统计冗余 经过多 年的发展 已逐渐趋于成熟 后者更多地考虑图像中的视觉冗余 但往往受制 于计算机视觉分析手段的不足 我们将近年来提出的图像修补技术集成到一个 新的图像压缩框架中 将上述两类方法的优点结合起来 从而显著提高了压缩 性能 在我们提出的新框架中 编码端有意丢弃一些图像区域 同时从丢弃的区域 中提取出关键视觉信息 以辅助信息的形式连同不完整图像一起编码传输 解 码端得到不完整图像后 在辅助信息的帮助下 利用图像修补技术将丢弃区域 填补完整 从而重建图像 该框架要求解决有辅助信息的图像修补 辅助信息 的提取和编码 以及区域丢弃等若干新问题 本文就此展开详细讨论 研究了 整个图像压缩框架的实现方案 首先从现有的图像修补方法出发 研究辅助信息的具体形式 现有的图像 修补方法可分为基于偏微分方程和基于纹理合成两类 从前者出发 论证 了图像中的边缘信息在图像修补过程中的重要性 同时 边缘信息还具有 容易提取 能够有效编码等优点 从后者出发 根据图像片之间的相似 性 提出将片位移信息作为图像修补的辅助信息 并讨论了其非参数化的 优点 接下来 设计了两种新的有辅助信息的图像修补方法 分别利用边缘信息 和片位移信息来改进图像修补的结果 边缘信息辅助的图像修补方法可以 以求解l a p l a c e 方程或结构一纹理传播和纹理修补两种方式实现 而片位 移信息辅助的图像修补方法则是非参数化纹理合成方法的推广 通过对比 实验 证明了两种新的图像修补方法在图像重建时的性能优于传统无辅助 信息的方法 同时 研究了辅助信息提取和编码的方法 为得到边缘信息 提出了一种 新的边缘细化算法 并在进行帧内预测时 根据率失真优化的要求设计了 边缘估计算法 同样根据率失真优化的要求给出了片位移信息提取的算 法 i 摘要 为区域丢弃设计了有反馈和无反馈两种实现方式 有反馈系统在编码端内 嵌解码器 通过实际重建的率失真代价决定是否丢弃图像区域 类似传统 编码中的模式选择 无反馈系统则通过对原图像进行分析 得到在相应的 图像修补方法下不同图像区域之间的相对复杂度 并选择复杂度较低的区 域进行丢弃 分析了这两种方式各自的优点与不足 并给出了满足率失真 优化要求的实际算法 根据以上讨论 实现了有反馈和无反馈的 分别集成了边缘信息和片位移信 息辅助的分块编码的图像压缩系统 并与标准j p e g 和h 2 6 4 中的i 帧编码进行 了详尽的对比实验 有反馈系统能够提升重建图像的峰值信噪比 并特别在低 码率下显著改善重建图像的视觉质量 无反馈系统在较高的重建质量下能够得 到非常可观的码率节省 实验结果充分证明了我们提出的新的图像压缩框架的 有效性和实用性 在我们提出的新框架内 现有系统还存在一些可改进的空间 而且在视频压 缩中 新框架也完全适用 并已经取得了一些初步成果 更重要的是 本文开 创性的工作揭示出未来图像压缩技术的巨大潜力 采用最新的图像合成技术得 到的智能解码端有望成为下一代图像压缩研究的核心内容 关键词 图像压缩视觉冗余图像修补偏微分方程纹理合成辅助信息 区域丢弃 a b s t r a c t a b s t r a c t a saf u n d 觚l e n t a lt e c l l l l o l o g yt 0m u l t i m e d i ac o r n p u t a d o na i l dc o m m l i c a t i o n i m a g ec o m p r e s s i o n e s p e c i a l l y1 0 s s yc o m p r e s s i o nm a tt a 略e t sn a t u r a li m a g e s h 勰b e e n c o n t i n u o u s l ys t i l d i e di nr e c e n ty e a r s e x i s t i n gi i i l a g ec o m p r e s s i o ns c h e m e sc a nb ec a t e g o r i z e di n t 0s i g n a l p r o c e s s i n g b a s e da i l dv i s i o n b a s e d b yv i n l l eo ft i m e 白e q u e n c y 勰 w e u 硒o m e r s i g n a la n a l y s i sm e t l l o d s m a i l l s 像 a ms i g n a l p r o c e s s i n g b a s e ds c h e i i 屺sr e g a r dt t l es t a t i s t i c a lr e d u n d a i l c ya m o n gp i x e l sa sm ea d v e r s a d ro fc o m p r e s s i o n t h r o u g h d e c a d e so fd e v e l o p i n e n t s u c hs c h e m e sh a v eb e e nq u i t em a t u r ea i l di ti sn o wd i 伍c u l tt 0 f u m l e ri i i l p r 0 鹏 l e i rp e r f o r m 觚c e o nt h ec o n 廿a r y v i s i o n b a s e ds c h e m e st a 唱e tt l l ev i s u a lr e d u n d 觚c yi i l l l e r e n ti nn a t u r a li m a g e s a i l dt 巧t oi d e n t i f y 锄du t i h z et l l ei m p o n 肌t v i s u a lf e a t u r e s l a ta r ee x 妇c t e df r o mi m a g e s h 0 w e v e r 廿l e i rp e r f 研l i i m c eh a sb e e n g r e a t l yi n f l u e n c e db yt h ea v a j l a b i l i t a n de 晚c 咖e n e s so f 印p r o p d a t ei m a g ea i l a l y s i s i n e m o d s w 色p m p o s ean o e l i m a g ec o m p r e s s i o n 行a i l e o r kt 王l a ti i l t e g r a t e sn e w l yd e v e l o p e di n p a i n t i n gt e c l l i l i q u e s w h i c hh a sc o n l b i n e dm ea d v a n t a g e so fs i g n a l p r o c e s s i n g a i l dv i s i o n b a s e dc o m p r e s s i o ns c h e m e sa n dm u sg r e a t l yi m p r 0 v e dt t l ec o m p r e s s i o n p e r f b n n a n c e o u rp r o p o s e di m a g ec o i n p r e s s i o n 仃a m e w o 出w o r l sa sf o l l d w s a t 山ee n c o d e rs i d c p a r t i a li m a g er e g i o n s a r ei n t e n t i o n a n ya n da u t o m a d c a u yr e m o v e d m e a n w h i l e d i s t i n c t i v ev i s u a li n f o m a t i o ni nm er e m o v e dr e g i o n si se x 仃a c 似la i l dr e p r e s e n t e d 舔弱s i s t a l l t i n f d 彻a t i o n w h i c hi sc o d e da n d 廿a i l s i i l i t t e dt o g e t l l e rw i m 觚i n c o m p l e t ei m a g e a t 吐1 ed e c o d e rs i d e a f 盼d e c o d i n gt 1 1 ei n c o m p l e t ei m a g e i m a g ei 印a i 以n gi sp e 哦i m 斌i u n d e rm eh e l po ft 舢s m i n e da s s i s t 锄ti n f o 肌a t i o ns oa st of i l l i nm er e m o v e dr e g i o n s a n d 丘n a l l yr e c o n s t m c tac o m p l e t ei m a g e i nm i sf r 锄e o r k t h e r ea r cs o m ei m p o r t a n t t e c h i l i q u e si n c l u d i n gt h ei n p a i m i n gw i m 硒s i s t a n ti 0 m l a t i o n m ee x 仃a c t i o na j l dc o d i n go f a s s i s t a i l ti i l i b n n a t i o n 锄dt h er e g i o nr c l c v a l s u c hi s s u e sa r ed i s c u s s e di nd e t a i l s oa st or e a l i z em ec o m p r e s s i o nf r 锄e w o r k s t 矾i n gf 如mm ea v a i l d b l ei n p a i n t i n gt e c h n i q u e s w ef i r s ti i e s t i g a t em ef o 彻 0 fa s s i s t 锄ti i l j 0 瑚撕o n o nt l l eo n eh 加d a c c o r d i n gt 0n 圮p a r t i a ld i 髓r e i l t i a l e q u a t i o n p d e r n o d e l s w e 鹕u em ei m p o r t a n c e0 fi m a g ee 起e si ni 印a i 而n g m o r e o v e r e d g e sa r ee 硒yt oe x 锄c ta n dc a i lb ee 伍c i e n n yc o d e d o nm eo m e r t a k e ni n t 0a c c o u n tt h es i i i l i l 碰d e sb e t e e ni m a g ep a t c h e s w ep r 叩o s et 0u t i l i z e p a t c hd i s p l a c e m e n t a t i o ni n t 0i 印a i n t i n g w l l i c hl e a d st oan o n p 觚i m e t r i c t t t a b s t r a c t s c h e l n e t h e n w ed i e v i s et w on e wi n p a i n t i n gt e c 蛐q u e s l a tt a l ea d v a n t a g eo fe d g ei n f b r m a 矗0 na n d p a t c hd i s p l a c e m e n ti 0 m 嘶o n r e s p e c t i l v e l y e d g e b a s e di n p a i n t i n g c 锄b er e a l i z e de 油e rb y 咖e0 fs o l v i n gl a p l a c ee q u a t i o n s0 fb ys 仰c n t e x t u r ep r o p a g a t i o nf o l l o w e db yt e x t u r et i l l i n g i n p a t c h d i s p l a c e m e n t b a s e di n p a i n 丘n ge x t e n d s 锄de n h a j l c e sm ea v a i l a b i l i 哆o fn o n p a r a i r l e t r i ct e x t u r es y n 廿1 e s i st e c h i l i q u e s c o m p a r e dw i t hs t a t e o f 二t l l e a r ti n p a i l n i n g 妣m q u e st l l a ta r en o t a w a r eo ft t l ea s s i s 僦i i l d r m a t i o n 0 u rn e wt e c h n i q u e sa c h i e v em u c hb e t t e rp e 卜 f 0 肌a n c ei nr e s t o d n gi m 鹋er e 百o n sa c c u r a 把l y m e a n w l l i l e w ei n v e s t i g a t em ee x 乜a c t i o n 锄dc o d i n g0 ft l l ea s s i s t a n ti n f b r m a t i o n ar i c l we d g et l l i n i l i n ga l g o r i m mi sp r o p o s e df b rm ee d g ei o 加 l a t i o n t o g e t l l e r w i t hr a t e d i s t o m o n o p t i i i l i z e de d g ee s t i m a t i o nf b ri n ap r e d i c t i o n f a t c hd i s p l a c e m e n ti i l f o r i n a t i o ni sa l l s oe x 乜a c t e da c c o r d i n gt 0r a t e d i s t o r t i o n0 p t i r n j z a t i o n i nt 1 1 en o n p a r 锄e t r i cs c h e i n e w ep m p o s e 咖os o l u t i o n st 0r e g i o nr e m o v a l o n eo fw l l i c he n a b l e sf e e d b a c ka n d n l eo m e rd i s a b l e s i nt l l ef o n n e rs 0 1 u t i o n m e r ei sa ne i n b e d d e dd e c o d e ra tt l l ee n c o d e rs i d e w l l i c hp r o v i d e sa c m a lm t e d i s t o r t i o nc o s td 嘶n gr e c o n s t m c t i o na i l d t h ec o s td e t e 加血1 e sw h e m e rt 0r e m o v ea r e g i o n t l l i si sq u i t es i t i l i l a rt o l em o d e s e l e c t i o nw e u k l l o w ni nc o 叫 r e s s i o n h lt i l el a t t e rs o l u t i o n e n c o d e rd i r e c n y 觚 a l y z e s 也eo r i 孚n a li m 甥 ea n di n f e r st h er e l a t i v ec o m p l e x n e s so fd i 8 e r e n ti m g e r e g i o n sa c c o r d i n gt oas p e c i f i ci n p a j n t i n gm e t h o d m e n e n c o d e rs e l e c t st l l er e g i o n sw i t hl o wc o m p l e x r l e s st 0r e m o v em e m w 色d i s c u s so n 吐l ep sa n dc o n s0 f e a c hs o l u t i o n 锄dr e a l i z eb o t ha c c o r d i n gt or a t e d i s t o n i o n0 p t i 而z a t i o n w 色h a v er c a l i z e dn e wb l 茈k b a s e di m a g ec o m p r e s s i o ns y s t e m st l l a ti n t e 莎a t em e 怕r e n l e i l t i o n e de d g e b a s e da n dp a t c h d i s p l a c e m e n t b a s e di 叩a i n t i n g 觚de n a b l eo r d i s a b l ef e e d b a c kd 血n g r e g i o nr e n l o v a l r e s p e c t i v e l y e x t e n s i v ec o m p a r i s o n sh a v e b e e n i i l a d ew i t l ls t a i l d 砌j p e ga sw e ua sh 2 6 4i n 眈c o d i n g e x p e r i m e n t a lr e s u l t ss h o wm a t n e ws y s t e n l sw i mf e e d b a c kc a i lp r 0 v i 1 ep s n rg a i na sw e ua si m p r o em ev i s u a lq u a l i t ro fr e c o n s 们l c t e di m a g e s e s p e c i a l l ya tl o wb i t r a t e s n e ws y s t e m sw i t l l o u tf e e d b a c k a c h i e v es i g n i f i c 锄tb i t r a t es a v i n g sa th i 曲q u a l i t y s u c hr e s u l t sd e m o n s t r a t et h ee m c i e n c ya n dp r a c t i c a li i n p o n a n c e0 f0 l l rp r o p o s e di m a g ec o m p r e s s i o nm 曲e w o r k 7 1 1 l l e r ei ss o m ep o s s i b l ef u t u r ew o r kw i n l h lm en e wf r a m e w o r k a i l d 也e 触 l e w o r k c 雒b ea p p l i e di n t ov i l e oc o 叫 r e s s i o n 器w e u w 嫩c hh a sa c h i e v e ds o n 硷p r e h 血n a r y r e s u l t s w 1 l a ti sm o r ei i i l p o 姗t 0 u ri i l i t i a t i v ew o r kr e v e a l sm eh u g ep o t e n t i a l s0 ff h t i l r c i i l l a g ec o m p 托s s i o n a i l dw e b e l i e v et h es m a r td e c o d e rp a r a d i g m l a ti n t e 黟a t e sn e w l y d e v e l o p e di m a g es y n t h e s i st e c i l n i q u e si sap r 0 i i l i s i n gd i r e c d o ni i lt h en e x t g e n e r a t i o n c o m p 代s s i o n k e yw b r d s a s s i s t a i l ti i 响珊a t i o n i m a g ec o m r e s s i o n i m a g ei n p a i n t i n g p a n i a ld i f f e r e n 吐a le q u 撕o n p d e r e g i o nr e l n 0 v a l t e x t i i r es y n m e s i s v i s u a l 叠e d u n d a i l c y v 图目录 图目录 1 1j p e g j p e g2 0 0 0 和h 2 6 4 i 的主要编码流程 4 1 2j p e g j p e g2 0 0 0 和h 2 i 对l e n a 图像的压缩性能 率失真曲线 8 1 3l e n a 原图像和压缩后重建图像的比较 9 1 4 用图像修补修复旧照片示例 b e n a l i i l i oe ta 1 2 0 0 0 1 4 1 5 用图像修补进行错误隐藏示例 r a n e e ta 1 2 0 0 3 1 4 2 1 集成图像修补技术的图像压缩原理 1 9 2 2 集成图像修补技术的图像压缩框架流程图 2 0 2 3图像修补中的符号定义 2 1 2 4 边缘信息在图像修补中的作用 2 8 2 5 像素级别的非参数化纹理合成 e 舶sa i l dl e u n g1 9 9 9 2 9 2 6 图像片的符号定义 3 0 2 7 片位移信息在图像修补中的作用 3 1 3 1 用l 印l a c e 方程进行图像修补的符号定义 3 5 3 2h 2 中对4 4 块进行的帧内预测 3 7 3 3 边缘检测与细化算法对l e n a 图像运行结果 4 0 3 4 率失真意义下的最优边缘信息 4 2 3 5 为得到更好的率失真性能 可以擦除或添加边缘 4 3 3 6 边缘估计算法的验证 4 6 3 7 边缘估计算法得到的率失真曲线 4 6 3 8 采用边缘信息辅助的帧内预测的系统运行结果 4 7 3 9 边缘信息辅助的帧内预测在低码率下对视觉质量的改进 5 l 3 1 0 结构一纹理传播算法 5 3 图目录 3 1 l 寻找候选像素的成对匹配法 5 4 3 1 2 纹理修补算法 5 7 3 1 3 用图切分算法进行纹理合成 k w a t r ae ta 1 2 0 0 3 5 7 3 1 4 基于边缘信息的样本选择 5 9 3 1 5 e i j p e g 系统对l e n a 图像运行结果 q p 9 0 6 l 3 1 6 基于边缘信息的样本选择算法对k n a 图像运行结果 6 2 3 1 7 边缘信息辅助的图像修补方法 运行结果 6 3 3 1 8 边缘信息辅助的图像修补方法 i 与其它修补方法的比较 3 1 9e i h 2 6 4 i 与标准h 2 6 4 i 重建图像的比较 6 6 3 2 0e i h 2 6 4 i 与标准h 2 6 4 i 重建图像的比较 续 6 7 3 2 le i j p e g 和标准腰e g 得到的码率和质量得分之间的关系 6 9 3 2 2e i h 2 6 4 i 和标准h 2 6 4 i 得到的码率和质量得分之间的关系 7 0 4 1 片位移信息的编码方法 7 6 4 2 片位移信息辅助的帧内预测的验证 7 7 4 3 片位移信息辅助的帧内预测得到的率失真曲线 7 8 4 4 片位移信息辅助的帧内预测在低码率下对视觉质量的改进 8 l 4 5p i h 2 6 4 i 系统对l e n a 图像运行结果 q p 1 8 8 4 4 6p i h 2 6 4 i 与标准h 2 6 4 i 重建图像的比较 8 5 4 7 片位移信息辅助的图像修补方法与其它修补方法的比较 8 6 4 8p i h 2 6 4 i 与标准h 2 6 4 i 在删a k 图像库上重建图像的比较 8 8 4 9p i h 2 6 4 i 和标准h 2 6 4 i 得到的码率和质量得分之间的关系 8 9 x 表目录 表目录 1 1 本文所用测试图像及其来源 6 3 1 边缘信息辅助的帧内预测算法 3 8 3 2 直线延拓预测边缘的算法 4 4 3 3 边缘估计中的四种模式 4 4 3 4 同h 2 6 4 帧内预测比较的实验条件 4 8 3 5 边缘信息辅助的帧内预测同h 2 6 4 帧内预测比较实验结果 d 4 8 3 6 边缘信息辅助的帧内预测同h 2 6 4 帧内预测比较实验结果 4 9 辛 3 7 边缘信息辅助的帧内预测同h 2 6 4 帧内预测比较实验结果 i 4 9 3 8 边缘信息辅助的帧内预测同h 2 6 4 帧内预测用于不同编码元素的码 率开销比较 5 0 3 9 结构一纹理传播算法 5 6 3 1 0 纹理修补算法 5 8 t 3 1 1 e i j p e g 系统相对标准j p e g 的码率节省 q p 9 0 6 5 3 1 2 e i j p e g 系统用于不同编码元素的码率开销 q p 9 0 6 5 3 1 3 e i j p e g 系统在不同q p 下相对标准j p e g 的码率节省 l e n a 图像 6 5 3 1 4 e i h 2 6 4 i 系统相对标准h 2 6 4 i 的码率节省 q p 1 8 6 8 4 1 片位移信息辅助的帧内预测同h 2 6 4 帧内预测比较实验结果 i 7 9 4 2 片位移信息辅助的帧内预测同h 2 6 4 帧内预测比较实验结果 7 9 4 3 片位移信息辅助的帧内预测同h 2 6 4 帧内预测比较实验结果 i 8 0 4 4 p i h 2 6 4 i 系统相对标准h 2 6 4 i 的码率节省 q p 1 8 8 7 4 5 p i h 2 6 4 i 系统用于不同编码元素的码率开销 q p 1 8 8 7 x m 中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文 是本人在导师指导下进行研究工作 所取得的成果 除己特别加以标注和致 i 身十的地方外 论文中不包含任 何他人已经发表或撰写过的研究成果 与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明 本人授权中国科学技术大学拥有学位论文的部分使用权 即 学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版 允许论文被查阅和借阅 可以将学位论文编入有关数据库进行检 索 可以采用影印 缩印或扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后也遵守此规定 作者签名 壹 垒 卅年4 月n 日 第l 章绪论 第1 章绪论 近2 0 年来 伴随着计算机技术和网络技术的迅猛发展而兴起的数字多媒体 正在成为人们日常工作和生活中不可缺少的一部分 无论是手持式的多媒体采 集及记录设备 多样化的共享和分布网络 可移动的多媒体显示和回放装置 还是丰富的互联网多媒体内容 有效的多媒体传输技术 友好的多媒体创作软 件 等等 都已经得到了广泛的应用 从而以前所未有的方式改进人们对信息 的获取 体验和交流 时至今日 各种各样的多媒体应用还在不断更新 需求 还在不断增加 推动着数字多媒体技术的快速发展 并带动相关领域的研究蓬 勃开展 多媒体编码技术是几乎一切数字多媒体技术的基础 由于多媒体内容自身的 丰富性 将其直接数字化处理后数据量庞大 很难进行存储和交换 以视频内 容为例 高清晰度数字电视 h i g h d e f i n i t i o nd 硒t a l t e l e v i s i o n h d t v 使用的7 2 0 p 格式要求分辨率达到1 2 8 0 7 2 0 如采用2 4 位色 以每秒3 0 帧计算 其数据率 为7 9 1 m b s 一张普通的4 7 g b 数字视频光盘 d i 西t a lv i d e od i s k d d 只能存 储约1 分钟的这种视频 而它甚至无法用现在主流的局域网技术进行实时传输 在未来可预见的一段时期内 数字视频的分辨率和数据率还将进一步提高 因 此 为多媒体设计高效的压缩编码技术是十分必要的 同时 多媒体内容中存 在大量的冗余 包括空间冗余 时间冗余 统计冗余 结构冗余 视觉冗余 知识冗余等 它们为压缩编码技术的应用提供了必要的条件 图像和视频是多媒体中数据量最大 也是冗余最多的两类内容 图像压缩和 视频压缩相应地成为多媒体压缩编码技术中的两个最重要的部分 而视频压缩 是以图像压缩为基础的 同时任何一个视频压缩系统也自然具备了图像压缩的 功能 因此 研究图像压缩在多媒体应用中具有基础性的重要意义 图像压缩 i m a g ec o m p n 豁i o n 是指将数据压缩技术应用于数字图像 通过去 除图像中的冗余 减少数据量 以实现有效的存储和传输 图像压缩根据其对 图像质量是否完全保留可分为无损压缩 1 0 s s l e s sc o m p r e s s i o n 和有损压缩 1 0 s s y c o m p r e s s i o n 两类 无损压缩一般用于对图像质量要求极高的场合 如医学图 像 用于归档的文件扫描图像 卫星拍摄图像等 或用于一些简单的人造图像 如工程绘图 计算机图标 动画等 对于绝大多数自然图像 n a t u r a li m g e s 来 说 无损压缩的效率仍然很低 难以满足存储和传输的要求 同时 多媒体应 用中的自然图像一般直接呈现给用户 而用户对图像质量的少量损失能够接受 甚至由于人类视觉特性而根本无法察觉 因此 有损压缩技术特别适用于自然 1 第1 章绪论 图像 例如人物 建筑 风景等的照片 有损图像压缩的研究可以追溯到上世纪五六十年代 在半个世纪的发展中 涌现了各种各样的压缩方法 并已经制订了多个广为采用的国际标准 这些 方法大体上可分为两类 第一类从信号处理的角度出发 试图去除图像中的 统计冗余 s t a t i s t i c a lr c d u n d a n c y 现在主流的压缩方案和主要的国际标准都属 于这一类 第二类则是从视觉的角度出发 试图去除图像中的视觉冗余 v i 叭a l r e d u n d a n c y 一般被统称为 第二代压缩方法 本文研究了一种新的适合自然图像的有损压缩方法 通过结合主流的基于信 号处理的压缩方法和第二代基于视觉的压缩方法 特别是集成近年来提出的图 像修补技术 本文构建了一个全新的完整的图像压缩框架 下面将首先概述两 类有损图像压缩方法的发展历史和相关工作 然后介绍图像修补技术 并引出 本文的研究内容 1 1基于信号处理的图像压缩 基于信号处理的方法是最早出现 也是发展相对成熟的一类图像压缩方法 根据作用域的不同 又可分为空间域和变换域两类 最早出现的空间域方法为 脉冲编码调制 p u l s ec o d i n gm o d u l a t i o n p c m 和差分脉冲编码调制 d e l t ap u l s e c o d i n gr n o d u l a t i o n d p c m 前者将数字化后的像素值 后者将像素值和预测值 之间的差值 经过量化后用熵编码如h u 胁觚编码进行压缩 随后出现了变换 域方法 即将原图像或其一部分经过线性变换得到变换系数 再对变换系数 量化和熵编码 已经采用的线性变换包括k 砷u n e n l 醅v e 变换 离散f o u r i e r 变换 h a d 锄a r d 变换 离散余弦变换 d i s c r e t ec o s i i l e 缸锄s f o l m d c t 等 早期 图像压缩方面的主要工作在 n e 咖v a l ia n dl i i n b1 9 8 0 j a i n1 9 8 1 中有较完备的 总结 此外 矢量量化 v e c t i d rq u a i l d z a t i o n 分形 妣t a l 等信号处理方法也被 用于图像压缩 分别可见 g r a y1 9 8 4 n a s r a b a d i 孤dl i n g1 9 8 8 和 j a c q u i n1 9 9 3 世 予 1 9 8 2 年 国际标准化组织 i i l t e m 撕 衄lo 玛a i l i z a t i o nf o rs t a 1 1 d a r d i z a t i o n i s o 国际电工委员会 i n t e m a t i o n a le 1 e c 的t e c h i l i c a lc o 舢 i l i s s i o n c 和国际电信联盟 远程通信标准化组 i t ut e l e c o m m 咖i c a t i o ns t a i l d a r d i z a t i o ns e c t o r r r u r 共同成 立了联合图像专家组 j o i n tp h o t o g r a p h i ce x p e n sg r o u p 负责制订图像压缩的国 际标准 1 9 9 2 年通过了第一个自然图像压缩的国际标准 通常以专家组的缩写 称之为j p e g r r u t1 9 9 2 i s 0 佃犯1 9 9 4 j p e g 标准的核心步骤是将图像分为 8 8 的块 每块分别作离散余弦变换 对变换系数量化后按照之字形 z i g z a g 重 新排列 最后使用h u 腼姗编码或算术编码 a r i t l l l n e t i cc o d i n g 压缩量化系数 2 第l 章绪论 此外 j p e g 标准还设计了对每块直流分量 d i i 优tc u 玎e m d c 的预测技术 以 及从r g b 空间到y c b c r 空间的颜色转换和色度分量c b c r 的下采样等来处理彩 色图像m 枷a c e1 9 9 1 胍g 标准一经推出就被广泛采用 直到现在仍然是自 然图像压缩的主流格式之一 1 9 9 0 年代 小波 w a v e l e t 作为一种新的多分辨率信号分析手段得到了广泛 的应用 在图像压缩领域 基于小波变换 w a v e l e t 咖s f 0 1 1 1 1 的方法也提出来了 a m o i l i n ie ta 1 1 9 9 2 由于小波变换能够同时在空间域和频率域刻画信号的局部 特征 从而更适于处理图像这类非平稳信号 并得到更好的压缩性能 很快 基 于小波变换的新一代图像压缩标准被制订出来 通称为j p e g2 0 0 0 n u t2 0 0 2 i s o c2 0 0 4 b j p e g2 0 0 0 标准采用了双正交的c o h e n d 硼b e c l l i e s f e a u v e a u c d f 小波 c o h e ne ta 1 1 9 9 2 对变换系数量化后采用最优截断的嵌入式块编 码 e m b e d d e d b k kc o d i n gw i t l lo 砸i i mm l n c a t i o n e b c 0 从系数的最高码位到 最低码位进行位面 b i t p l a i l e 的渐进式算术编码 除了在压缩性能上比j p e g 有 较大提升之外 j p e g2 0 0 0 标准还支持多分辨率 渐进式传输和显示 感兴趣区 域 r e g i o no fi n t e r e s t r o i 编码等多项附加功能 从而使其更具广泛的应用潜力 1 a u b m 锄a n dm a r c e l l i n2 0 0 1 此外 现在主流的视频压缩方案一般也是基于信号处理方法的 在视频 压缩中 运动图像序列被分为i 帧 i n 仃af r 锄e p 帧 p f e d i c t e d 缸i i i l e b 帧 b i p f e d i c t e d 触 等几类 其中i 帧正是作为静态图像来压缩的 从1 9 8 4 年 r r u t 成立视频编码专家组 d e 0c o d i n ge x p e n sg r o u p 和1 9 8 8 年i s o c 成 立运动图像专家组 m 0 v i n gp i c t u r ee x p e r t sg r o u p 以来 先后提出了h 2 6 l 1 1 r u t19 9 3 b h 2 6 2 i t u t2 0 0 0 b h 2 6 3 1 1 u t2 0 0 5 h 2 6 4 i t u t2 0 0 7 a 以及 m p e g l i s o i m c1 9 9 3 b m p e g 一2 i s o 7 c2 0 0 0 m p e g 4 i s o 7 m c2 0 0 4 a m p e g 4a v c i s o m c2 0 0 8 等多项国际标准 其中i 帧的压缩方法也在不断改 进 在最新的视频压缩国际标准h 2 6 4 p e g 4a v c 简称h 2 6 劬w c 或h 2 6 4 1 1 r u t2 0 0 7 a i s o 也c2 0 0 8 中 i 帧的压缩方法沿袭了类似j p e g 的分块变 换编码 并加入了若干重要改进删e g a n de ta 1 2 0 0 3 首先 定义了多种编 码模式 c o d i n gm o d e s 即将j p e g 中固定的8 8 分块编码改为可变的4 4 8 8 或1 6 1 6 分块编码 以适应图像内容的局部特征 其次 引入了帧内预 测 i m ap r 甜i c t i o n 技术 即从已重建图像预测当前块 将当前块真实像素值 与预测值相减得到残差 r e s i d u e s 再对残差作变换编码 第三 设计了分别 适用于不同尺寸块的整数余弦变换 i i 他g e rc o s i n e 呦s f o n n i 与传统的 离散余弦变换相比 不仅减少了变换引入的误差 而且方便了软硬件实现 第四 设计了上下文自适应的变长编码 c o n t e x t b a s e da d 叫v e 嘣a b l el e n g t h 3 第l 章绪论 p 隆q u a n e n t r o p y t 陷n s f o n t l p r o c e s s i n g a z a t j o n c 0 d j n g n ad c t 赫曼燃三腓g v i s u a y i 二墨二 j p e g w e i g h t e d n av 厂rs c a i a r 瞿c 竺 j p e g b 型a 竺z 赫 a r i t h m e t i c p 名 器 n 阱 湍粼 鲋 图1 1j p e g j p e g2 0 0 0 和h 2 i 的主要编码流程 c o d i n g c 心几c 和上下文自适应的二进制算术编码 c o n t e x t b a s e da d a p t i v eb i n a 巧 a i i t i l l n e t i cc o d i n g c a b a c 两种熵编码方法 通过精心设计的上下文模型进一步 提高熵编码的压缩效率 第五 由于引入了多种编码模式和多种帧内预测模式 i n 廿ap r e d i c t i o nm o d e s 给编码端提供了很大的自由度 使其能够根据率失真 优化 r a t e d i s t o i t i o no p t i 血z a d o n r d o 的要求尽可能提高压缩性能 综上所述 h 2 6 4 中的i 帧压缩 简称h 2 鲫 达到了分块变换编码体系下现有的最高水平 较之j p e g 有了大幅度的改进 接近j p e g2 0 0 0 的性能 h u a i l ge ta 1 2 0 0 5 图1 1 归纳了胍g j p e g2 0 0 0 和h 2 i 三种图像压缩方法的主要编码流 程 从图中可见 它们的核心部分是变换 无论是离散余弦变换 小波变换还 是整数余弦变换 都是根据信号处理的时频分析理论 将信号中的能量集中在 少数几个变换系数中 从而实现减少数据量的压缩目的 从信息论的观点来看 这些主流方案都是利用图像中像素间的相关性 试图去除其中的统计冗余 经 过2 0 多年的发展 变换编码方法逐渐趋于成熟 要对其继续改进已经十分困 难 以h 2 6 4 i 为例 多种编码模式和预测模式被集成在一个系统中 同时利用 复杂度很高的率失真优化来自适应地选择模式 从而适应图像中不同区域的不 同特征 此外还要针对不同类型的编码元素分别设计相应的上下文模型 以提 高熵编码的效率 然而 现阶段在没有更好的信号分析手段的前提下 再通过 这种累加的办法也很