（计算机应用技术专业论文）基于几何信息和结构特征的图像修复技术研究.pdf

苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集 保存和使用学位论文的规定 即 学位论文著作权归属苏州大学 本学位论文电子文档的内容和纸 质论文的内容相一致 苏州大学有权向国家图书馆 中国社科院文献 信息情报中心 中国科学技术信息研究所 含万方数据电子出版社 中国学术期刊 光盘版 电子杂志社送交本学位论文的复印件和电子 文档 允许论文被查阅和借阅 可以采用影印 缩印或其他复制手段 保存和汇编学位论文 可以将学位论文的全部或部分内容编入有关数 据库进行检索 涉密论文口 本学位论文属 在 年一月解密后适用本规定 非涉密论文囹 论文作者签名 筮耸聱 日 导师签名 期 砂川 基于几何信息和结构特征的图像修复技术研究 中文摘要 基于几何信息和结构特征的图像修复技术研究 中文摘要 图像修复是数字图像处理研究的重要内容 在文物保护 多余物体剔除 如视频 图像中删除部分人物 文字 小标题等 修复网络传输中丢失或损坏的视频信息以 及视频特技制作等方面有着重大应用价值 当前图像修复技术大致可以分为两类 基于几何信息用偏微分方程 p a r t i a l d i f f e r e n t i a le q u a t i o n p d e 建模的非纹理图像修复和基于结构特征的纹理图像修复 本文进行了深入研究和大量实验 内容主要包括以下四个方面 1 针对现有整体变分o w 模型修复小尺度裂痕的非纹理图像时 没有充分利用 几何信息造成邻域有用信息未能很好扩展和边缘信息的缺失 提出了一种自适应邻 域权值的t v 算法 该方法利用一平滑递减函数替代t v 模型中单一固定参数的选 取 使得迭代初期邻域有用信息快速的扩散进去 迭代后期有效的保持锐利边界 2 由于传统的曲率驱动 c d d 扩散模型 在修复拐角较多的图像时 存在修复 速度慢 迭代次数多 提出了一种快速的修复模型 先考虑几何信息的曲率使得拐 角周围信息快速融合 再用梯度平滑边缘 使算法速度提高了3 0 以上 3 针对a c r i m i m i s 的纹理优先权算法中 优先权函数会造成纹理扩散和结构信 息相互抑制的问题 提出了一种改进的优先权函数算法 优化了优先权大小选择的 计算 使得优先选取的修复像素块可信 并且更加注重修复区域的结构特征信息 4 依据图像修复的几何信息和结构特征 提出了一种新型有效的图像编码方 案 在图像的编码端 先提取边缘信息保持结构特征 再利用数学形态学对较大平 滑区域进行滤波分割 要求压缩编码的区域是边缘扩展的邻域和分割出的目标区域 从而大大减少了需要编码的信息量 解码端用自适应邻域权值的t v 算法修复解码 关键词 几何信息 结构特征 整体变分 曲率驱动扩散 图像修复 作者 苏华华 指导老师 龚声蓉教授 本文的研究工作受到江苏省自然科学基金 编号 b k 2 0 0 9 11 6 的资助 a b s t r a c tr e a e r c ho fi m a g ei n p a i n t i n gb a s e d0 1 1g e o m e t r i ci n f o r m a t i o na n ds t r u c t u r a lf e a t u r e r e s e a r c ho fi m a g ei n p a i n t i n gb a s e do ng e o m e t r i c i n f o r m a t i o na n ds t r u c t u r a lf e a t u r e a b s t r a c t i m a g ei n p a i n t i n gi st h em a i nr e s e a r c ha r e ai nt h ed o m a i no fd i g i t a li m a g ep r o c e s s i n g i tc a nb eu s e dt oc o n s e r v a t i o n r e m o v er e d u n d a n t o rt or e s t o r eo l dp h o t o r e m o v et e x ta n d h i d d e ne r r o r si nv i d e o s e t c i nm o s tc a s e i ta l s oh a sa g r e a tv a l u ei nn e t w o r kt r a n s m i s s i o n a n dd a m a g e di m a g e s t h e r ea r em a n ya p p r o a c h e sf o ri m a g ei n p a i n t i n g t h e nt w ok i n d so fi m p o r t a n ts c h e m e s i nc u r r e n tm e t h o d s o n ei si m a g ei n p a i n t i n gb a s e do nt h eg e o m e t r i ci m f o m a t i o nm o d e l s w h i c hi sa c c o r d i n gt op a r t i a ld i f f e r e n t i a le q u a t i o n s p d e t h eo t h e ri si m a g es t r u c t u r a l f e a t u r eb a s e do nt x t u r es y t h e s i sm e t h o d t h i st h e s i sc a r r i e sad e e ps t u d yo nt h o s ef o u rp a r t s t h r o u g hag r e a td e a lo fe x p e r i m e n t sa n da c q u i r e sas e r i e so fv a l u a b l er e s u l t sw h i c hc a nb e s u m m a r i z e di nt ot h ef o l l o w i n ga s p e c t s f i r s t o nt h eb a s i so fc u r r e n tt o t a lv a r i a t i o n t v m o d e l i tu s e dt or e p a i rs m a l l s c a l e c r a c k si nt h en o n t e s t u r ei m a g e b u ti td o e s n tt a k ef u l la d v a n t a g eo fu s e f u lg e o m e t r i c i n f o r m a t i o n a c c o d i n g l y i ta f f e c t st h ei n p a i n t i n gs p e e da n dt h ee d g eo fi n f o r m a t i o n w e p r o p o s e daa d p t i v en e i g h b o r e d w e i g h to fi m a g ei n p a i n t i n gb a s e do nt vm o d e l t h e m e t h o du s e sas m o o t hd e c r e a s i n gf u n c t i o ns u b s t i t u t eo faf i x e dp a r a m e t e r s q u i c k l yd i f f u s e t od a m a g e dr e g i o ni nt h ee a r l yi t e r a t i v ep r o c e s so fr e p a i r i n g m a i n t a i nt h ed e t a i lo fe d g ei n t h e1 a t e r s e c o n d t h et r a d i t i o n a lc u r v a t u r e d r i v e nd i f f u s i o n s c d d m o d e li nw h i c hc u r v a t u r e i sa d d e dc a ns a t i s f y c o n n e c t i v i t yp r i n c i p l e s b u tt h es p e e do ft h ei n p a i n t i n gi sr e l a t i v e l y t h en u m b e ro fi t e r a t i o n si sr a t h e re x c e s s i v ei nt h ec o m e r w ep r o p o s e daf a s t i m a g ei n p a i n t i n gm o d e lb ya n a l y z i n gt h ee f f e c to fg e o m e t r i ci n f o r m a t i o n c u r v a t u r e i nt h ei t e r a t i v ep r o c e s so fr e p a i r i n g w eo n l yc o n s i d e rc u r v a t u r ei nt h e i i r e a e r c ho fi m a g el n p a i n t i n gb a s e do i lg e o m e t r i ci n f o r m m i o na n ds t r u c t u r a lf e a t u r ea b s t r a c t i n i t i a li t e r a t i o n t h es i z eo fg r a d i e n tw i l lb eu s e dl a t e r s oi tn o to n l yc a nr e c o v e rl a r g e d a m a g er e g i o n b u ta l s os p e e du pi n p a i n t i n gt i m ed e f i n i t e l y t h i r d t h i sp a p e ri n t r o d u c e st h ec r i m i n i s ia l g o r i t h mi nt h et e x t u r es y n t h e s i s t h ec u r r e n t p r i o r i t yf u n c t i o nw i l lc a u s em u t u a li n h i b i t i o no ft e x t u r ea n ds t r u c t u r a lf e a t u r e an e w p r i o r t i t yf u n c t i o ni m p r o v e d i tc a no p t i m i z ea l o g o r t h ma n da d j u s to r d e ro ft h es e l e c t e d p i x e lb l o c k s oi tc a np a ya t t e n t i o nt ot h es t r u c t u r a lf e a t u r ei nt h ep r o c e s so fr e p a i r i n g f o u r t h an e ws c h e m eo fi m a g ec o d i n gb a s e do ng e o m e t r i ci n f o r m a t i o na n ds t r u c t u r a l f e a t u r e i ni m a g ec o d i n g e x t r a c ti m a g ee d g e t h e nt h el a r g eo fs m o o t hr e g i o ni ss h a p ef i l t e r s e g m e n t a t i o nb ym a t h e m a t i c a lm o r p h o l o g y e d g ee x t e n s i o ni m a g ea n dt h ep a r to ft a r g e t p a r t i t i o np i x e l sa r eo n l ye n c o d e ds ot h a tr e q u i r e di n f o r m a t i o nf o re n c o d i n gi sg r e a t l y r e d u c e d i n d e c o d i n g aa d p t i v et vm o d e li sa p p l i e d t or e c o n s t r u s t t h ei m a g e t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tw i t ht h i ss c h e m ep r o p o s e d i tc a ng e tag o o dq u a l i t yo f r e c o n s t r u c t e di m a g ei nt h ec o n d i t i o no fl e s si m a g ei n f o r m a t i o n k e y w o r d s g e o m e t r i ci n f o r m a t i o n s t r u c t a lf e a t u r e t o t a lv a r i a t i o n t v c u r v a t u r e d r i v e n d i f f u s i o n s c d d i m a g ei n p a i n t i n g w r i t t e nb ys uh u a h u a s u p e r v i s e db yg o n gs h e n g r o n g t h er e s e a r c ho ft h i st h e s i sh a ss p o n s o r e db yn a t u r a ls c i e n c ef o u n d a t i o no fj i a n g s u p r o v i n c eu n d e rg r a n tb k 2 0 0 9116 目录 中文摘要 i a b s t r a c t i i 第一章绪论 1 1 1 研究的目的及意义 1 1 2 国内外研究现状 3 1 2 1 图像修复的基本方法 3 1 2 2 基于几何信息的模型建立 4 1 2 3 基于结构特征的纹理修复 9 1 3 本文研究成果和内容安排 1 2 第二章自适应邻域权值的整体变分算法 1 4 2 1t v 模型 14 2 1 1 整体变分原理 一1 4 2 1 2 同性扩散和异性扩散的概念 17 2 2 自适应邻域权值的t v 算法 17 2 2 1 扩散传导系数选取 1 8 2 2 2 传导系数中自适应参数选取 2 0 2 2 3 数值迭代实现 2l 2 3 实验结果分析 2 3 2 4 本章小结 2 4 第三章基于几何信息梯度和曲率的快速算法 2 6 3 1c d d 模型原理 2 6 3 1 1 引入几何信息曲率项原理 2 6 3 1 2 修复模型的建立 2 7 3 2 基于梯度和曲率快速修复的算法 2 8 3 2 1t v 和c d d 模型优缺点及算法的提出 2 8 3 2 2 快速修复模型的建立 3 0 3 2 3 实验结果分析 3 0 3 3 本章小结 3 3 第四章基于结构特征的纹理图像修复 3 4 4 1 纹理合成技术概述 3 4 4 1 1 纹理合成技术的发展 3 4 4 1 2 纹理合成应用的技术 3 6 4 2 基于结构特征的优先权纹理算法 3 7 4 2 1 算法基本思想 3 8 4 2 2 改进的算法 3 9 4 3 实验结果分析 4 l 4 4 本章小结 4 3 第五章基于图像修复特征的压缩编码研究 4 4 5 1 图像压缩编码的概念 4 4 5 1 1 图像压缩编码目的及可行性 4 4 5 1 2 图像压缩编码方法的分类 4 6 5 2 基于自适应t v 模型的图像压缩编码过程 4 7 5 2 1 图像压缩编码 4 7 5 2 2 图像解码端 4 8 4 9 5 5 2 2 1 5 4 论文 5 8 9 摹于几何信息和结构特征的图像修复技术研究 第一章绪论 1 1 研究的目的及意义 第一章绪论 图像修复是一个古老而又极具有价值的课题 珍贵的绘画作品可能因年代久远或 保管不周而损坏 保管员就用手工修复它 生活中的照片放久了也会发生颜色剥落 电影胶片放映的次数多了也会损伤 图像修复的目的就是根据图像现用未被损害的信 息 按照一定的规则填补 使修复后的图像接近或达到原图像的视觉效果 1 图像修复最早可追溯到欧洲文艺复兴时期 当时是针对美术作品中出现的一些裂 痕和划痕进行修复 当前数字图像修复技术已广泛的应用于图像处理 视觉分析和电 影工业 主要应用集中在以下几个方面 1 对原本就有划痕或破损的图片进行数字扫描后得到的图像 如图1 1 所示的 珍贵美术作品和照片 由于保管条件或人为等种种因素 一些具有极高收藏价值和历 史价值的美术作品或老照片出现了裂痕和划痕 因此对这些文物和资料进行修复具有 十分重要的意义 通过数字图像修复技术 只需确定待修复的区域 计算机就可以按 照指定的算法进行修复 避免手工修复耗费大量时间 并且修复的效果很好 图l i 美术照片的修复 2 如图1 2 所示 为了某种特殊目的而移走数字图像上的文字或目标物体 修 复留下的空白区域 由于在一些图片或某一帧的电影画面中加入了文字 为了要去除 这些字幕 可以利用数字图像修复技术 以所要去除的字幕为修复区域 利用周围信 息填充 另外 由于特殊原因要隐藏图中的某个目标 这时使用数字图像修复技术也 能达到预期的效果 第一章绪论基于几何信息和结构特征的图像修复技术研究 a 文字的移除 b 目标物体 麦克风 的移除 图1 2 文字和目标物体的移除 3 修复压缩和无线传输中的失帧图像 图像的传输过程中 由于网络或其它原 因 传输后的图像可能有残缺的部分 可以根据各帧的相关信息进行修复 如图1 3 所示 图1 3 传输中失帧图像的修复 2 基于几何信息和结构特征的图像修复技术研究第一章绪论 4 高分辨率的研究 一般情况下 当图像从低分辨率放大到高分辨率时 会出 现严重的马赛克现象 图像修复不仅能达到提高分辨率的效果 而且能达到去噪的好 处 1 2 国内外研究现状 随着计算机 电子技术及网络通信的快速蓬勃发展 当前所研究的数字图像修复 是指用计算机对已损坏的图像进行处理 m b e r t a l m i o 最早从事这方面的研究 并把 它叫做i n p a i n t i n g 就是把绘画中的破损区域重新画上去的意思 该项技术在文物保 护 影视特技制作 老照片的修复 图像中文字的去除 障碍物的去除以及视频错误 隐藏等方面 有着很高的应用价值 2 1 1 2 1 图像修复的基本方法 当前国内外数字图像修复研究的方法主要有以下几种 1 频域技术 图像的有用信息大部分集中在幅度谱的低频和中频段 噪声往往 集中在高频段 可以设置幅度的滤波器降低噪声 但是频域技术不能很好得去除人造 的空间局部区域 2 帧间技术 运动图像可以利用邻近的上下帧相关信息进行修复 不能有效的 应用于静止图像和跨越很多帧的电影胶片中 3 基于纹理块的修复技术 对于有明显结构的纹理图像 如墙面 演示花纹等 仿真生成局部纹理进行填充 核心思想是在待修复区域的边界上选取一个像素点 以 该像素点为中心 根据图像的纹理特征 选取大小合适的纹理块 然后在待修复区域的 周围寻找与之最相近的纹理匹配块 来替代该纹理块 4 基于偏微分方程 p a r t i a ld i f f e r e n t i a le q u a t i o n p d e 的图像修复模型 图像的 整个修复过程转换成一系列的数学模型 利用待修复区域周围的有用信息进行数值迭 代 主要能够完成对小尺度裂痕和划痕的图像修复 5 基于频域和时域信息 3 h a r a n i 和t o t s u k a 结合频域和时域信息用人为的方法 填充一个规定的区域 这个技术需要有一个与待修复区域类似的区域存在 除了这个 限制外 它能够很好的应用到各个工作领域 第一章绪论基于几何信息和结构特征的图像修复技术研究 6 基于概率分布的修复方法 4 l e v i n 等人提出一种基于概率的修复方法 通过 对梯度和夹角的统计得到概率分布 然后以修复区域内总体概率最大为准则求取最优 解 对物体的边角有很好的效果 但这种方法在使用前需要先选择训练区域 而且对 训练区域有较高的要求 因此在实际应用中受到了一定的限制 当前主要集中研究基于几何信息的偏微分方程模型的建立和纹理合成的两大领 域 5 6 7 1 第一个是基于非纹理结构的图像修复 主要是针对小尺度裂痕的修复技术 首先 是由b e r t a h n i o 等提出的 他们利用偏微分方程 p d e 的方法来修复受损的图像 主要考 虑待修复邻域的相关的几何信息 将修复过程转化为一系列偏微分方程或能量泛函模 型 从而通过数值迭代和智能优化的方法来处理图像 其主要思想是 利用待修复区 域的边缘信息 确定扩散信息和扩散方向 从区域边界各向异性地向边界内扩散 该 方法能很好地修复图像的线结构 如目标轮廓 但不能恢复纹理细节 第二个领域是从样本纹理中生成大图像区域的纹理合成技术 它又包含两种方法 一种是基于图像分解的修复技术 其主要思想是将图像分解为结构部分和纹理部分 结构部分用修复算法修复 纹理部分用纹理合成方法填充 另一种是基于样本的纹理 合成技术 从待修复区域的边界上选取一个像素点 以该像素点为中心 根据图像的纹 理特征 选取大小合适的纹理块 然后在待修复区域的周围寻找与之最相近的纹理匹 配块来替代该纹理块 1 2 2 基于几何信息的模型建立 基于几何信息修复的基本思想是 考虑待修复区域邻域的相关几何信息 确定推 进信息的方向 通过反复数值迭代平滑地将区域外的信息推进到修复区域内 利用偏 微分方程原理建立一个合理的数学模型 偏微分方程方法处理图像是大约是从2 0 世纪9 0 年代开始 并迅速发展起来的一个 新兴交叉学科 偏微分方程的数字图像修复模型有很多 也是较先提出的一类修复模 型 m b e r t a l m i o 等人提出的是一种模拟专业人员手工修复图像的方法 它开创了基 于偏微分方程图像修复的先河 该算法主要是通过将修复区域周围的有效信息沿着等 照度线的方向迭代到修复区域内 从而产生修复信息的方式来完成对图像的修复 它 能够处理不同结构和背景的区域 并且自动化程度比较高 4 基于几何信息和结构特征的图像修复技术研究第一章绪论 在偏微分方程建模思想的基础上 于2 0 0 2 年c h a n 和s h e n 提出了一种整体变分 8 9 t o t a lv a r i a t i o n t v 模型 他们采用欧拉一拉格朗日方程和各向异性扩散的方式来保 持等照度线的方向 但是 t v 模型不能达到连接断裂边缘的要求 同年 c h a n 和s h e n 又提出了一种基于曲率驱动扩散 c u r v a t u r e d r i v e nd i f f u s i o n c d d 的修复模型 c d d 模 型是t v 模型的扩展 在定义扩散的力度方面 考虑到了等照度线方向的几何曲率信 息 这使得该模型能够很好的处理较大的破损区域 另外 还出现了很多变分的方法 求解过程中引入能量方程和e u l e r l a g r a n g e 方程的修复模型 与其它处理图像的方法相比 偏微分建模具有以下两方面优点 第一 具有较强的局域自适应性 能够很好的处理非平稳信号 虽然小波变换 w t 也具有较好的时一频域双重定域性 但由于它的尺度因子二进离散化和构成二维小波 时采用的是分离变量方法 使它的自适应能力受到极大的限制 尽管目前己提出了脊 小波 r i d g e l e t 曲小波 c u r v e l e t 轮廓小波 c o n t o u r l e t 等补救方法 但小波变换在图 像处理中自适应能力的不足仍然是公认的问题 而偏微分本身是建立在连续图像模型 之上的 它使得图像某像素的值在当前时间t 的变化仅仅依赖于该像素点的一个 无 穷小 的邻域 在这一意义上 可以说图像处理的偏微分方法具有 无穷 的局部自 适应能力 第二 具有无法比拟的高度灵活性 建立的数学基本模型 将它作某些修改或扩 充 就可以得到性能更完善或应用面更广的处理方法 而修改和扩充往往是直截了当 和简单易行的 例如 将二维推广到三维 将单值图像处理方法推广到矢量图像 图像在形成 传输和存储过程中 图像质量可能会退化 d e g r a d a t i o n 例如 由 于对象的运动 成像系统的缺陷 记录设备固有的噪声和外部干扰等 在成像系统为 线性平移不变系统的假定下 可用如下数学模型来描述退化的图像 1 0 1 1 1 2 u o 吃牛 n 1 1 式 1 1 中f x y 表示理想的图像 x y 表示成像系统的点弥散函数 p o i n t s p r e a d f u n c t i o n p s f 理想的成像系统的p s f 为艿 函数 而实际的成像系统的p s f 由于 种种原因 它的p s f 将偏离万 函数 不过 原则上说 我们可以通过对成像系统的 理论分析或实验测量来估计系统的p s f 例如 由于散焦所形成的模糊 其p s f 可近 似为g u s s i a n 第一章绪论基于几何信息和结构特征的图像修复技术研究 吃 x y e x p 一 x 2 y 2 2 8 2 1 2 大气湍流的影响可模型化为 也 v e x p 一k u 2 v 2 5 艏 1 3 式 1 3 中h d v 表示吃 x y 的f o u r i e r 变换 即成像系统的传输函数 实际上 我 们把式 1 3 中的指数5 6 1 故这一表达式与g u s s i a n 值只稍有偏离 对于运动模糊 在物体常速直线运动的情况下 有 日d v r三坚堕剖exp 一 万 au by 1 4 71 a 4 i 甜 d 式 1 4 中t 表示快门时间 a 和b 分别表示物体运动速度的x 分量和y 分量 在 本文讨论中 我们假定退化函数 x y 是已知的 1 1 表示图像的加性噪声 关于噪声的物理机制及其数学模型也是已被广泛研究的 课题 在本文的讨论中 将采用均值为零 方差为万的g a u s s 白噪声模型 图像修复问题是图像处理中的经典问题之一 它试图根据已记录的退化图像 和 关于退化系统的先验知识 来恢复式 1 1 中的理想图像f 的原貌 传统的图像修复方法多建立在线性系统的基础上 首先 我们假定图像的噪声可 忽略不计 那么根据卷积定理 可由退化模型式 1 1 得 砜 v f u 1 h d 1 1 5 从而有 即 东焉 1 6 这就是说 只要令退化函数u x y 通过一个传输函数为 风 州 5 屁 州 1 7 的线性滤波器就可复原图像f x y 这一方法常称为 逆滤波 或 去卷积 这种 看起来简单易行的方案 实际上没有实用意义 因为由上式 1 7 定义的逆滤波器可能 不存在 由于也在默写频率下可以为零 即使逆滤波器存在 也会由于吼的低通 性质 使i 硪 v l 在高频区取值很大 造成原本可忽略的微弱噪声被放大 6 基于几何信息和结构特征的图像修复技术研究第 章绪论 w i e n e r 去卷积滤波理论的出发点是使输出图像u 与理想图像f 的均方误差达到最 小 即最小化泛函 e h e 厂一甜 2 e 厂一h 木 2 e 厂一h 木 宰 玎 2 1 8 这里e 表示数学期望 经过详细的推导 在f 和n 均为平稳随机过程 且其中之一 的均值为零的条件下 可得到式 1 8 的解为 宰 吃木 木吩 r 饬木髟 1 9 式 1 9 中尺 和r 分别表示理想图像f 和噪声n 的白相关函数 利用傅里叶变换 可 得 啪 而第赫 丽1 而瑞 1 1 0 只 v 和n u 1 分别为f 和n 的功率谱 在白噪声情况下 n u 1 为常数 但一般 来说 我们没有关于只 1 的任何先验知识 故在具体设计时还必须作进一步假定 从上式 1 1 0 我们可以看到w i e n e r 去卷积滤波器风 v 可看成两个滤波器的级联 其中前一滤波器就是前面提到的逆滤波器 而后一滤波器放入传输函数为 q 2 州 丽1i 瓦而再in 而 u v 而12 1 11 称为w i e n e r 滤波器 可以通过设置滤波器建立数学模型来描述退化的图像 如图1 4 所示 仿真模拟 图像修复模型 m 表示待修复的区域 o m 是待修复区域的边界 q 表示未损坏区域 表示等照度的方向 在同一等照度线上所有的点均满足u i j c c 为一个常量 即 某一确定的灰度值 图1 4 修复模型 第一章绪论基于几何信息和结构特征的图像修复技术研究 偏微分方法的主要思想是 修复的过程可看成是一个信息推进的过程 沿着到达 待修复区域的边界a m 的等照度线的方向一n 将信息向内推进 推进方程为 1 3 1 4 z n l f j 2 n f j a t 术矿 f v f m 1 1 2 定义 为迭代步长 表示迭代过程中对 的改进量 指数n 表示修复的次数 i j 是像素坐标 随着n 的增大 可以获得效果更好的图像 当然也增加了算法的时 间 当n 增大到一定程度 甜 不再有明显的变化 即u n 1 f n f j 此时算法停 止 一般可以设定一个门限占 当迭代后的 d n l f j 与 f 的差值小于这个门限时 迭代停止 根据手工修复技术 延续到达待修复区域边界的等照度线 就是需要平滑地将区 域外的信息推进到区域内部 设f f i 表示要推进的信息 a l i 歹 是f f i 变化的 量度 n f 表示要推进的方向 则有 彬 f j a l i j o n 1 1 3 其中f f i 就是图像平滑程度的评估算子 一般情况下 取拉普拉斯算子 作为评估 算子 r j f a u f z t f 甜 f 1 1 4 推进的方向n f 为等照度的方向 对于任意一条等照度线u i j c 上任意给定 点 i j 其梯度方向旋转9 0 度后得到的v 上 f 为该点的等照度方向 也就是该点的 切线方向 n 行 v 上 f 1 1 5 同时 由于v 上 f 的模和v u i 一样 因此将等照度的方向归一化为 f 1n f 川以及模lv u i j i 根据以上的详细描述 可以得到具体的图像修复模型为 z n l f u n f 歹 a t 水u t i v m 其中 棚 2 降加湍j v u i j i 8 l i j i f i 1 j f 一l i 1 n f f i j 1 f f i 1 1 基于几何信息和结构特征的图像修复技术研究第一章绪论 r f 歹 a u 刀 f j 磙 f 0 f j 1 1 6 为了确保方向场的正确演化 应该将图像修复过程与扩散过程交叉进行 也就是 说 在图像修复过程中 每进行若干步的修复 就应进行几次反复扩散 扩散就是为 了避免曲线交叉 为了在修复过程中达到不丢失清晰度的目的 采用了各向异性扩散 各向异性扩散能够保持边缘的光滑 保证对噪声的鲁棒性 这里采用的各向异性扩散方程为 罢 x y f g x y j j x y t iv z x y f i v x y m e 1 1 7 叫 其中m 6 是m 以s 为半径的圆域扩展 k 是等照度曲线的欧几里得曲率 x y 是m 5 上的平滑函数 同时满足 f g s x y 0 当 x y e o m s i g 占 x y 1 当 x y m 1 1 8 在对破损图像进行修复之前 预先对该图像进行一次各向异性的平滑扩散 目的 是为了消除噪声对整个修复过程的影响 此后再进入修复和扩散的交替循环 基于以 上步骤的图像修复过程 可以达到令人满意的修复效果 1 2 3 基于结构特征的纹理修复 基于结构特征的纹理合成技术充分利用已知图像数据模型 将丰富的纹理信息复 制到破损区域 能够处理大面积的破损图像 相比其它技术 它能获得较好的视觉效 果 且不存在像用偏微分方程处理的区域会出现模糊的缺点 自从7 0 年代中期 c a t m u l l l 首次采用纹理映射技术生成景物表面的纹理细节以 来 纹理映射技术得到了广泛的研究和应用 在人们不断地对纹理映射进行研究的过 程中 发现对于没有严格周期性的纹理图像 单纯地重复拼接会造成纹理块与纹理块 之间明显的接缝及重复 从而影响视觉效果 为此 人们提出并发展了基于样本的纹 理合成技术 近年来纹理合成技术受到很多研究人员的重视 己成为计算机图形学 计算机视觉和图像处理的一个重要研究领域 目前 还没有一种技术能够对所有类型 的纹理都取得很好的效果 因此如何更快更好地合成纹理以及发掘更多的应用仍然是 一个亟待解决的具有挑战性的问题 一般来说 纹理合成可以分为基于像素的纹理合成和基于块 面片 的纹理合成 9 换到新的位置 最后用融合 a l p h a b l e n d i n g f 约方法平滑边界得到合成结果 该方法速 度很快 但是由于处理过于简单 只适合少量随机性较强的纹理 2 0 0 1 年 e r f o s 等人首次明确提出基于块的纹理拼合算法 i m g a eq u i l t i n g 算法 从输入纹理样图中选取同样大小的正方形小块 按照扫描线顺序放置 覆盖整个输出 图像 这些小块之间有一定重叠 这些重叠区域作为在输入纹理中查找下一个正方形 小块的约束条件 使得找到的正方形小块与其周围已合成邻域之间的重叠区域误差尽 1 0 基于几何信息和结构特征的图像修复技术研究第一章绪论 量小 最后通过动态规划算法在重叠区域找到一条最小误差边界将当前找到的小块 缝合 到输出图像上 同年 l i n a g 等人提出和e o r f s 相似的纹理合成算法 该算法首先在输入纹理样 图中随机选取 d 块贴在输出图像的左下角 然后在样本纹理中搜索和当前己合成纹 理的边界最匹配的小块并按扫描线顺序贴在当前已合成纹理块的相邻区域 对于纹理 块的边界重叠区域用羽化融合 f e a t h e rb l e n d i n g 减少裂痕 如此反复直到合成整个 输出纹理 2 0 0 3 年 n e a l e n 等人提出了混合纹理合成 h y b f i e dt e x t u e r es y n t h e s i s 即同时使 用基于块的方法和基于点的方法来合成纹理 注意到基于块的方法对较大的结构特征 保持比较好 但在块与块之间容易产生裂缝 而基于点的方法合成出的结果一般都比 较连续 但是却容易模糊纹理图像中的结构 结合两个方法的优点 采用可自适应变 换大小的块来合成纹理 对于块之间的重叠区域使用基于像素的合成方法来减小重叠 区域的误差 针对e r f o s 文中的动态规划算法计算块之间重叠区域的最小误差边界 k w a t r a 等人于2 0 0 3 年提出了利用g r p a h u c t 方法对上述最小误差边界的计算做出了重要改 进 该方法中纹理块之间的重叠区域可以是任意形状的区域 因此提高了块合成方法 的灵活性 w u 和y u 注意到如果纹理样图具有明显的纹理特征且选择的块本身就不能很好 地与相邻块匹配 则使用最好的优化算法来减少邻接块之间的误差 也达不到满意的 合成效果 为此在文中提出了基于f e a t u r em a p 的纹理合成方法 对纹理样图提取出 相应的结构特征 构造其f e a t u r em a p 在f e a t u r em a p 辅助下的纹理合成可以大大减 少合成图像中纹理特征断裂的现象 从而有效提高合成质量 f a n g 和h a r t 提出通过纹理合成生成并替换图像中特定区域的图案 从而达到编 辑照片的效果 为了使纹理合成结果与原始图像上的光照 阴影 纹理方向等变化一 致 使用s h a p e f r o m s h a d i n g 技术来恢复图像区域的法向 并将这些法向聚类形成不 同的块 在这些块上合成纹理并使得合成的纹理方向看上去与块的法向尽量一致 l i u 等人在2 0 0 4 年提出了非规则纹理合成技术 算法考虑到光照 几何和颜色 等变化因素的影响 从而生成反映局部特征的纹理合成结果 第一章绪论 基于几何信息和结构特征的图像修复技术研究 另外 j s u n 等提出的图像修复方法能够修复结构纹理和其他纹理重叠的图像 该方法引入了结构纹理扩散概念 先用交互的方式标出结构纹理的一些重要的点信 息 再使用最小能量方程把点拟合成曲线 顺着曲线方向扩散结构纹理 并把修复区 域分割开来 最后各个区域里剩下的纹理用基于块的纹理合成方法来填充 李厚强等 人提出了一种基于分形和金字塔算法的纹理合成方法 该方法适用于生成各向同性 即无方向性 的随机纹理 却不能生成各向异性纹理 之后应勉亭采用基于约束和纹 理合成的方法进行图像修复 该方法利用给定图像的约束条件 提取出有用的纹理 对图像进行综合扩散 此外 o l i v e r i r a 的基于高斯卷积核的图像滤波算法以及由周廷方 汤锋 王进等 提出的基于径向基函数 r a d i a lb a s i sf u n e t i o n s r b f 的图像修复算法 l6 1 也是当前国 内外应用较多的图像修复技术 1 7 o l i v e r i r a 算法是一种简单快速的修复算法 这种算 法基于一个重复扩展模型 用给定的信息来扩散缺陷 在许多情况下 通过简单模型 产生的结果与现有的修复模型相比 速度提高了2 3 个数量级 因而多用于交互式应 用中 基于径向基函数的图像修复算法将图像处理的问题转化为三维曲面重建问题 利用径向基函数在曲面重建中的优势进行图像修复 但是 由于基于径向基函数的修 复方法需要求解高维的线性方程组 所以速度尚不够快 仍有待改进 由于图像修复是根据己知信息推断缺失的信息 因此修复算法和图像的特征息息 相关 再加上自然图像非常复杂 既包含结构信息 也包含纹理细节 所以目前还没 有找到一种 包治百病 的算法模型 本文主要针对已用算法模型做了相应的改进 并提出了一种快速的算法模型 根 据图像修复过程所需信息 逆向的考虑图像压缩编码过程所需保留的基本特征 提出 了一种新型的编码方法 1 3 本文研究成果和内容安排 本文先简单介绍图像修复的目的和理论基础 阐述了图像修复技术的发展和现 状 并列举了当前主要应用领域 然后 对现有修复模型研究分析 在此基础上提出 了自适应和快速修复算法 在优先权纹理合成过程中改进了优先权函数使其更加注重 纹理图像的结构特征 并根据图像修复的几何和结构特征 提出了一种新型的压缩编 码方式 1 2 摹于几何信息和结构特征的图像修复技术研究第一章绪论 全文共分五章 内容安排如下 第一章介绍图像修复技术的研究目的和意义 国内外研究现状 最后介绍了本文 的主要工作 第二章分析了现有变分 t v 模型修复小尺度裂痕的非纹理图像时 传导系数中参 数固定的选取造成邻域有用信息未能很好扩展和边缘信息的缺失 提出了一种自适应 邻域权值的t v 算法 第三章针对传统的曲率驱动 c d d 扩散模型 在处理拐角较多的图像时 修复速 度慢 迭代次数多 提出了一种快速的修复模型 修复过程先考虑几何信息的曲率使 得拐角周围信息快速融合 再用梯度平滑边缘 这样算法时间也大大提高 第四章基于a c r i m i m i s 的纹理优先权算法 优先权函数会直接影响修复块的顺 序 分析了现有函数会造成纹理扩散和结构信息相互抑制 选取不可信等现象 提出 了一种改进的优先权函数算法 更加注重修复区域的结构特征信息 第五章依据图像修复的几何信息和结构特征 提出了一种新型有效的图像编码方 案 在图像的编码端 先提取边缘信息保持基本结构特征 再利用数学形态学对较大 平滑区域进行滤波分割 要求压缩编码的区域是边缘扩展的邻域和分割出的目标区 域 从而大大减少了需要编码的信息量 最后对全文的工作重点进行了总结 并且对本课题将来可以继续发展的方向进行 了展望 第二章自适应邻域权值的整体变分算法基于几何信息和结构特征的图像修复技术研究 第二章自适应邻域权值的整体变分算法 现有整体变分 t v 模型修复小尺度裂痕的非纹理图像时 实现简单 但参数选 取单一影响了几何信息的作用 造成邻域有用信息未能很好扩展和边缘信息的缺失 本章分析了修复的不同迭代时期 邻域权值不同大小选取的重要性 提出了一种自 适应邻域权值的t v 算法 使得迭代初期 邻域的有用信息快速扩散进去 迭代后 期 能有效的保持锐利边界 避免了参数选取的敏感性 从而提高了算法的稳健性 实验结果也表明 该算法能明显的提高修复速度并能很好的保持边缘信息 2 1t v 模型 2 0 0 1 年 b e r t a l m s o s a p i r o c a s e l l e s 和b a l l e s t e r 一起提出著名的b s c b 模型 1 引 该模型能够模拟手工修复的过程 但需要解三阶偏微分方程 导致计算复杂度较高 抗噪性能不好 于是 c h a n 等人在2 0 0 2 年将整体变分思想用于图像修复 提出了一 基于几何信息和结构特征的图像修复技术研究第二章白适应邻域权值的整体变分算法 1 泛函的定义 泛函分析是2 0 世纪3 0 年代形成的 主要研究拓扑线性空问到拓扑线性空问 之间满足各种拓扑和代数条件映射的分支学科 是从变分法 微分方程 积分 方程 函数论以及量子物理的研究中发展起来的 它运用几何学 代数学的观 点和方法研究分析学的课题 可看作无限维的分析学 简单的说 泛函就是定义域是一个函数 而值域是一个实数 推广开来 泛函就是从任意的向量空间到标量的映射 泛函也是一种 函数 它的独立 变量一般不是通常函数的 自变量 而是通常函数本身 泛