（信号与信息处理专业论文）基于偏微分方程的图像修复及放大算法研究.pdf

摘要 数字图像处理的方法多种多样，其中基于偏微分方程的方法是它的一个重要 分支，其基本思想是利用偏微分方程改变图像，然后求解该方程，方程的解就是 处理后的结果。偏微分方程的应用几乎覆盖了整个图像处理领域，本文主要以它 在数字图像放大和修复技术中的应用为研究对象。 图像放大是指提高一幅图像的分辨率，这一问题的研究历史悠久，解决的方 法也很多，其中之一便是基于偏微分方程的方法。本文首先对图像放大技术近些 年的发展现状做了总结和分析，在此基础上提出了两种图像放大算法邻域插 值平滑算法和基于扩散率函数的放大算法。前者是传统的邻域扩散方法与本文改 进的偏微分方程相结合的一种低复杂度、高放大质量的算法。后者则将各向异性 扩散模型中的扩散率函数引入到了图像插值中，可直接对图像进行分数倍放大， 并在分数倍放大和整数倍放大时均能得到较理想的结果。另外，本文结合星形插 值，将基于扩散率函数的图像放大算法应用到了图像修复中，得到了图像修复的 自适应插值算法，并对其做了分析。 图像修复是指对图像中数据完全丢失的区域进行填充，以恢复它的完整性。 处理图像修复问题的一类主要方法是建立偏微分方程，把图像修复表述成一个边 界值问题，用迭代的方法来求解，其中最具代表性和开创性的算法是b s c b 算法。 但这类方法往往速度很慢，而且修复的结果边缘模糊。本文在总结了图像修复技 术发展现状的基础上，将研究的重点放在了对b s c b 模型的改进上，分别针对 b s c b 模型的两个主要缺点提出了三种算法。其中选择性自适应插值算法是自适 应插值算法的改进，它引入了优先值概念，使得运行速度比b s c b 模型提高了很 多的同时修复的效果也有所改善。而带有预处理的b s c b 模型则将选择性自适应 插值算法与b s c b 模型结合到了一起，在保证提高运算速度的前提下，进一步改 善了修复图像的质量。另一方面，在解决修复结果边缘模糊的问题上，本文提出 了一个新型的偏微分方程一邻域差值扩散模型。该模型重新定义了图像修复过 程中的扩散方向和扩散信息，很大程度上避免了边缘模糊的产生。 关键词：图像放大，图像修复，偏微分方程，扩散率函数，b s c b 模型 a b s t r a c t t h em e t h o d sf o rd i g i t a li m a g ep r o c e s s i n ga l ev a r i o u s ，a m o n gw h i c ht h o s eb a s e d o np a r t i a ld i f f e r e n t i a le q u a t i o n ( p d e ) h a v ef o r m e da ni m p o r t a n tb r a n c h t h eb a s i ci d e a o ft h e mi st oi n f l e c ta ni m a g e u s i n gap d e w h o s es o l u t i o ni st h ep r o c e s s e di m a g e ，a n d t h e ns o l v ei t a l t h o u g hp d e sh a v eb e e na l m o s ta p p l i e dt ot h ew h o l ef i e l do fi m a g e p r o c e s s i n g ，t h i sp a p e ri sm a i n l yf o c u s e do nt h ea l g o r i t h m so fi m a g ee n l a r g e m e n ta n d i m a g ei n p a i n t i n g i m a g ee n l a r g e m e n ta i m e da ti m a g er e s o l u t i o ne n h a n c e m e n th a sb e e ns t u d i e df o r m a n yy e a r s i tc a nb ed o n ei nv a r i o u sw a y si n c l u d i n gt h o s eb a s e do np d e s i nt h i s p a p e r , t h ed e v e l o p m e n to fi m a g ee n l a r g e m e n ti nr e c e n ty e a r sa r es u m m a r i z e da n d a n a l y z e df i r s t l y t h e n ，t w oa l g o r i t h m sn a m e da d j a c e n ti n t e r p o l a t i o ns m o o t h i n g a l g o r i t h ma n di m a g ee n l a r g e m e n ta l g o r i t h mb a s e d0 nd i f f u s i v i t yf u n c t i o n a r e p r o p o s e dr e s p e c t i v e l y t h ef o r m e r , w h i c bc o m b i n e st ha d j a c e n td i f f u s i o nm e t h o da n d a na m e n d e dp d e ，h a sl o wc o m p l e x i t ya n dh i 曲q u a l i t y t h el a t t e rc a nz o o ma ni m a g e i naf r a c t i o n a lf a c t o rd i r e c t l y , a n dp e r f o r m sb e t t e ra tb o t hi n t e g e ra n df r a c t i o n a l z o o m i n gr a t i o sb yi n t r o d u c i n gt h ed i f f u s i v i t yf u n c t i o no ft h ea n i s o t r o p yd i f f u s i o n m o d e li n t o i m a g ei n t e r p o l a t i o n m o r e o v e r , c o m b i n e d w i t ht h e s t a r - s h a p e d i n t e r p o l a t i o nm e t h o d , t h es e c o n da l g o r i t h mi sf u r t h e ra p p l i e dt oi m a g ei n p a i n t i n g ，a n d c a l l e da sa d a p t i v ei n t e r p o l a t i o na l g o r i t h mf o ri m a g ei n p a i n t i n g i m a g ei n p a i n t i n gr e f e r st or e c o n s t r u c t i n gt h ec o r r u p tr e g i o mw h e r et h ed a t aa r e a l ld e s t r o y e d ap r i m a r yc l a s so ft h et e c h n i q u ei st ob u i l du pap a r t i a ld i f f e r e n t i a l e q u a t i o n ，c o n s i d e ri ta sab o u n d a r yp r o b l e m , a n ds o l v ei tb ys o m ei t e r a t i v em e t h o d t h em o s tr e s p r e s e n t a t i v ea n dc r e a t i v eo n eo ft h ei n p a i n t i n ga l g o r i t h m si sb s c b m o d e l a f t e rs u m m a r i z e st h ed e v e l o p m e n to fi m a g ei n p a i n t i n gt e c h n i q u e ，t h i sp a p e r p o i n t s t h er e s e a r c ha tt h ei m p r o v e m e n to nb s c bm o d e l ，a n dp r o p o s e st h r e e a l g o r i t h m st os o l v et h et w od r a w b a c k so ft h i sm o d e l t h ef i r s ti ss e l e c t i v ea d a p t i v e i n t e r p o l a t i o nw h i c hd e v e l o p st h et r a d i t i o n a la d a p t i v ei n t e r p o l a t i o na l g o r i t h mb y i n t r o d u c i n ga 埘o r i t yv a l u e b e s i d e sm u c hf a s t e rt h a nb s c bm o d e l ，i tc a ni m p r o v e t h ei n p a i n t i n ge f f e c t s t h es e c o n dt a k e ss e l e c t i v ea d a p t i v ei n t e r p o l a t i o na sa p r e p r o c e s s i n gs t e p ，r e d u c e st h eo p e r a t i o nt i m ea n di m p r o v e st h ei n p a i n t i n gq u a l i t y f u r t h e r t h el a s to n ec a l l e dn e i g h b o r h o o dd i f f e r e n c ed i f f u s i o nm o d e li san e wp d e p r o p o s e db yt h i sp a p e r t oa v o i dt h ep r o d u c eo fb l u r r ye d g e ，i tr e d e f m e st h ed i f f u s i o n d i r e c t i o na n di n f o r m a t i o nd u r i n gt h ep r o c e s so fi m a g ei n p a i n t i n g , a n ds o l v e st h e p r o b l e mt os o m ee x t e n t k e y w o r d s ：i m a g ee n l a r g e m e n t , i m a g ei n p a i n t i n g ，p a r t i a ld i f f e r e n t i a le q u a t i o n ， d i f f u s i v i t yf u n c t i o n ，b s c bm o d e l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作亨签名：净觳 签字日期：五知7 年g 月侈日 学位论文版权使用授权书 本学位论文作者完全了解鑫奎盘堂有关保留、使用学位论文的规定。 特授权苤鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学乎敝作者签名野彳皈 签字日期：) 矗7 年6 月扣 ， ，z 、 导师签名：j 受弛1 毳 签字日期：气卯7 年占月f 日 天津大学博士学位论文 第一章绪论 1 1 基于偏微分方程的图像修复及放大算法研究的背景和意义 1 1 1 基于偏微分方程的图像处理 当今社会，信息产业迅猛发展，技术日新月异，对信息的需求不断增加。作 为我们获取信息的重要手段，图像处理也变得尤为必要。 基于偏微分方程( p a r t i a ld i f f e r e m i a le q u a t i o n ，p d e ) 的图像处理是图像处理领 域中的一个重要分支。近年来，有关的内容日益成为相关领域研究人员关注的一 个热点。基于偏微分方程的图像处理属于低层图像处理的范畴，其处理结果通常 被当作中间结果供其它图像处理方法进一步使用，再加上偏微分方程在图像处理 中表现出来的优异性能它在处理图像时可以同时顾及到图像的平滑区域和 边缘区域使得它的应用几乎覆盖了整个图像处理领域，包括图像识别，图像 分割，图像重建，图像边缘提取，图像检测，医学图像处理，彩色图像处理，动 态图像分析，以及刚刚发展起来的图像修复等等。 用偏微分方程进行图像处理的基本思想是利用偏微分方程改变图像，然后求 解该方程，方程的解就是所期望的结果。这方面最早的研究工作可以追溯到 n a g a o 1 1 ，r u d i n t 2 】等关于图像光滑和图像增强的研究以及k e o n d e r i n k t 3 】对于图像结 构的探索，图像处理和数学的其他分支例如数学形态学( m a t h e m a t i c s m o r p h o l o g y ) 、图像水平集( 1 e v e ls e o 、图像形状( s h a p e ) 等也为这一学科的形成注 入了一定的内容。偏微分方程图像处理方法的真正建立从w i t k i n l 4 开始，他引入 了尺度空间( s c a l es p a c e ) 的概念，尺度空间把一组图像同时在多个尺度上表述。 图像的多个尺度是通过高斯平滑来获得的，利用经典热传导方程来演化图像也可 以获得图像的尺度空间。这些工作在很大程度上构成了偏微分方程图像处理的基 础。在上世纪8 0 年代末，h u m m e l 提出热传导方程并不是唯一可以构成尺度空间 的方程，并提出了构成尺度空间的准则【5 1 。p e r o n a 和m a l i k t 6 提出的各向异性扩散 模型在这个领域最具有影响力，他们提出用一个可以保持边缘的有选择性的扩散 来替换高斯扩散，这一工作引发了许多理论和实际问题的研究r 7 引。另外，o s h e r 和r u d i n t g , 1 0 1 提出的全变差( t o t a lv a r i a t i o n ，m 模型，m u m f o r d 和s h a h 1 提出的用 于图像分割的m u m f o r d s h a h 模型以及m b e r t a l m i o 等【1 2 】提出的用于图像修复的 b s c b 模型等都体现了偏微分方程在图像处理领域中的广泛应用和它的重要性。 第一章绪论 这里需要说明一下，本文的所有算法虽不是完全由偏微分方程来实现，但它 们都离不开偏微分方程的理论，这也是本文命题的主要原因。 1 1 2 图像修复 修复( i n p a i n t i n g ) - - 词本来是艺术专业名词，2 0 0 0 年，m b e r t a l m i o 等人【1 2 】将 其引入到了数字图像处理中，它的原意是指文物修复专家或艺术家在最大限度地 忠实原作的前提下，手工去除博物馆中破损或风化的艺术作品上的污点、裂痕的 过程。随着计算机科学与技术的高速发展，博物院馆也进入了数字化时代，绝大 多数艺术品如油画、雕塑作品等和众多文物都被扫描到计算机上，成为了数字图 像。而从前的手工修复过程也转化为了利用各种模型、算法或软件在计算机上对 艺术作品进行数字修复。数字修复为破损风化的艺术品提供了最安全的修补方 式。和直接在原作上作业的手工修补不同，数字修复有充分的自由度，可以渐渐 地改进修补的效果和尝试各种可能的修复方法，在数字修复过程中没有任何可能 损坏原作的危险。这对那些价值连城甚至是世界上独一无二的珍品来讲，无疑是 非常有意义的。 一个典型的数字图像修复的问题为：设，为区域q 上的一幅图像，待修复区 域d c q 上的图像缺损，如图1 - 1 所示。图中，区域d 可以是非连通的，区域，f q 、n 图l l 图像修复示意图 为己知信息区域，可以包含噪声。如何利用已知数据去除噪声和修复区域d 上 的图像，以恢复图像的本来面目或使整幅图像达到可以接受的视觉效果便是图像 修复的任务。 数字图像修复技术除了可以用来对破损图像进行修补，以恢复它的完整性 外，还包括许多其他的应用。如某些有保存价值的画报杂志上可能有书写过的笔 迹，或是有些标题是多余的，要去掉这些多余的东西就要用到图像修复技术。这 实际上是个去遮挡问题( d i s c o c c l u s i o n ) ，但解决方法跟图像修复几乎是完全相同 天津大学博士学位论文 的。图像模式识别中，待识别的对象有可能被别的对象挡住了一部分，这时也要 用到去遮挡方法。 压缩图像和视频传输过程中经常会发生数据丢失，解压后就会有块状图像信 息缺失的现象，这个问题的解决方法在图像编码系统中叫做错误隐藏或编码纠错 ( e r r o rc o n c e a l m e n t ) 。如果纠错是在解压后进行，即后端纠错，那就是一个地道 的图像修复问题 1 3 , 1 4 。实际上由于应用背景的限制，后端纠错往往是最常用的。 由于视频图像的修复有前后相邻、场景相同或类似的图像的信息可以利用，所以 常常可以运用匹配、粘贴、融合等方法。如果没有这些场景相同或类似的其他图 像的信息可用，例如动态图像中可能同一个地方的数据都丢失，再如静态图像纠 错等等，那就只能用破损区域周围的信息进行插值了。相对而言，问题的难点仍 然是单幅图像的修复方法。本文主要研究单幅图像修复问题。 图像修复的另一个重要应用就是国际上目前正在研究开发的基于对象的图 像压缩标准，又叫做感知驱动编码( p e r c e p t u a l l ym o t i v a t e dc o d i n g ) 。其基本思想 就是只对图像对象的边缘进行编码，包括边缘的位置和强度，这样可以大大降低 比特率，而在解码时要用插值的方法重构出对象的表面，即边缘所包围的平滑区 域。这种插值也是一种图像修复。 由于图像修复算法可以直接应用于这些领域，使得纯粹的单幅图像修复算法 的研究有了较为重要的意义。本文的研究工作就是针对纯粹的单幅图像修复问 题，深入研究普遍性的算法，不针对特定的应用背景。 图像修复大致可以分为结构图像修复和纹理图像修复两大类。纹理图像修复 的基本方法是纹理合成，这是一个专门的课题，已经有多年的研究历史。所以现 在的图像修复问题主要研究结构图像的修复，大都采用基于偏微分方程的方法。 本文所研究的算法也都是针对结构图像的修复算法。如上文所述，2 0 0 0 年， b e r t a l m i o ，s a p i r o ，c a s e l l e s ，b a l l e s t e r _ 【1 2 】首先提出了图像修复( i m a g ei n p a i n t i n g ) 的概念，并模仿博物馆艺术家手工修补的方法提出了一个有效的修复模型 b s c b 模型。随后，t c h a n 等人【15 】将图像复原中的全变差( t o t a lv a r i a t i o n ，t 模 型引入到了图像修复中，并对它进行了改迸】。2 0 0 1 年，m m o l i v e i r a 等人【l7 】又 提出了一个基于各向同性扩散的快速修复算法，这一算法的运算速度非常快，但 它仅能修复2 - - - 3 个像素宽的小斑点和划痕。自此，开始有大批学者关注数字图 像修复领域，提出了诸如分块重构法f 1 8 - 2 3 ，连接水平线法【砒6 】等图像修复的方法。 随着数学模型，数值算法和计算技术的日益完善，图像修复技术必定会有更好的 发展，并在更多的领域发挥作用。 第一章绪论 1 1 3 图像放大 对数字图像进行不同比例的放大，作为图像显示与处理技术中一个重要的研 究课题，有着极高的应用价值。在军事上，对数字地图或地形资料进行不同尺寸 的显示与控制是电子沙盘作业中必不可少的环节。军事决策人员常常需要反复对 某一地区进行总体概览与局部分析，军事情报人员需要在所给的有限分辨率的地 形资料上精确标定目标。此外，由于图像尺寸的变化意味着图像采样密度的变化， 采用好的方法放大图像还能起到提高图像的视觉分辨率的作用，这对于军事目标 识别来说显得格外重要。在商业上，随着近年来多媒体设备和大屏幕( 例如电视 墙等) 的普及，图像放大的重要性愈加明显，对图像压缩与传输也更具意义。另 外，图像放大在卫星照相，医学成像，气象，遥感和电影合成等方面也都有着重 要的应用。 图像放大的方法一般可以分成三种：基于单幅图像的传统插值方法；基于单 幅图像的新兴的自适应方法；基于多幅图像的超分辨率方法。其中第三种方法涉 及图像的超分辨率，属于专门的研究领域，本文仅讨论前两种方法。对于单幅图 像，其放大操作需要利用原始数字图像的数据来确定放大后图像的数据，从理论 上讲，如果原始图像的采样率足够高，那么无失真地重建原始图像数据的连续函 数是可能的。然而，这样的重建工作需要一个无限大尺寸的滤波器，这是不可能 实现的。已经有很多学者提出了通过重建原始图像数据的近似连续函数来放大图 像的内插方法，通常，这些算法都涉及到复杂的估计理论和计算。在图像放大中， 最近邻插值法【4 8 蜘堤最简单，最容易实现的，但该方法会在放大的图像中产生明 显的锯齿形边缘和方块效应。双线性插值算法【4 8 5 0 ，5 1 】i 艮好地解决了这种锯齿问 题，然而，在放大后的图像中边缘变得模糊了。还有一些学者提出了基于高阶多 项式的多项式内插算法，如三次样条插值和三次b 样条插值【4 8 5 0 j ，但是这些算法 也只是轻微地改善了边缘模糊的问题。 为了更好地放大图像，人们提出了许多新的算法，包括：对传统的空域插值 方法进行改进 5 3 - 6 7 1 ，使得插值系数与边缘附近的局部结构更契合；基于小波、分 形、神经网络的图像放大算法【7 1 1 0 2 】，通过引入现代理论更好地估计放大图像的 边缘信息；基于偏微分方程的图像放大方法【1 0 3 以1 9 j ，通过对图像边界加连续性约 束，然后由迭代算法来寻找最优解。 1 2 本文的研究工作及主要创新点 本文的研究工作主要集中在基于偏微分方程的数字图像修复和放大算法上。 天津大学博士学位论文 在图像放大方面，首先全面总结了这一技术近些年的发展现状，包括传统放大方 法和新兴的自适应插值方法以及基于小波、分形、神经网络、偏微分方程等的放 大方法，其中重点介绍了偏微分方程放大方法。在总结和分析了以往算法的基础 上，本文提出了两种新型的图像放大算法。另一方面，根据图像修复方法的分类， 本文从结构图像修复、纹理图像修复和结构纹理同时修复三个方面总结了图像修 复技术的发展现状，其中结构图像修复是介绍的重点。在总结和分析了前人工作 的基础上，本文以解决b s c b 模型存在的问题为主线，提出了三种图像修复算法， 分别解决了b s c b 算法的两个缺点。 本文的主要创新点如下： ( 1 )给出了各传统放大方法的时频响应，从滤波器的角度对它们进行分 析，得出了邻域扩散算法既运算简单又可获得较高放大质量的结论。 对各向异性扩散模型进行改进，将改进后的模型与邻域扩散算法相结 合，得到了邻域插值平滑放大算法，该算法无论从放大效果还是复杂 度上均优于其他偏微分方程图像放大算法。 ( 2 ) 利用各向异性扩散模型中的扩散率函数，改进了图像放大插值方法， 得到了基于扩散率函数的图像放大算法，该算法可直接对图像进行分 数倍的放大而不会产生几何失真，且无论分数倍放大还是整数倍放 大，该算法均能得到比较理想的结果。另外，将这一算法与星形插值 相结合可应用到图像修复中，称其为图像修复的自适应插值算法，所 得的修复结果优于快速修复算法的修复结果。 ( 3 ) 引入优先值概念，对图像修复的自适应插值算法进行改进，得到了选 择性自适应插值算法，其修复效果略胜于b s c b 模型的修复效果，并 且相比b s c b 模型，该算法的运算时间大大缩短。另外，将选择性自 适应插值算法作为b s c b 算法的预处理，显著减少了执行b s c b 模型 的迭代次数，从而降低了算法的运算耗时，且带有预处理的b s c b 模 型的修复效果明显较b s c b 模型本身的修复效果有所改善。 ( 4 )针对b s c b 模型使修复区域产生模糊的缺点，分析了导致模糊的原 因，并在此基础上提出种新型的用于图像修复的偏微分方程邻 域差值扩散模型，实验结果证明，这一模型确可明显改善图像的修复 效果，减少边缘模糊的产生。 第一章绪论 1 3 论文的组织结构 本文以数字图像的修复和放大为主要研究对象，对这两个方向近些年的发展 现状做了全面的介绍，并对一些典型算法进行了分析。在此基础上，针对当前技 术的一些不足之处提出了改进的图像放大算法和图像修复算法。本文共包括八 章，具体内容安排如下： 第一章介绍基于偏微分方程的图像修复及放大算法的背景和研究意义，概 括本文的创新点和文章的组织结构。 第二章介绍几种典型的用于图像处理的偏微分方程，对它们的数学模型进 行描述，并分析各模型的几何意义以及在应用中的优缺点。 第三章总结并分析数字图像修复和放大技术的发展现状，包括结构图像修 复、纹理图像修复、结构和纹理同时修复三大类图像修复方法，以 及传统放大方法、自适应插值算法和基于小波、分形、神经网络、 偏微分方程等图像放大方法，并重点介绍偏微分方程在这两个领域 中的应用。 第四章给出各传统图像放大方法的时频响应，从滤波器的角度分析它们的 优缺点，在此基础上提出一种基于偏微分方程的图像放大算法一 邻域插值平滑算法，给出算法的详细描述和实验结果。 第五章提出一种基于扩散率函数的图像放大算法，并将其与星形插值相结 合应用到图像修复中，得到新型的自适应插值图像修复算法，给出 算法的详细描述和实验结果。 第六章针对b s c b 模型的运算耗时过长的缺点，提出两种改进的图像修 复算法一选择性自适应插值算法和带有预处理的b c s b 模型， 分别给出两个算法的详细描述和实验结果。 第七章针对b c s b 模型修复图像产生模糊的缺点，提出一种新型的用于 图像修复的偏微分方程邻域差值扩散模型，详细描述模型的数 学表达式和离散格式，并给出实验结果。 第八章对全文的研究工作进行最后总结，并列出存在的和需要深入解决的 问题及发展前景。 天津大学博士学位论文 第二章偏微分方程图像处理的数学模型 图像偏微分方程继承了数学物理方程大量的研究成果，目前在图像处理和计 算机视觉领域中的应用日趋丰富和成熟起来，正逐渐地发展成为一门具有严谨理 论和较高实用价值的学科。本章将介绍一些应用于图像处理中的典型的偏微分方 程1 1 2 2 - 1 2 4 。为了使表述更清晰，在本章的所有介绍中，均由j ：吼2j 倪表示一幅 灰度图像，而i ( x ，y ) 是位于( x ，y ) 处像素点的灰度值，另外，引入“人工时间 参数t ，由i ( x ，f ) 表示时n t 图像的状态。 2 1 扩散模型 扩散模型主要用于图像的平滑，包括线性扩散模型( 热传导方程) 和几种非线 性扩散模型，非线性扩散模型可在平滑噪声的同时较好地保持边缘，下面对其一 一进行介绍。 2 1 1 热传导方程 热传导方程属于线性偏微分方程，作为数学物理模型，它表示了一种传热过 程，也正由此命名为热传导方程。由于一种化学物质在溶液中浓度的变化也满足 这一模型，因此它也被称为扩散方程。图像的热传导平滑方程为 + j 掣刈y 力( 2 - 1 ) 1 研 ( 2 一) l i o = i ( x ，y ，o ) 式中，为图像拉普拉斯算子。方程的初始条件为，。= l ( x ，y ，0 ) ，通常为输入的 原始图像。方程( 2 1 ) 的解为 l ( x ，y ，f ) = g ，x ( x ，y ，0 ) ( 2 2 ) 这里，表示卷积，盯= 2 f ，g 。为二维高斯函数： g ，( 工，y ) = i l 了e x p 一( 石2 + y 2 ) 2 0 2 】 ( 2 3 ) 因此，热传导方程的解等价于初始图像与不同尺度的高斯滤波器的卷积【3 】。 在图像平滑过程中，所使用的方法须具有以下两种特性：( 1 ) 因果性：当尺度 由小变大时，不产生新的细节特征；( 2 ) 定位性：在不同尺度上，图像特征的空 间位置不发生变化。热传导方程具有因果性，随着尺度t 的增大，图像的平滑效 第二章偏微分方程图像处理的数学模型 果增强，原始图像中的细节会逐渐消失，不会产生新的细节。但其定位特性较差， 在大尺度上所保留的图像特征的空间位置会展宽且发生漂移。热传导方程的这种 特点是由于它所描述的物理过程是各向同性的扩散过程，因此，其平滑过程自然 会带来区域边界的模糊。 2 1 2 各向异性扩散模型 针对热传导方程的缺点，p e r o n a 在上节所提的因果性的基础上给出了图像平 滑中多尺度描述的三个准则【6 】： ( 1 ) 因果性：同上； ( 2 ) 即时定位：在任一尺度下，图像中的区域边界要明显，并与对应尺度下 图像中的物体边界相一致。 ( 3 ) 分段平滑：在所有尺度下，区域内部要优先于区域之间进行平滑。 准则( 2 ) 表明，在对图像平滑时，图像边界的空间位置不发生变化，在任何尺度 上，都可以对边界进行精确定位。而准则( 3 ) 考虑了图像中的边界条件，在区域 边界上，其平滑功能要弱，而在区域内部，其平滑功能要加强。准则( 3 ) 为准贝l j ( 2 ) 提供了方法上的支持。 根据以上三个准则，p e r o n a 和m a l i k 提出了扩散率可变的各向异性扩散方 程【6 】 j 旦! 生；1 2 垒= d i v 【c ( x ，少，f ) v ，( x ，y ，f ) 】 ( 2 4 ) i z 0 = i ( x ，y ，0 ) 式中，d i v 为散度算子，v 为梯度算子，c ( x ，y ，t ) 为扩散率函数，厶为方程的初始 条件。当c ( x ，y ，f ) 为常数1 时，方程( 2 4 ) 变为各向同性的热传导方程( 2 - 1 ) 。根据 准则( 3 ) 的要求，p e r o n a 以梯度算子作为边界点的估计，给出了 1 w ( x ，y ，1 ) 1 j 为自 变量的扩散率函数 c ( x ，y ，) = g ( 1 1 w ( x ，y ，f ) l i ) ( 2 - 5 ) 其中g ( s ) 为单调下降函数。由式( 2 - 4 ) 和( 2 5 ) 可知，对于梯度比较大的像素点( 如 边界点) ，其扩散率会较小，相应的平滑功能就会减弱，而灰度值变化平缓的区 域，梯度值较小，扩散率就会变得比较大，平滑功能增强，这也符合了准则( 3 ) 的要求。 各向异性扩散方程是抛物线微分方程的特例，它满足极值原理，即函数的 极值只能出现在函数的底端和侧端边界上。在以x ，y ，f 为坐标轴时，设图像 的细节特征可由图像函数l ( x ，y ，0 ) 的斑点来描述，那么新斑点的产生就表示在 图像i ( x ，y ，t ) ，t o 中产生了新的极值。由极值原理可以看出，图像中新的极值 天津大学博士学位论文 只能在图像的底端和侧端边界上获得。当增加了隔热条件v ，f = 0 ，x o s d ( 此 处a 。d 表示函数的侧边界) 时，图像中新的极值只能属于底端边界，即初始图像 l ( x ，y ，0 ) 。因此，由方程( 2 - 4 ) 描述的平滑模型不产生新的细节特征，满足因果 性。 对于各向异性扩散模型的边缘增强特性我们在一维情况下来进行分析，令 l ：望芝坐，i ，：了a l ( x , t ) ，矽( ，) ；g ( ，。) i ，则式( 2 - 4 ) 在一维情况下变成 i ，= 矽( j ，)( 2 6 ) 图像的边缘增强特性是通过边缘的坡度在尺度空问的变化得出的，而边缘的坡 度可由边缘点的一阶导数厶表示。因此，需要观察兰以) ： 昙( = 去( = 丢 去( 】= j 三+ 舻k ( 2 - 7 ) 假定边缘点的指向为l o ，则边缘点x 处k = 0 ，上瓣 o ，它对应着最大坡度。那 么在边缘点的邻域内，兰( j ，) 的符号与7 ( ，) 相反，如果( j ，) 0 ，则坡度随时 优 间而增加，图像的边缘将得到增强，相反则会削弱边缘。所以选择适当的扩散 率函数可获得理想的边缘增强效果。以上结论同样适用于二维情况。实际应用 中，扩散率函数通常选择为 g ( s ) 2 赢( 2 - 8 ) 式中，九为常数，用来区分需要不同平滑强度的区域。 2 1 3 选择平滑模型 采用上述各向异性扩散模型进行平滑时，图像的边缘在尺度空间可以保持稳 定，因此不需要沿尺度因子逆向跟踪边缘。但是，该模型存在以下两个问题： ( 1 ) 假定图像存在噪声，例如白噪声，则在噪声点( x , y ，) 处，图像的梯度 v l ( x ，y ，t ) 可能很大，使得平滑系数c ( x ，y ，t ) 较小，从而将这些噪声点保 留下来，降低了去噪的性能； ( 2 ) 对于方程( 2 - 4 ) ，当扩散率函数g ( s ) = ( 1 + s 2 ) 1 或g ( s ) = e x p ( 一s ) 时，方程 是病态的。 为此，c a t t e 提出了选择平滑模型7 】 掣= d i 嘣i 巴v o v i 】( 2 9 ) 国 。 。 ( 2 9 ) l i o = i ( x ，y ，0 ) 式中，嘭为高斯函数，其表达式见式( 2 3 ) ，厶为方程的初始条件。容易看出，g 。 第二章偏微分方程图像处理的数学模型 是常系数热传导方程的基本解，因此，q w 表示常系数热传导方程的解的梯度。 对比方程( 2 - 9 ) 和( 2 - 4 ) 可以看出，用i g 仃v i i 代替式( 2 - 4 ) 中扩散率函数的自变量 1 1 w ( x ，y ，) l i 即可得到式( 2 9 ) ，因此，在选择平滑模型中，是利用l g 矿v i 来作为 边界点的估计的，并由它决定扩散的程度，既避免了在边缘点过分的扩散又能对 孤立的噪声点进行平滑。 2 1 4 退化扩散方程 c a t t e 证明了选择平滑模型的解存在且唯一，但当高斯尺度因子仃一0 时，模 型并不稳定【引。另外散度算子括号中包含梯度估计i g ，w i 和梯度w ，这使得模 型没有明显的几何解释。为此，a l v a r e z 等人提出了退化扩散模型8 】： j 掣刮q 咖v 1i v d i v ( 尚 ( 2 - 1 0 ) 【厶：i ( x , y ，o ) 其中，g ( s ) 为非增实函数，且当s o o 时，g ( j ) 趋向于0 ，厶为方程的初始条件。 当g ( s ) = 形i i t o - = 0 时，得到方程( 2 - l o ) f 内- - 种极限情况 掣= d i v ( 尚 ( 2 - 1 1 ) a、l w i 它也是方程( 2 4 ) 的特例。该极限情况非常重要，因为它的解具有明显的几何解 释。实际上，该方程对应着下述能量函数的最小化 e ( j ) = j l v j ( x ，y ) l ；x d y ( 2 - 1 2 ) e ( ，) 表示以，为特征函数的集合的周长，而式( 2 - 1 1 ) 可解释为对特征函数的边界 进行平滑。 方程( 2 - 1 0 ) 中的因子1 w i d i v 晴南) 为退化扩散项，在局部坐标系下可化为 v i i d i v ( 尚) 2 名( 2 - 1 3 ) 其中，孝与梯度v 的方向正交，为等值线方向，乓表示图像在等值线方向上的二 阶偏导数。因此，方程( 2 1 0 ) 表示在等值线上以速度g ( 1 q v 邓进行扩散，而在 梯度方向上不进行任何扩散。直角坐标系下，退化扩散项可分解为 v l l d i v ( 尚1 1 ) = 志( j 2 x l y y - 2 i x l y l x y + i ，2 u ( 2 - 1 4 ) 式中l 、，分别表示图像在x 方向和y 方向的一阶偏导数，j 。、厶为二 阶偏导数。于是，考= i v 私v ( 尚) 的解的水平集还可解释为以平均曲率沿法线 方向进行运动。该方程在图像分割中具有广泛的应用。 天津大学博士学位论文 当( x ，) ，) 点邻域内的灰度变化较小时，上述扩散速度虽然很大，但扩散仍仅 沿等值线方向进行，导致扩散效率很低。在这种情况下，既然( 工，y ) 邻域内不包 含图像细节信息，完全可采用各向同性的热传导方程进行扩散，于是，a l v a r e z 等人提出了一种综合模型1 8 3 塑掣- g q o o v 邛( ( 1 刈w i ) ) 肌删刚d i v 静 ( 2 - 1 5 ) i 厶= i ( x ，y ，o ) 式中，h ( s ) 为光滑非降函数，当s 2 玩时( 岛为常数) ，h ( s ) = 1 ，此时执行的是 退化扩散方程；当s w 时，t v 模型就 无法实现连通性原理，修复结果如图3 3 ( c ) 所示。 ( a ) 待修复图像c o ) t w 时的修复结果 图3 - 3 出现大尺度的破损时t v 模型不能实现连通原理 3 1 1 4 曲率驱动扩散模型伽 。一 t 卜= 一上 天津大学博士学位论文 t c h a n 等人【1 6 】在分析了全变差模型是如何妨碍连通性原理的基础上，从人类 视觉心理学角度出发提出了一种修复方法，称之为曲率驱动扩散( c u r v a t u r e d r i v e nd i f f u s i o n ，c d d ) 模型。该模型是在方程( 3 - 8 ) 中加上了一个惩罚项g q c ) ， 使得扩散率依赖于等照度线的曲率，如式( 3 9 ) 所示。 a t叼t = d i v ( g ( x ) 亡) ( 3 9 ) 研 i v i i 耵r 式中，茁= d i v g 刍) 为水平线的曲率，g ：r 一【o ，佃) 是曲率的单调递增函数，满 i v i i 足：g ( o ) = o 和g ( + o o ) = 糊，例如可取g ( s ) = h p ，p 为正数。g ( g ) 的弓l 入使得在 等照度线有较大曲率的地方，扩散增强，而当等照度线平滑时，扩散就减弱。通 常在图3 - 3 ( c ) 的情况下，角点a ，b ，c ，d 处的边界等照度线的曲率比较大，此 时采用式( 3 9 ) 就能达到连接断裂物体的目的。 c d d 模型比t v 模型的修复能力强，能修复更大的区域。但实验表明，曲 率驱动扩散模型没有良好的收敛性，它的收敛也没有明确的几何意义。另外，采 用c d d 模型修复图像时，等照度线仍是由直线逼近的，修复的结果存在模糊， 尤其是在边界处模糊的比较明显。 3 1 1 5 其它 对于结构图像的修复，除了上述几个经典的p d e 方法外，还有一些其他的方 法，如分块重构法 1 8 - 2 3 ，连接水平线法 2 4 - - 2 6 】等。这些方法虽不象前述的几个方法 一样将破损区域外的信息扩散到区域内部，但它们的修复过程最终也是由偏微分 方程来完成的。例如分块重构法的思想是先用曲线连接边缘，再重构平滑区。该 类算法中大都采用如下的数学模型d 8 以z | ，r l 材。，o l = 量l 彳。( “- - u 0 ) 2 , f m y + 考，i v 甜1 2 d x d y f 3 1 0 1 + ( 口+ 。茁2 ) d s 其中，等式右端的第二项是m u m f o r d s h a h 方程中的平滑区模型，第三项是边缘 模型，而且是e u l e r 弹性模型，表示用e u l e r 弹性曲线来修复边缘。各种分块重 构法的不同之处集中在式( 3 1 0 ) 的右端第三项表达式上，即对边缘的恢复上，如 文献 2 0 】、【2 1 中用r 逼近恢复边缘，文献 2 2 1 、【2 3 贝, 1 j 在式( 3 1 0 ) 中加入了一个 边界光滑项，以使修复区域的边界更加平滑等等。 连接水平线法的主要思想是：计算到达待修复区域边界的水平线，并按灰度 值进行配对，然后把成对的水平线用e u l e r 弹性曲线连接起来。这个方法中也同 样用到了e u l e r 弹性模型这一偏微分方程。 除此之外，也有一些学者对经典的基于p d e 的修复算法进行改进，如文献 2 8 第三章图像修复和放大技术发展现状及分析 和 2 9 】对t v 模型的参数进行了调整以加快算法的运算速度，或使算法可以修复带 有噪声的破损图像，文献 3 0 改进t c a t t e 等人的选择平滑模型【7 】以便用于图像修 复等等。但迄今为止对于b s c b 模型的改进却很少见，由于b s c b 模