（计算机应用技术专业论文）图像超分辨率复原的变分pde方法研究.pdf

硕士论文 图像超分辨率复原的变分p d e 方法研究 摘要 图像超分辨率复原是图像处理中一个重要的研究课题，近年来一直是图像处理 领域中一个研究热点，图像超分辨率复原不仅在理论上具有重要意义，在实际中也 有广泛应用。该方法通过对图像序列作运动估计、信息融合、去除模糊和去噪声等 操作，从低分辨率序列的多幅图像中恢复细节更精细的高分辨率图像，是一种既经 济又容易实现的图像分辨率提高方法。 本文围绕基于双边滤波的图像超分辨率复原模型展开研究，主要内容包括超分 辨率复原的性能评价、超分辨率复原的双边滤波模型及其算法框架以及在此框架下 位势函数和相似性函数的选择。 根据巨| 像相似性以及图像质量的一些标准，对主观视觉效果和客观的量化标准 两方面分别进行研究，给出一个图像质量评价体系，并且作为图像超分辨率模型和 算法的评价基准。 在图像超分辨率复原模型方面，从概率统计观点出发，利用贝叶斯框架和马尔 可夫随机场理论，将图像先验模型作为正则化项，给出了基于双边滤波的图像超分 辨率变分模型，推导了基于偏微分方程演化的迭代算法框架。 在给出的框架中，与灰度变差相关的位势函数的选择以及与像素几何距离相关 的相似度函数的选择对图像超分辨率有重要影响。一方面，给出了t i k h o n o v 、t v 、 h u b e r 以及e n t r o p y 函数进行综合比较，在此基础上给出了一个耦合t v 和熵模型的 新的正则化项，实验结果表明了本文提出的改进的正则方法的有效性。另一方面， 给出了图像像素间广义相似度函数，该函数反映了几何距离相似性和特征相似性， 因此可以进一步提高超分辨率复原的效果。实验证明了该框架对于不同的纹理和细 节的多幅图像的有效性。 关键词t 超分辨率复原，双边滤波，位势函数，熵，相似性函数 s u p e r - r e s o l u t i o n ( s r ) r e s t o r a t i o ni so n eo ft h em o s ti m p o r t a n tr e s e a r c hs u b j e c t si n t h ef i e l di m a g ep r o c e s s i n ga n di tb e c o m e sm o r ea n dm o ma t t r a c t i v ei nt h i sf i e l dd u r i n g r e c e n ty e a r s i th a sa 糟s e a r c h i n gs i g n i f i c a n c ei nt h e o r e t i c a l l ya sw e l l 雏ab r o a d a p p l i c a t i o n i np r a c t i c a l l y s u p e r - r e s o l u t i o n r e s t o r a t i o ni sa ne c o n o m i c i m a g ep r o c e s s i n g m e t h o dt h a t e x t r a c t i n gh i g h e rr e s o l u t i o ni m a g e sc o n t a i n i n gm o r d e t a i l sf r o ma ni m a g es e q u e n c eo f l o w e rr e s o l u t i o n , t h r o u g hs u c hm e t h o d sa sm o t i o ne s t i m a t i o n , i m a g ef u s i o n , d e b u t i n g a n dd e n o i s i n g t h i sd i s s e r t a t i o nf o c u s e so nt h es u p e r - r e s o l u t i o nr e s t o r a t i o nf r a m eb a s e do nt h e b i l a t e r a l f i l t e r i n g t h ep r i m a r yr e a s e r c h i n g c o n t e n ti n c l u d e sa s s e s s m e u to ft h e p e r f o r m a n c eo fs rr e s t o r a t i o n , r e s e a r c ho ft h eb i l a t e r a lf i l t e r i n gb a s e ds rr e s t o r a t i o n m o d e la n di t sa l g o r i t h mf r a m e ，a n dt h ep o t e n t i a lf u n c t i o na n dt h es i m i l a r i t yf u n c t i o n u n d e rt h em o d e l a c c o r d i n gt o t h ec r i t e r i ao fs i m i l a r i t ya n dq u a l i t yo fi m a g e s ，w ec o n d u c tt h e r e s e a r c hi nb o t hv i s u a lq u a l i t ya n ds u b j e c t i v em e a s u r ea s p e c t s a n dt h e np r o p o s e 锄 a s s e s s m e n ts y s t e mo fi m a g eq u a l i t y , w h i c hi st h eb a s i cc r i t e r i o no ft h ea l g o r i t h ma n d m o d e lo f i m a g es rr e s t o r a t i o n i nt h ea s p e c to fi m a g es rr e s t o r a t i o n , f r o mt h es t a t i s t i c a lp e r s p e c t i v e w ec o u l d 嘲 b a y e s i a na n dm a r k o vr a n d o mf i e l dt h e o r yt oa d dap r i o rp r o b a b i l i t ym o d e lo fi m a g ea s t h er e g u l a r i z e di t e m ，a n dt h e nd e v e l o pap d e e v o l v i n gb a s e di t e r a t i n ga l g o r i t h mf r a m e f o rt h ef r a m e w o r kd i s c u s s e da b o v e ，t oc h o o s eb o t has u i t a b l eg r a y s c a l ev a r i a t i o n r e l a t e dp o t e n t i a lf u n c t i o na n dap i x e le u c l i d e a nd i s t a n c er e l a t e da f f i n i t yf u n c t i o nh a sa g r e a ti m p a c tf o rt h es rr e c o n s t r u c t i o n w ec o m p a r eaf e we f f e c t i v ep o t e n t i a lf u n c t i o n s s u c ha st 蛐o n o v , t v , h u b e ra n de n t r o p yf u n c t i o ni nt h es rr e s t o r a t i o nf r a m e w o r k f u r t h e r m o r e w ep m p o ad i f f e r e n t i a b l eh y b r i df u n c t i o nb e n 】l r o e nt h en e g e n t r o p y v a r i a t i o n a li n t e g r a la n dt o t a lv a r i a t i o nf u n c t i o n e x p e r i m e n tr e s u l t sd e m o n s t r a t et h e e f f e c t i v e n e s so fo u ra p p r o a c h , b o t hi nt h ev i s u a le f f e c ta n dt h eo t h e rm e a s u r ev a l u e s o n t h eo t h e rh a n d ，w ep r o p o s eag e n e r a la f f m i t yf u n c t i o ni nt h es rr e s t o r a t i o nf r a m e w o r k t h i sf u n c t i o nr e f l e c t st h es i m i l a r i t yo fe e u l i d e a nd i s t a n c ea n df e a t u r e s e x p e r i m e n t a l r e s u l t sp r o v et h a tt h ep r o p o s e df r s n l ei se f f e c t i v ef o ri m a g e sw i t hd i f f e r e n tt e x t u r e sa n d d e t a i l s k e y w o r d s ： s u p e r - r e s o l u t i o nr e s t o r a 虹，b i l a t e r a lf i l t e r i n g ，p o t e n t i a l f u n c t i o n ，e n t r o p y ，a f f i n i t yf u n c t i o n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 毕 ) 唧年6 月) 7 1 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。 对于保密论文，按保密的有关规定和程序处理。 研究生签名： 立删7 年6 月：7 日 牛 硕士论文图像超分辨率复原的变分p d e 方法研究 1 绪论 1 1 引言 图像分辨率是图像质量的重要指标，分辨率越高，细节越精细，图像提供的信 息越丰富。在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用 中，都需要高分辨率图像。但由于受成像系统的物理条件和外界天气的影响，在数 字图像的采集与处理过程中，有许多因素会导致图像分辨率下降，其主要表现为模 糊、噪声和变形。造成模糊的因素有很多，如传感器的形状和尺寸、光学部件的性 能( 如点扩散函数p s f ) 引起的光学模糊以及采集对象的运动带来的运动模糊。另 外，在成像、传输、存储过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声 等等，而且噪声的引入方式也不同，或为加性噪声、或为乘性噪声，这些都会直接 影响到图像的分辨率。数字化采集过程也会影响图像的分辨率，欠采样效应会造成 图像的频谱交叠，使获取的图像因变形效应而发生降质。一般可以通过减小像素尺 寸、改变探测元排列方法和超分辨率图像恢复等方式提高图像分辨率。相比较而言， 通过融合图像序列中的信息来提高图像分辨率的超分辨率图像复原方法既经济又 容易实现。 图像超分辨率( s u p e r r e s o l u t i o n ，s r ) 复原是一种由一序列低分辨率 ( 1 0 w - r e s o l u t i o n ，l r ) 退化图像重建一幅高分辨率( h i g h - r e s o l u t i o n ，f i r ) 清晰图 像的复原技术【l 】。与传统图像复原技术不同在于，超分辨率复原技术充分利用了获 取的低分辨率图像序列信息，并且综合考虑了成像过程中的各种退化因素( 如运动 变形、光学模糊、低采样率、随机噪声等) ，因而更具实用性、广泛性。 多幅图像超分辨率复原的核心思想是用时间带宽( 获取同一场景的多帧图像) 换取空间分辨率，实现时间分辨率向空间分辨率的转换，使得重建图像的视觉效果 超过任何一帧低分辨率图像。对于一段场景变化不大的图像序列来说，这一组图像 具有相似但不完全相同的信息，其主要变化在于图像中运动物体产生了空间位移。 因此，利用运动估计器估计出运动矢量和位移矢量，就可以利用运动补偿的方法估 计内插的像素值，从而较准确地实现超分辨率的重建。 目前，图像超分辨率复原技术的应用十分广泛，但这一领域又存在着许多需要 解决的问题。总的说来，未来的研究将主要集中在降质模型、运动估计和重建方法 三个方面展开。已有的成果只是针对上述因素中的一个或几个方面进行了研究，完 整考虑所有因素的复原方法远未成熟，还有大量的工作有待于进一步研究。 硕士论文图像超分辨率复原的变分p d e 方法研究 1 2 图像超分辨率复原的研究现状 大多的超分辨率复原方法是从经典的单帧图像重建技术发展而来的。下面我们 将从单幅图像的重建技术和图像序列的超分辨率复原两个方面对现有超分辨率算 法进行简单介绍 1 2 1 单幅图像超分辨率复原 单帧图像重建技术经过几十年的研究，逐步形成了一套统一的理论框架。虽然 单帧图像重建技术的研究还远未成熟，但这类方法的固有局限性严重阻碍了图像重 建效果的大幅度提高。在传统的单帧图像重建问题中，因为只有一幅输入图像上的 信息可以利用，图像重建和分辨率增强效果受到极大的限制，而在超分辨率复原方 法中，可以利用图像序列中的附加空域时域信息，这样就能够重建超过任何一幅低 分辨率图像带宽的超分辨率图像。 单帧图像超分辨率 2 1 重建问题的本质就是要使放大的图像呈现更多的场景细 节。2 0 世纪9 0 年代以前，常用的超分辨率图像重建算法使用帧内插值，如：双线 性插值、三次样条插值等方法，但是重建的效果不理想。9 0 年代以后，许多基于新 的假设的图像插值算法被提出来，如：能量连续降减法、方向插值方法、多卷积核 和非线性滤波法、正交变换域法以及b a y e s i a n 分析法等，但是由于这些方法所基于 的假设与实际的情况有一定的差距，所以这些算法只是停留在理论上，未能得至广 泛运用。 最近几年，神经网络、小波分析等方法应用于图像超分辨率领域，大大提高了 重建算法的实际应用程度。a 1 1 m c d l 3 j 等采用了一个径向基函数网络，为每一个输入 模板建立一个隐单元；p l a z i a c | 4 1 采用一个固定大小的反向传递网络；c a n d i n c i a 等l q 采用自组织网络对图像进行分类插值。虽然神经网络方法的重建效果较好，但计算 量均较大，并且神经网络的训练过程较长，实时性较差。s c h u f i t z d 等【6 j 提出一种基 于隐马尔可夫树模型的图像超分辨率重建算法，提出一种新的先验能量函数，并把 图像超分辨率重建问题转化为一个有约束的优化问题，但此方法的缺陷是图像模 糊，边缘不清晰。l i x 等【7 j 提出了一种基于l s ( l e a s ts q u a r e ) 方法的边缘内插值 算法，利用低分辨率图像和高分辨率图像之间所具有的相似性，并根据相关性自适 应插值，简单易行，计算量较小，但纹理区边缘不具有自相似性，有很大局限性。 经典算法有：( 1 ) 小波重建方法，小波方法简单明了，操作简单，但纹理区域边 缘变换小波系数不具有( 或较小) 自相似性，所以有很大的局限性。( 2 ) 神经网络恢 复残差法，首先，原始低分辨率图像经过插值过程生产一个插值后的图像，然后对 插值后图像进行降采样后与原始低分辨率图像相减，对得到的残差图像运用神经网 2 硕士论文图像超分辨率复原的变分p d e 方法研究 络恢复残差，再结合插值得到的图像最终可以获得一幅高分辨率图像的估计 1 2 2 序列图像超分辨率复原 对于序列图像或同一物体的多幅图像，如果图像之间存在着相互运动( 如平移 和旋转) ，则这些序列图像含有类似但不完全相同的信息。基于序列或多幅图像的 超分辨率复原就是利用这些不同但互补的信息以及物体的先验信息，从一系列低分 辨率的图像恢复出高分辨率的图像。该思想与前述的单幅图像超分辨率复原相比， 优点在于除了利用物体的先验信息和单幅图像的信息之外，还可以充分利用图像之 间的补充信息，因此其超分辨率复原能力高于单幅图像超分辨率复原法。在此领域， m i c n g n 和n k b o s e 等1 9 j 学者分别从频域和空域，提出了超分辨率复原算法，引 起业内广泛关注。 1 2 21 频率域方法 频率域方法是图像超分辨率复原中的一类重要方法，目前比较流行的是消混叠 重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率复 原，最早的研究工作是由t a s i 和h u a n g ”j 在1 9 8 4 年进行的。在原始场景信号带宽 有限的假设下，利用离散傅立叶变换和连续傅立叶变换之间的平移、混叠性质，给 出了一个由一系列欠采样观察图像数据复原高分辨率图像的公式。多幅观察图像经 混频而得到的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程的形 式联系起来，方程组的解就是原始图像的频率域系数，再利用求解的频率域系数进 行傅立叶逆变换就可以实现原始图像的精确复原。t a s i 和h u a n g 的方法具有计算简 单的优点，但不足之处在于模型没有考虑光学系统的点扩散函数，运动模糊和观测 噪声的影响。由于模型建立在整体平移的基础上，缺少灵活性，从而限制了在大多 数实际情况下频率域方法的适用性。 1 9 9 2 年，t e k a l p ，o z k a n 和s e z a a “】针对t s a i 和h u a n g 的方法的缺点，提出了 一种改进的方法，对以前的算法进行了扩展。该方法中包括了线性平移不变的点扩 散函数和观测噪声。2 0 0 0 年，n h a tx u a nn g u g e n | 1 2 1 在t a s i 和h u a a g 的算法基础上 提出了另一种估计帧间整体平移参数的算法，该算法最主要的贡献在于计算整体平 移时与t s a i 和h u a n g 的方法相比有很大的进步，对提高效率方面有很大的帮助。 e l a dm ，f e u e ra 等【1 3 l 提出了一种基于数据驱动的稳健计算方法，该方法具有较少 的计算复杂度，便于硬件的实现，但缺点是所得到的解答不一定是最优解。后来， 还出现了用递归最小二乘法以及基于多通道采样定理的方法，但总的来说，这些方 法都是在t s a i 和h u a n g 方法上的改进，都是算法复杂度和解的优劣性之间的权衡， 3 硕士论文田像超分辨率复原的变分p e t e 方法研究 并没有在理论上取得重大的突破。 频域法的原理清晰，基于连续傅立叶交换和离散傅立叶之间的连续，可以进行 快速并行处理，然而运动模型局限性大，只是全局的运动模型，而且不能引入一些 图像的先验或者优先级来进行规准化。 1 2 22 空间域方法 空间域方法是图像超分辨率复原应用中的一类主要的方法【1 4 】，它将复杂的运动 模型与相应的插值、迭代及滤波重采样放在一起进行处理。空间域图像复原方法主 要包括非均匀空间样本内插、代数滤波后向投影、迭代反投影方法、集合理论复原 方法( 凸集投影p o c s ) 、统计复原方法( 最大后验概率估计器m a p 和最大似然估 计器m l ) 、以及混和m a p p o c s 方法 6 , 1 5 , 1 6 j 等等。 非均匀空间样本内插方法是先对低分辨率图像序列进行运动补偿，再采用内插 方法产生单幅高密度合成图像，以这个合成图像为初始值，采样l a n d w e b e r 迭代法 来复原超分辨率图像。非均匀空间样本内插方法的缺点是过于简单化，无法复原比 单幅低分辨率图像更多的频域内容，也没有使用先验约束。 代数滤波后向投影方法是f r i d e n 和a u m m a n 在1 9 8 7 年提出的，该方法中假定 线性阵列传感器的分辨率高于光学系统的有限分辨率，成像集合能够提供给定景物 区域的重叠扫描，但没有考虑观测值噪声，对高频噪声非常敏感，该方法的主要贡 献在于将层析图像领域中的复原技术用于图像的超分辨率复原。 迭代反投影方法( i b p ) 是首先用输出图像的一个初始估计作为当前估计，并 把这个当前投影结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低分辨 率模拟图像与实际观铡图像的差值称为模拟误差，根据模拟误差不断更新当前估 计。迭代反投影方法通过观测方程使超分辨率复原与观测数据匹配，但这种方法的 超分辨率复原结果不唯一，而且把先验约束引入到这种方法中也不是一件容易的事 情。 凸集投影方法( p o c s ) 是一类解决超分辨率图像复原问题的流行算法，超分 辨率图像解空间与一组凸集约束集合相交叉，而这组凸集约束集合代表了期望的超 分辨率图像的一些特性，如：正定、能量有界、数据可靠、平滑等。这样通过这些 约束集合就可以得到简化的解空间。p o c s 也是一种迭代过程，在给定超分辨率图 像空间中任意一个点的前提下，可以定位一个能满足所有凸集约束条件的收敛解。 在统计复原方法中，超分辨率复原问题解释为一个统计估计问题。最大后验概 率( m a p ) 的含义就是在已知低分辨率图像前提下，使出现高分辨率图像的后验概 率达到最大。根据贝叶斯原理，高分辨率图像的后验概率等价于以下两项之积： 4 硕士论文图像超分辨率复原的变分p d e 方法研究 ( 1 ) 已知理想高分辨率图像的前提下，低分辨率图像出现的条件概率； ( 2 ) 理想高分辨率图像的先验概率。 条件概率项通常采用高斯模型，先验概率项在不同的算法中采取不同的模型。 最大后验概率估计方法的收敛稳定性取决于先验概率项。先验概率模型应该具有下 面3 个特点： ( 1 ) 是一个局部平滑函数； ( 2 ) 具有边缘保持能力； ( 3 ) 是一个凸函数。 最大似然复原方法可以认为是最大后验概率复原方法在等概率先验模型下的 特例。 混合m a p p o c s 方法就是在最大后验概率方法的迭代优化过程中加入了一些 先验约束。已有的理论证实，只有采用梯度下降最优化方法才能保证这种混合 m a p p o c s 方法收敛到全局最优解。 最近，在一些工程文献中出现了更复杂的超分辨率重建模型和算法。f a r s i u ”】针 对帧间平移运动模型提出了一种基于双向滤波器( b i l a t e r a lf i l t e r ) 的鲁棒重建方法， 其后e l a d ”】和b 躺h 【1 q 证明t b i l a t c r a lf i l t e r 与各向异性演化的等价性。c a p e l 2 0 提 了基于特定场合( 如人脸和文字场景) 的子空间方法。g i l b o a l 2 l j 提出基于正向和反向 p d e 演化的图像去噪和超分辨率增强。s h e c h t m a n 2 2 1 在时空配准的基础上研究了多视 频序列的空间时间分辨率增强。z o m e t ”i 提出了一种基于多传感器融合的超分辨率重 建算法。n g u y e n 圳运用块循环预处理技术研究了基于t i k h o n o v 正则化的超分辨率重 建的计算问题。w i r a w a n 2 q 针对m i m o 系统提出了一种盲超分辨率复原算法。b a k e r ”l 和l i n 2 7 j 分别对超分辨率算法的性能极限进行了理论上的探讨。 1 2 3 图像超分辨率复原算法的比较 总的来说超分辨率重建算法分为频域方法和空间域方法。频域方法有t s a i 和 h u a n g 首先提出，t s a i 和h u a n g 开了超分辨率重建研究的先河；而空间域方法由于 其较好的适应性和多样性，因而成为目前研究的重点，这两种方法的优缺点【嚣i 如表 1 2 3 1o 硕士论文图像超分辨率复原的变分p d e 方法研究 表1 2 3 1 频域算法与空间域算法比较 项目 频域算法 空间域算法 观察模型频域空间域 运动模型 全局模型不限 退化模型受限不限 复杂度简单 较复杂 计算量低 高 先验知识约束难利用 通常可利用 可扩展性 差 好 适用范围 窑 宽 从运动模型和观察模型的比较可以看出，空间域方法比频域方法具有更强的适 应性，这是因为，频域方法主要思想是利用傅立叶变换的位移特性，该特性限定了 该算法的适应范围；同时也应看到，空间域方法可以方便的利用先验的约束条件， 可以考虑多种降质因素和运动模型，因此它的重建性能比频域方法好很多；但是也 应该看到，性能的改进是以复杂度的提高和计算量的增大为代价的。 在空间域算法的讨论中，研究较多是凸集投影法和最大后验概率估计法。凸集 投影方法的优点是可以方便的加入先验信息，可以很好的保持高分辨率图像上的边 缘和细节。缺点是解不唯一，解依赖于初始估计、收敛慢、运算量大等。为了提高 凸集投影算法的收敛特性，可以采用松弛投影算子，但松弛投影算子不利于保持图 像的边缘和细节。最大后验概率估计方法的优点是在复原过程中可以直接加入先验 约束，能确保解的存在和唯一，降噪能力强和收敛稳定性高等。缺点是收敛慢和运 算量大。另外最大后验概率估计方法的边缘保持能力不如凸集投影法，由这类方法 获得的高分辨率图像上的细节容易被平滑。 因此，我们下面比较一下这两种方法的特点，见表1 2 3 2 ： 表1 2 3 2 p o c s 方法与b a y e s i a n 方法的比较 项目 p o c s 方法 b a y e s i a n 方法 理论基础 集合论基础 b a y e s i a n 理论 先验知识的引入方法凸集概率密度和似然函数 重构结果不唯一唯一 难点如何选择投影算子 先验知识不具备凸集特性 从上面的讨论中可以看出，p o c s 方法和b a y e s i a n 方法都具有良好的扩展性， 可利用不同的方法将先验知识和约束条件引入算法中，因此，这两种方法是超分辨 率重建的主流。 6 硕士论文圈像超分辨率复原的变分p d e 方法研究 1 3 图像超分辨率复原的应用领域 超分辨率复原有很多应用场合： ( 1 ) 根据视频信号来打印超分辨率静态图像，其目的使放大图像和增加细节； ( 2 ) 在采集军事与气象遥感图像时，由于受到成像条件与红外成像系统分辨率的 限制，不可能获得清晰度很高的图像，而通过利用超分辨率复原技术，在不改变成 像系统的前提下，可实现高于系统分辨率的图像观测； ( 3 ) 在医学成像系统中( 如c t 、m r i 和超声波仪器等) ，可以用超分辨率复原技 术来提高图像质量，对病变目标进行仔细地检测； ( 4 ) 在银行、证券等部门地安全监控系统中，当有异常情况发生后，可对监控录 像进行超分辨率复原，提高图像要害部分的分辨率，为事件的处理提供重要线索； ( 5 ) 在数字电视( d t v ) 向高清晰电视( h d t v ) 过渡阶段，仅有部分电视节目 会以( 皿t v ) 的形式播出，不少节目采用的是( d t v ) 的形式。因此，可以利用 超分辨率复原技术将d t v 信号转化为与h d t v 接收机相匹配的信号，提高电视节 目的兼容性； ( 6 ) 在图像压缩中也有很广泛的应用。平时存储或传输低分辨率的图像信息，当 有不同需要时，再利用超分辨率复原技术获得不同分辨率的图像和视频。 目前超分辨率技术已经在识别与定位、卫星遥感成像、视频增强与重建、医学 计算机层析成像等领域得到了广泛的应用。超分辨率技术的进一步深入研究必将导 致这一技术拓宽到一些新的应用领域。 1 4 本文的主要工作 本论文主要围绕基于双边滤波的图像超分辨率复原模型展开研究。主要内容包 括超分辨率图像性能评价、图像超分辨率复原的双边滤波模型及其算法框架、基于 双边滤波的图像超分辨变分模型中位势函数的以及相似性函数的研究。 本论文结构安排如下： 第一章：主要介绍论文的研究背景、研究现状、图像超分辨率复原的分类、 基本算法、应用领域和本文的主要工作。 第二章：主要研究图像超分辨率复原的性能评价基准。根据图像相似性以及图 像质量的一些标准，对主观视觉效果和客观的量化标准两方面分别进行研究，给出 了图像超分辨率复原的性能评价体系。 第三章：主要讨论图像超分辨率复原的双边滤波模型及其算法框架，首先给出 图像的退化模型，其次从概率统计的观点出发，利用贝叶斯框架和马尔可夫随机场 理论，通过图像先验模型对问题进行正则化，提出了基于双边滤波的图像超分辨率 7 硕士论文 图像超分辨率复原的变分p d e 方法研究 变分模型，推导了基于偏微分方差演化的迭代算法。 第四章：研究了在图像超分辨率复原的双边滤波模型中位势函数的选取，首先 给出了经典t d ( h o n o v 、t v 、h u b e r 、e n t r o p y 函数并对其进行分析，在分柝各个函 数性质的基础上，提出了一个耦合t v 与熵函数模型的新的正则化模型。 第五章：研究了在基于双边滤波的图像超分辨率变分模型中相似性函数的选 取，从图像的相似度出发，根据相似度的多个方面给出了几个具体的考虑不同方面 的相似性函数。 结论：总结全文并指出今后工作的方向。 8 硕士论文图像超分辨率复原的变分p d e 方法研究 2 图像超分辨率复原的性能评价基准 2 1 引言 超分辨率复原技术在遥感、天文、医学和公安等领域具有十分重要的应用价值 和广阔的应用前景，近年来已经成为图像复原领域中最为活跃的研究课题。但是目 前，对超分辨率图像恢复算法还没有统一的评价标准，在超分辨率图像恢复研究 中，一般采用真实的或由标准测试图像人工合成的低分辨图像序列来检验新算法及 改进算法。当存在高分辨率原图时，可通过计算恢复图像与真实图像的均方误差、 相对误差、信噪比或峰值信噪比进行量化评价，再加上主观的视觉效果来评价算法 的有效性。 本文综合考虑图像相似性的一些评价标准1 2 9 j 提出一个系统的s r 复原的评估体 系。图像质量评价从方法上可以分为主观评价方法和客观评价方法：前者凭感知者 主观感受评价对象的质量，后者依据模型给出的量化指标或参数衡量图像质量。目 前的研究以后者为主，研究目标是使得质量评价模型准确地反映人眼视觉感知的主 观质量。 本文分别从主客观两个方面进行分类研究，得出综合的性能评价体系。 2 2 客观的定量评价方法 超分辨率图像复原的客观准则一般是对复原后的图像与原始图像的误差进行 定量计算。客观的评价系统结构如图( 2 2 1 ) 所示： 固一 图2 2 1 图像质量客观评价系统 2 2 1 像素级的评价方法 ( 1 ) 均方根误差r m s e ( r o o tm e a ns q u a r ee r r o r ) 9 硕士论文图像超分辨率复原的变分p d e 方法研究 复原结果图像f 和理想参考图像r 间的均方根误差定义为： 其中，彤，分别为图像的行数与列数。 这种方法将超分辨率重建结果和“最优”结果( 理想图像) 误差的平均功率r k s e 来描述超分辨率图像重建的质量的优劣，r m s e 越小，图像重建的效果越好。 ( 2 ) 峰值信噪比p s n r ( p e a k t o p e a ks i g n a l t o - n o i s er a t i o ) 文献中常用的峰值信噪比( p s n r ) ，定义为： p s n r ：l o l g 旱杀 ( 2 2 1 2 2 ) m s e 、。 其中口一= 2 - l ，k 是表示一个像素点用的2 进制位数，在很多采集的视频序列 和图像的应用中，常取k = 8 。 峰值信噪比基于图像像素灰度值进行统计和平均计算，是常用的衡量信号失真的 指标。 峰值信噪比与均方根误差有一定的统一性，在像素级评价标准上，一般我们可以 只选择峰值信噪比来进行有效的评价。对于同一组图像的重建实验，若某种超分辨率 复原方法获得的图像的均方根误差相对较小、峰值信噪比相对较高，则说明该方法的 性能相对较好。虽然这些数据反映的只是数量意义上的绝对差值，但是在很大程度上 对多数图像质量的评估是直观而有效的。 2 2 2 信息熵级的评价方法 ( i ) 熵( e n t r o p y ) 熵值的大小表示图像所包含的平均信息量的多少，图像的熵定义为： 上一1 日= 一p ，l o g p f ( 2 2 21 ) i = o 其中h 为图像的熵，l 为图像的总的灰度级，p ，表示灰度值为i 的像素数m 与图像 总像素数n 三lt d 5 ，即：a = l n ，p = p 。，p 1 ，p “ 反映了图像中具有不同灰度值 像素的概率分布。f 。间的关系图即为图像的灰度直方图，由于n = y m ，所以 i p ，间的关系图可以看作是图像的归一化灰度直方图。图像特征越明立：平均信息 量越小。 ( 2 ) 交叉熵( c r o s se n t r o p y ) 交叉熵亦称相对熵( r e l a t i v ee n t r o p y ) ，交叉熵可用来度量两幅图像间的差异， l o 硕士论文图像超分辨率复原的变分p d e 方法研究 交叉熵越小，表示图像间的差异越小若理想参考图像为r ，复原后结果图像为f ，则 参考图像r 与结果图像f 的交叉熵为： c e r f = p l o g 譬 “o p f l ( 2 2 2 2 ) 其中p 。为参考图像r 中灰度值为珀q 像素数j 与图像总像素数 之比，p 。为复原 后结果图像f 中灰度值为i 的像素数m 与图像总像素数 之比。 ( 3 ) 互信息m i ( m u t u a li n f o r m a t i o n ) 互信息( m i ) 通常用于表述两个系统间的统计相关性，或一个系统中包含的另一个 系统中信息的多少。当两幅图像的空间位置达到一致时，其中一幅图像表达另一幅图 像的信息，也就是其互信息应为最大所以互信息也可以用作两幅图像的相似性测度。 图像r 、f 间的互信息m i ( r ；f ) 定义如下： a l l ( r ；f ，= 篓蓑p 矿c 七，l o g j ；：老；詈；茜 g z ：， 其中，p g 七) 间的关系图可以看作是理想图像与复原后所得图像的归一化联 合灰度直方图。 以上所描述的三个信息量方面的评价描述的准则是：对于同一组图像的超分辨率 复原实验，若某种方法获得的复原图像的熵相对较大、交叉熵相对较小、互信息相对 较大，则说明该复原方法的性能相对较好。 2 2 。3 特征级的评价方法 w a n g 等人p o j 关于图像质量的评估提出了一种全局的度量方法，下面利用这种方 法的思想从图像的特征级来评价重建后的结果。采用复原结果和理想图像局部变化信 息的相似性作为度量，所采用的变化信息具有全方向的分辨性能。相似性的衡量用一 种局部梯度的统计量来完成。 假设x = x 。，i = 1 , 2 ， 和j ，= 饥，i = 1 , 2 ， 是参考图像r 和结果图像f 的对 应像素点灰度，那么结果图像的质量可以用两幅图的相似性度量q 来衡量。 q 4 0 。万 2 石万习两吲 ! 墅! ! ：! 2 + 2 口：+ 口； ( 2 2 3 2 ) 其中：i = 专萼毛和萝= 专善乃为两幅图像的平均灰度，一= e 缸。一i ) 2 和 硕士论文图像超分辨率复原的变分p d e 方法研究 盯，2 = e 鼽一歹) 2 分别为两幅图像灰度的方差，a o = e 眠一i ) 以一歹) 为协方差 式( 2 2 3 2 ) 中的第l 项是x 和y 的相关系数，描述了两幅图像的的相关度，它的取值 范围为 一1 ，+ 1 ，当m = a 一+ 6 ，v f = 1 , 2 ，( 其中a 和b 为常数，a o ) 时，也就是线 性关系时，第一项取得最佳值为1 ；但即使x 和y 线性相关，它们之间仍然存在相关的 失真，上述的第2 第3 项描述了这些情况。其中第2 项描述了两幅图像平均灰度的相似 性，取值范围为 0 ，1 ( 考虑到了灰度的非负性) ，当且仅当) ，= x ，v i = 1 , 2 ，n 时， 第2 项的值为1 ；o x 和盯，可以看作图像x 和y 的对比度的估计，因此第3 项衡量了两幅图 像对比度的相似性，这个方差的相似性也在 0 ，1 之问。当且仅当仃。- - - - o ，时，第3 项取得最佳值1 。 度量q 从两幅图像像素灰度的均值相似性、对比度相似性和相关系数的角度刻画 了x 和y 的相似性，这种相似性度量非常符合人类的视觉主观感知特性。 在w a n g 的基础上，a l p a r o n e 等1 3 l j 人将这种标量的相似性度量推广到矢量形式： 弘芒犏 根据像素间的相似性度量，可以提出一种新的基于相似性的超分辨率图像重建质 量客观评估方法，这种方法考虑人类视觉对局部变化更加敏感的特性p “，用理想图 像和重建结果的梯度场相似性来衡量融合的性能。考虑了图像像素的局部关系，更加 符合人的视觉特征。对于人类视觉敏感性而言，图像中的信息大部分是由边缘携带的， 边缘对应的像素附近灰度变化比较大，故而本文中选取的“重要”信息就是图像的局 部变化信息。 用一阶前向差分代替微分，得到图像梯度场，用缸和4 y 分别表示两个方向的 梯度分量，用式( 2 2 3 4 ) 和式( 2 2 3 5 ) 表示梯度的大小和方向，下面用梯度矢量特征分 别考虑梯度幅度g 与方向口的两种评估方法。 g _ 函爵 口：删a n 垒 缈 ( 2 2 3 4 ) ( 2 2 3 5 ) ( 1 ) 梯度矢量评估方法 用每个像素处的梯度矢量整体作为要衡量的特征，考虑到图像的非平稳性，先对 每幅图像进行分块，块的尺寸为k x k ，共分为m 块，可以得到图像块 伍( i ) ，f “，i = o l2 肘 。对于第i 个对应块，按照公式( 2 2 3 3 ) 分别计算r o 和f o 之间 的相似性n r f ，这样，最终的超分辨率复原的评价取为m 个块的q 僻的平均值： 硕士论文图像超分辨率复原的变分p d e 方法研究 硝，= 吉：掣 ( 2 2 3 6 ) ( 2 ) 幅度角度评估方法 矢量的相似性度量q 计算中，对一系列复数求模可能会丢失一些方向信息。下 面给出另一种度量方式将梯度场的幅度和方向分开考虑，来评价梯度场的相似 性，从而衡量超分辨率图像重建的质量好坏。将图像同样分块得到 取( ”，f ( i ) ，扛o , l 2 朋 ，对第i 个对应图像块的梯度幅度分量g ，利用公式( 2 2 3 1 ) 求出 9 2 和9 2 ) 之间的相似性q 黪) 。 关于角度的相似性度量，考虑两个角度和，正方向之间的夹角的归一化值： ，) ；1 一坐止划z 2 ( 2 2 3 7 ) 很显然，) 的值域范围是 一1 ，+ 1 ，和y 的方向差越接近o ，这个相似 性越接近l ；反之，它们的方向差越接近万，这个相似性越接近一1 。那么，对于r o ) 和 f ( o ，它们的角度相似性可以表示为对应点梯度方向夹角的均值： q 2 瓦1 夏墨。砷( 毋( r e , n ) ，毋( m ，以) ) s ) q 露) 反映了r ( 。) 和f ) 梯度方向的总体相似性。这样综合考虑梯度幅度g 和方向口，块 r o ) 和f ( ) 的梯度相似性描述为： q 嚣= q 磐) q 磐 ( 2 2 3 9 ) 得到妒掣 3 。 如果一幅原图像与复原结果图像所有点的梯度均反向，即每个点的梯度方向差 均为石，相当于只是图像灰度顺序取反，图像细节信息仍会保留，但如果是部分点 梯度反向，则会使图像质量严重退化。在每幅原图像和复原结果计算相似性的时候， 如果绝大部分点的梯度都同向或反向，那么，它们大部分是同号相加，再加上式 ( 2 2 3 1 0 ) 中取绝对值的操作，不会太大地降低图像最终的度量。同时，如果这个反 向情况的出现是完全随机的，那么，绝对值操作前的所有正负累加操作，将使最终 的度量不会太高，这一点符合人类的视觉特征。 2 3 主观评价准则 对超分辨率复原图像质量的第二种评价准则是主观准则，是对图像的视觉效果进 行评分。选择一组评价者给待评图像进行打分，对这些主观打分进行求平均操作获得 硕士论文图像超分辨率复原的变分p d e 方法研究 一个主观评分1 3 3 l 。表2 3 1 所列的是两种典型的评分标准。 表2 3 i 对图像质量的主观评分标准 得分第一种评价标准第二种评价标准 5非常好 感觉不到失真 4 好感觉到失真，但没有不舒服的感觉 3一般 稍有感觉到不舒服 2 较差不舒服 l差 非常