（信号与信息处理专业论文）面向超分辨率重建的图像放大与融合方法.pdf

中文摘要 摘要 图像超分辨率重建( 又称复原或重构) 是数字图像处理领域中近年来的一个热 门研究课题。单幅图像的超分辨率重建本质就是要使放大的图像呈现更多的细节。 序列图像的超分辨重建是指根据同一场景的低分辨率序列图像，通过信息融合技 术重建一幅或多幅高分辨率图像。本文分别对单幅图像的超分辨率放大技术和面 向多分辨率的序列图像超分辨率重建技术进行了研究。 对于单幅图像的超分辨率放大问题，在研究了传统经典的插值方法和文献中 一些非线性插值方法后，提出一种基于方向信息测度的插值方法。方向信息测度 具有判定所测量像素点是属于边缘区域、平滑区域或纹理区域中哪一区域的性质。 利用方向信息测度计算出图像的边缘区域及非边缘区域，对两种区域的未知灰度 值像素分别进行不同的插值。本算法通过实验仿真并与文献中的一些插值算法相 比较，实验结果表明本文提出的算法在保持图像边缘及降低块效应方面有明显优 势。 序列图像的超分辨率重建问题，也就是从一系列相似图像中提取出能提高目 标分辨率的相关信息，再对这些信息进行融合继而得到一幅或多幅效果较好的图 像的过程。本文所研究的多分辨率序列图像中的目标，其与成像设备之间的距离 和方位均是变化的。由于c o i l t 0 w l e t 变换具有灵活局部性和方向性的多分辨率图像 表示特点，所以选用c o 删c t 小波对多分辨率目标进行融合。仿真实验结果表明 融合达到了预期效果。 关键词：超分辨率；图像插值；图像融合；c o n t o u r l e t 变换 英文摘要 i n t e r p o l a t i o na n d f u s i o na p p r o a c h e si ni m a g e s u p e r r e s o l u t i o nr e c o n s t r u c t i o n a b s t r a c t s u p e r r 懿o o nr e c 0 邮饥l c 6 0 n ( 腻枷o n ) o fi m a g 髂i s 锄a c 畦v er 鼯e 砌t o p i c i 1 1t l l ea r e ao fd i 百t a li m a g ep r o c 懿s i n g s u p e r - r 销o l u t i o nr 骼t o r a t i o n 丘o mas i n 西e 妇a g e i sn l e 蛐q u e 舡c hc 觚p r e s e n tm o r ed e t a i l so f l es c e i l ew h e ne i l l a r g i n gn l eh a g e t h ep l l r p o s eo fm e 驯i p e r - r e s o l u t i o nr e c o n s 仇l c t i o n 仔o mas e q u e n c eo fi m a g e si st 0 r 。c o 璐仇l c to n e0 rm o r eh a g 茚o fh i g l l 盯r 嘴o l 砸o n 丘d mac o n t j m u o 髑i m a g es e q u 锄c e o fl o w e rr c l u t i o nb ym e 趾so fi n f 0 1 1 i l a t i o n 缸i o n 1 1 l i s l 懿i si n v e s t i g a t e sb o mm e s u p e r - r e s o l u t i o ne i i l a r g 锄e mt 枷q l 圮o fas i n g l ei m a 雩r e 趾d l e 蚰p e r - r e s o l u t i o n r e c o i l s 仃u c t i o no fi m a g es o q u 肌c e s t h e 廿1 e s i sp r e s e n t s 觚i n t e r p o l 撕o na 艘a c _ hb 勰o do no r i 伽l t a t i o ni l l f o m l a t i o n m e 级鹏l r o u 曲t l l es t u d i 岱o f n l ec o n v t i o n a li m a g e 诚印o l a t i o nm e m o d s 觚ds o m e n o n - l 硫掰i n t 唧o l a t i o na l g 耐1 1 ：l l s 1 l l e 嘶e n t 撕o ni n f o l m 撕0 nm e 褐u r ei s at o o lb y 砌c hp i x c l sc 锄b ec l a s s i f i e di n t 0o n eo f l ef o l l o w i n gt l l i 优r e g i o n s ：e d g er e 酉o l l 锄0 0 t l l i l 豁sr e 西o n0 rt e x t u r cr c 西o n 1 1 1 ea p p m a c hp r o p o s e di n 也i st l l e s i st a ：k e se d g e i i l f o 】衄a t i o ni n t oa o 咖n tw h 髓e l l l 盯西n gt l l es o u r c ei i i l a g e i fap i x e li sd c t 黜i i l e do n 觚e d g eo fn 把i i i l a g ei ti si n t 唧o l a t e dw i mp i x e l so nt l l es 锄ee d g e o t l l e n i ，t l i e p i x di si i l t 叩o l a t o db yb i l i n e 雏i n t 叩o l a t i o nm “h o d e x p e d m e n t a lr e s u l t ss h o wt l l a t t l l ea p l ，r o a c hp r 豁e n t e di i lt i l i s l 髓i si s 跚p e f i o rt oo m c rm e d l o d si nt 蹦n so fp r 骼e i n g t l l ee d g e so ft l l ei m a g e 觚dr e d u c i n gn l eb l o c ke f f e c t 1 1 1 es u p * r e s o l u t i o nr e c o n s t m c t i o no fi m a g es e q u e l l c 伪i sap r 0 c e s sw h i c he x t r a c t s n l e 硫e s t c dc o m t s 舶m 廿l ec o n t i n u o 璐i m a g es e q u e n c e t h 岱ei m p o r t 觚tc o n t t s 丘0 mt 、) i r oo rn l o 阳跚c c 鹤s i v ei m a g 鹤a r ec o m b i n e dt 0f o man e wi m a g eo f1 l i g l l r e s d l u t i o nb yu s i n gac e n a i n 凡s i o nm l e t l l ev 撕a t i o n so fm ep o s i t i o n 锄dm ed i s t a i l c e 6 0 mm ei n t e r e s t 。do b j c c t st 0n l ec 锄e r ac a u s em u l t i - r e s o l u t i o no b j e c t si n 廿l e s l l c c 伪s i v ei m a g e s o 、) i r i n gt 0t l l ec h 盯a c t e ro fe x c e l l e l l tl o c a l 时锄dd i r e c t i v i t ym e c o n t o u d e t 仃a n s f 0 肌i s 印p l i o dt ot l l er e c o n s 咖c t i o no ft l l e 舢l t i - r c s o l u t i o no b j e c t s e x p 痂n 即协lr c s u l t ss ：h o w l a tt h em e t l l o da c l l i e v c ds a t i s f a c t o d re f f t k e yw o r d s ：s u p e r - n s o l u t i o n ；i m a g ei n t e r p o l a t i o n ；i m a 妒f u s i o n ； c o n t o u r l e tt r a n s f o m 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文! 面囱超盆迸壅重建的图堡趑太皇融金友迭= = 。除论文中 已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开 发表或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：司辑盔聊年岁月z 日 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法 ，同意大连海事大学保留并向国家有关部门或机构送交学位 论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或 扫描等复制手段保存和汇编学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于：保密口 不保密囱( 请在以上方框内打“”) 论文作者躲邓掴筮聊签名：卉酬蒂 日期：尹移年亏月2 日 面向超分辨率重建的图像放大与融合方法 第1 章绪论 科学研究表明，人类获得外界信息大约有7 5 来自于视觉，图像包含的信息 量大而且直观，更具有广泛性，是人类相互交流，认识世界的主要媒体之一。随 着计算机多媒体技术和图像处理技术的不断发展，数字图像处理技术已广泛应用 于航空航天、工业检测、机器人视觉、公共安全、军事制导、生物医学、文化及 艺术等领域，在很多应用领域中人们通常需要的是清晰度良好的高分辨率图像。 图像的分辨率是由图像的采集设备而决定的。现代成像技术主要以电耦合器 ( c c d ) 为基础，成像感光器上单位面积c c d 的数目越多，成像分辨率愈高：反 之，则成像分辨率愈低。为了提高成像分辨率，就要减小单位c c d 的面积，随着 c c d 面积的减小，却出现了另外的问题【心】：( i ) 成像噪声增强；( i i ) c c d 的面 积已经减小到其理论极限5 0 脚2 ；( i i i ) 图像采集成本加大。由于以上问题的原 因，在目前的材料研究现状下以期通过硬件来提高图像分辨率的方法可行性空间 已不大。近年来，一些学者通过数字信号处理技术来提高图像的分辨率，即从一 系列低分辨率图像中构造出一幅或多幅清晰的高分辨率图像【l 。5 】，这种方法称为超 分辨率技术，该技术主要包括图像恢复、图像配准、图像放大与融合三个部分。 1 1 成像模型 图像是三维空间场景的二维投影，一幅图像可定义为一个二维函数厂( 工，y ) ， 这里x 和j ，是空间坐标，而在任何坐标( 工，y ) 上的幅值厂称为该点的强度或灰度， 当k y ) 和幅值厂为有限的、离散的数值时，则称该图像为数字图像。时变图像序 列是时变的三维空间在二维图像的投影，用厂仗y ，f ) 表示，其中g ，y ) 是图像坐标， f 是时间。图1 1 是一典型的图像获取过程示意【2 6 】。 在c c d 摄像机拍摄的过程中，三维景物的反射光，经过孔径、透镜以及滤光 片投射到c c d 的成像敏感元器件( 传感器阵列) 上，成像敏感元器件将光信号转 换成强弱不同的电信号，这些电信号通过数模转换器采样、量化再转换成二维数 字图像厂g ，y ) 。曝光计时器按照帧率开与关，捕获到图像序列厂b ，y ，f ) 。 第l 章绪论 图1 1 数字图像获取过程示意图 f i g 1 1n e 晔 c c s so fd i 西t a li m a g ec a 】删n g 簸孝髓鲁 1 2 图像超分辨率技术 图像超分辨率技术主要包括三个部分：图像恢复、图像配准、图像放大与融 合。 图像恢复是指从模糊图像中尽可能恢复出原始图像，改变的是图像的灰度分 辨率，并不会增加图像空间分辨率。在超分辨率过程中，图像恢复的任务就是从 低分辨率序列中估计出各帧的系统传递函数，并对各帧图像进行恢劐7 d 1 1 。 图像配准是指建立两幅图像在空间和灰度特征上映射关系的过程，其主要工 作就是根据图像之间的特征求取其空间上的映射关系1 1 2 1 。在超分辨率过程中，图 像配准的目标就是从低分辨率序列中估计出各帧图像相对于参考帧图像的空间映 射关系以及灰度上的映射关系，依据这些关系对图像进行处理而得到高分辨率图 像。 图像放大技术是信息生成技术的一种，它是利用图像的局部结构特性、统计 特性或先验知识来构造出图像中未知信息的过程。插值是图像放大通常采用的方 法，传统的插值方法利用已知的曲线模型拟合出未知的数据。在超分辨率重建的 过程中，由于图像几何变换过程会出现一些需要填充的未知灰度值点，在图像配 准上，这些未知灰度值点一般采用线性插值方法来填充，而在增大图像分辨率过 程中出现的未知灰度值点则会根据生成目的不同而采取不同的信息生成方法 2 舶】。在将低分辨率图像填充到高分辨率图像的过程中，一个像素点可能由多个 面向超分辨率重建的图像放大与融合方法 不同帧或不同位置上的像素值( 本文称之为同名信息) 来确定，同名信息可能来 自不同的低分辨率图像，也可能来自各种信息生成方法。如何从这些同名信息中 提取出对有关内容起主要作用的信息来填充到相应的未知灰度值点位置上，这便 是图像融合的作用。面向超分辨率重建的多分辨率目标图像融合是将所获取视频 序列的各帧图像( 各帧图像分辨率不同) 几何配准后，采用一定的算法将各图像 数据中包含的感兴趣信息有机结合起来，生成一幅或多幅高质量清晰图像的技术。 1 3 图像放大与融合方法 1 3 1 图像放大方法 在图像应用领域中，图像本身的尺寸有时不能满足人们的要求，这就需要对 图像进行放大或缩小。图像缩小，通常采用的方法是从高分辨率图像中向下采样， 得到的缩小图像虽然分辨率降低了但通常并不影响使用。对于图像放大，由于像 素点的增加而出现许多未知灰度值像素点，对这些像素点的填补过程是一个“无 中生有的过程，填补后的图像一般都会有不同程度的块效应或边缘模糊现象。 如何从低分辨率图像中估计或计算出未知像素点的灰度值而生成清晰度较好的高 分辨率图像，这就是图像放大的超分辨率。 单幅图像的放大，以插值放大方法为主。传统的插值方法有邻近插值、双线 性插值、双三次插值等，这些方法大多会带来很多人为加工的痕迹。邻近插值方 法是将周围未知灰度像素点简单复制为一已知像素点( 该点与未知点距离较近) 的灰度值，后果是放大后生成图像出现了严重的块效应。而线性插值是以未知灰 度值像素点周围的点为依据，把周围点不同权值的和赋予未知灰度值点，这种方 法虽然改善了邻近插值方法的块效应，但却带来了另一方面的问题：边缘模糊， 它使放大后的生成图像边缘信息损失严重。针对传统插值方法中存在的问题，国 内外许多学者开始寻找解决这类问题的方法。比较典型的插值方法有局部适应插 值，局域自适应插值，基于局域协方差的边缘插值方法等【1 5 。2 0 】。局部适应插值方 法其原理为梯度控制的加权插值，在保持图像细节和边缘信息方面有较大的优势。 局域自适应插值，对一个待插值点，该方法通过计算其局域标准偏差，将其结果 第1 章绪论 与预先设定的阈值相比较，从而决定采取何种方式完成该点的插值计算，这种方 法实现了图像平滑和边缘保持的兼顾。另一种插值方法是基于局域协方差的边缘 插值方法，它根据低分辨协方差和高分辨协方差之间的几何对偶特性，对原始低 分辨率图像进行局域协方差估计，利用所得到的低分辨率局域协方差进行高分辨 率自适应插值。 1 3 2 图像融合方法 图像融合是对多幅图像( 来源于不同传感器或视频序列) 的互补或冗余信息 进行集合的过程。它使得融合后图像更适合于人的视觉感知，或满足诸如图像处 理中的分割、特征提取、目标识别的需要。 一般认为图像融合分为三个层次，即像素级融合、特征级融合和决策级融合。 现有图像融合方法多种多样，其发展大体经历了三个阶段：传统的简单融合方法、 基于塔式分解和重建算法的融合方法以及基于小波变换的图像融合方法f 2 1 】。小 波变换是一种多分辨率分析，它可将图像分解成一个最低层逼近和不同尺度不同 方向的细节，是目前图像融合领域的主流方法。但研究表明，在高维情况下，小 波分析并不能充分利用数据本身特有的几何特征，并不是最优的和“最稀疏 的 函数表示方法。因此人们致力于发展一种新的高维函数的最优表示方法，目前提 出了r i d g e l e t 变换、b 姐d l e t 变换、c ! u r v e l e t 变换和c o n t o u d e t 变换等。这些变换所 采用的基的支撑区间表现出更高的方向敏感性，即具有“各向异性( a n i s o 仃c p y ) ， 因此它们与小波变换相比能更好的表现边缘特征，更适合于进行多尺度的边缘增 强处理。 1 4 国内外研究现状 数字图像处理技术中的图像放大与融合方法是比较基础的图像处理技术。 从一幅采集到的低分辨率图像中提取信息，通过放大重建算法得到高分辨率 图像的超分辨率重建方法主要分为两大类2 ，3 ，5 甜之8 】：一类是利用低分辨率图像序列 内在的局部结构特性和统计特性来提高图像的分辨率【4 ，2 9 。2 1 ，另一类是用大量高分 辨率样本模仿观测图像成像过程来进行训练，寻优出与观测图像最匹配的图像， 面向超分辨率重建的图像放大与融合方法 并用样本数据生成所缺损的信息，这类方法又称为基于学习的方法f 3 3 4 刀。利用低 分辨率图像内在特性来提高图像的分辨率最早是由h a r r i s 和g 0 0 d m 雒在6 0 年代 以单幅图像复原的概念和方法提出的，其中插值是最常用的方法，很多文献对单 幅图像放大的算法进行了很好的研究。如较常用的经典插值方法，以及局部适应 插值、局域自适应插值，基于局域协方差的边缘插值方法等【1 5 刎。虽然这些方法 能够使图像质量有一定改善，但由于受到图像固有信息的限制，仍然不能去掉由 于低分辨率取样所带来的图像块效应和边缘模糊现象。另一类基于学习的超分辨 率图像重建方法，如f r 黜l 觚等人利用马尔可夫网络对样本库中的高分辨率数据 进行训练，补充有明显特征的未知高分辨率图像细节，这类算法依赖先验知识的 程度较大，一般情况下运算耗时较长【3 3 4 7 】。 序列图像的超分辨率重建，是将图像序列中各帧图像的感兴趣数据有效整合 起来，也就是数据融合。小波变换、三维重建、智能融合方法都是现在应用比较 广泛的融合方法。小波变换可以将图像分解成逼近图像和细节图像之和，它们分 别代表了图像的不同结构，便于提取原始图像的结构信息和细节信息，并具有完 善的重构能力，很快成为图像融合技术研究的热点。随着三维重建显示技术的发 展，三维图像融合技术的研究也越来越受到重视。另外，神经网络、模糊逻辑、 语义学等人工智能技术也被应用到图像融合中来，这些技术能够模拟人类智能处 理方法，根据不同需要对图像进行自动的分割和融合处理，虽然发展不够完善， 却是融合研究的一个新方向，有着无穷的潜力【3 刖。目前图像的融合方法也在不断 完善，超小波也被越来越多的应用到图像融合中。 1 5 现有图像放大与融合方法所存在的问题 在单幅图像放大及图像融合领域中，经过学者们共同的努力目前已经取得了 丰硕的成果，但是仍存在着一些问题。 对于单幅图像的放大： ( 1 ) 降低图像的块效应与降低图像边缘模糊是两个相互矛盾的问题，如何使放 大后结果图像的块效应和边缘模糊程度达到最佳的结合点? 第l 章绪论 ( 2 ) 评价一幅放大后的结果图像时，如何将客观评价标准与主观评价标准结合 起来，制定切实可行的评价准则。 ( 3 ) 现在采用的各种放大方法都在尽量降低插值后图像的块效应和边缘模糊， 但是这两种现象仍然存在，是否存在彻底解决图像放大的块效应和边缘模糊问题 的方法。 在多分辨率目标的图像融合方面，目前国际上对该领域研究很少，存在的问 题是： ( 1 ) 针对多分辨率目标的图像融合，如何将图像的多分辨率性与各种数学工具 有机结合起来? 例如如何与c o n t o 谢e t 小波有机结合。 ( 2 ) 如何从低分辨率甚至失真的视频序列图像中尽可能多地提取出有价值信 息。 ( 3 ) 在多分辨率目标的融合中，选取何种插值方法和融合规则最适合于该类图 像? ( 4 ) 对于多分辨率目标的融合评价准则是否应与一般的图像融合准则一致? 1 6 本论文主要工作 本文所研究内容为面向超分辨率重建的图像放大与融合方法。 在对现有图像插值放大方法进行研究的基础上，本文提出一种基于方向信息 测度的新的插值方法。方向信息测度是判定图像中各像素点属于何类区域的一种 有效工具。在插值放大时，生成图像中的待插值点由方向信息测度来测定其属于 何种区域，不同区域的待插值点将采取不同的插值方式，如果待插值点被判定为 在边缘方向上则采取边缘方向的插值，否则待插值点被认为是在非边缘区域而采 用双线性插值方法。本文所提出的基于方向信息测度的插值方法旨在寻找一种解 决图像块效应与图像边缘信息损失严重问题的方法。 基于c o n t o w l e t 小波的多分辨性、局域性、方向性等特点，本文提出了基于 c 伽倾l r l e t 变换的多分辨率目标重建融合方法，首先提取视频序列各帧图像中感兴 趣目标并配准，然后对其进行c 伽l t o u d e t 变换，选取某种融合规则进行数据融合， 面向超分辨率重建的图像放大与融合方法 接着c o n t o w l e t 小波反变换，便得到融合后的图像。面向超分辨率重建的多分辨率 目标融合，所处理对象是分辨率各不相同的视频序列，各帧中的目标在图像中的 位置也不相同，最终融合结果希望得到一幅或多幅包含信息量丰富并且图像分辨 率较高的图像。 第2 章单幅图像超分辨率重建方法 第2 章单幅图像超分辨率重建方法 2 1 图像插值概述 图像的插值原理是以低分辨率图像中的已知像素点灰度信息为依据对未知灰 度值点作灰度估计。由离散图像屯( 七，)( 后，z z ) 通过插值方法重建它的二维 ( 2 d ) 高分辨率图像( z ，y )( j ，r ) ，该过程的数学描述为3 9 删： ( x ，y ) = 屯( 后，珍。( x 一七，y 一，) ( 2 1 ) 七， 式中，坞d ( 五y ) 为插值滤波器。 通常，使用对称的可分插值核来减少计算复杂度： 致d ( 五y ) = 日( x ) 日( 少) ( 2 2 ) 将式( 2 2 ) 带入式( 2 1 ) 得： ( 工，y ) = 屯( 后，) 日( x 一七) 日( y 一，) 七， ，、 ( 2 3 ) = l & ( 七，珍日( z 一七) p ( y 一，) ，i 因此可以把2 d 甚至高维的插值分解为单独的一维插值来处理。 图像插值放大技术本身并不能增加图像的信息，只是对低分辨图像的尺寸放 大。图像插值按插值方法可以分为线性插值和非线性插值，这两种方法又分别包 含多种方式。图像线性插值可以看作是原始图像经过一个线性滤波器或者线性插 值函数的输出。插值过程首先是把插值图像的像素坐标映射到原始图像坐标中， 映射后的坐标值通常都不是整数，继而通过线性插值方法，根据该坐标周围的像 素灰度值得到该像素的灰度值。图像的非线性插值方法是针对线性插值方法带来 的块效应及边缘模糊现象等缺点而提出的，它对边缘像素和非边缘像素进行不同 的插值处理，从而获得更好的效果。 面向超分辨率重建的图像放大与融合方法 2 2 图像插值方法 图像插值技术是数字图像处理领域里一个很大的分支，插值方法亦多种多样。 目前，采用较多的图像放大方法是线性插值。线性插值算法主要有：邻近插值 ( r 印l i c a t i o n ) 、双线性插值( b i l i n e 盯) 、双三次插值( b i 讪i c ) ，这些方法也是 传统、经典的插值方法f 4 h 6 】。由于图像放大其本质上就是“无中生有地“捏造 出一些像素来，所以在放大图像的过程中就会加入一些人造因素。邻近插值一般 会产生严重的块效应，而双线性插值和双三次插值则会使图像的边缘变得模糊。 鉴于经典插值方法的不足，人们逐渐引入了许多非线性的插值方法。 内插法是将某一基点附近( 同一方向上) 的未知灰度值点应用不同内插方法全 部赋以同样的灰度值，它主要包括均值内插法、样条内插法、小波内插法、分形 内插法等，这种算法对边缘灰度值变化大的区域平滑作用明显，对图像的纹理有 模糊作用f 4 7 1 。 p d e 及其改进的插值方法，p d e ( 偏微分方程，p a r t i a ld i 伺衙e n t i a le q u a t i o n ) 的理论起源于对少数几个特殊方程的深入研究，这些方程的重要性，在十八和十 九世纪已经有所认测4 8 4 9 1 。p d e 插值的物理意义是使被插值像素沿工方向和j ，方向 的梯度和最小而得到较好的插值效果。 近年来，发展出一种线性的空间变化的图像插值方法，它是基于估计和修改 待插值像素间偏差距离的方法【5 2 1 。具体说就是对图像像素进行加权，赋予不同 的自适应权值。其中的偏差调整过程是通过向与自己相似度更高的像素方向移动 来完成像素插值的。该过程是利用在已知灰度值像素中估计中间插值像素、估计 中间像素的位置石，它与相邻像素及它们之间的距离都是相关的，如图2 1 所示。 由图2 1 ，定义x ，而，吒+ i 为s = x 一黾，1 一s = 五+ i x 。 对于线性插值算法，则有夕( 石) = ( 1 一s ) 厂( 赡) + 矿( 五+ 。) 。同理也可计算出双三 次插值以及三次样条插值。 第2 章单幅图像超分辨率重建方法 厂、 u s1 s + x xxk x x x n x k + 2 图2 1 线性空间变化插值 f i g 2 。lij n 翩ri i l t e f p o l a t i o nw i t hd i s t a n w a r p i n g 局部适应插值方法，其基本原理是一种梯度控制的加权插值【1 5 ，1 6 1 。对图像中 未知灰度值点首先计算它在图像中的梯度，再依据不同的图像梯度进行加权插值。 基于边缘保护的插值算法，是一类对边缘进行格外保护的插值方法【5 3 5 5 1 。这 类方法以保护边缘为主要目的，保护边缘的方法各不相同。主要有二维非线性滤 波器迭代处理、边缘处的切线矢量与插值点位置的调整，以及利用c 锄y 法得到 图像的边缘并计算出该边缘像素点的灰度变化方向等方法。 基于统计特性的插值算法【1 8 - 2 0 】，是根据图像中低分辨率图像与高分辨率图像 的几何对偶性的统计特征来进行插值，它为图像插值的研究提供了一种新的思路。 小波是近年新发展起来的一种工具，它的优点在于它在时域和频域同时具有 良好的局部化性质。基于小波变换的插值算法是先将图像进行小波变换，然后对 小波系数进行处理，再进行小波反变换的一种插值方法【5 硒n 。在对小波系数处理 的过程中各人所采用的方法也不尽相同。现在也出现了一些基于神经网络和遗传 算法的插值方法，利用神经网络和遗传算法模拟或预测未知灰度值像素剧6 2 彤】。 上述插值算法的共同目标都是为了提高图像分辨率，得到高质量图像便于应 用。为了提高图像质量，除了采用多重算法外，还需采用锐化、降噪、空间滤波 等技术。 在单幅图像超分辨率重建方面，本文在重点研究了传统插值方法和局部适应 插值方法、基于局域协方差的边缘插值方法后，又研究了方向信息测度的相关知 识，将方向信息测度的检验边缘特性应用于图像插值技术中。 2 2 1 经典插值方法 经典插值方法主要包括邻近插值、双线性插值和双三次插值。 面向超分辨率重建的图像放人与融合方法 ( 1 ) 邻近插值 邻近插值是一种最简单的插值方法，又称之为零阶插值。即令输出图像的未 知像素点的灰度值等于它所放大的低分辨率图像中基准点的像素灰度值。如图2 2 所示。邻近插值计算简单，运算速度快，在大多数情况下，其结果很难满足人们 的要求。这种插值方法在图像的边缘区域，通常会产生不同程度的块效应( 边缘 的锯齿现象和深度马赛克现象) 。 图2 2 邻近插值示意图 f i g 2 2n e a r e s tn e i 曲b o ri n t e r p o l a t i o n ( 2 ) 双线性插值 双线性插值又称为一阶插值，插值效果在消除图像块效应方面要优于邻近插 值算法。这种算法相对于邻近插值算法也要复杂一些，相应的算法耗时也会长一 些。 图2 3 是双线性插值算法的示意图，在图中点( z ，y ) 是待插值点，点( f ，) 、 ( f ，+ 1 ) 、( f + l ，) 、( f + 1 ，+ 1 ) 是灰度值已知的近邻像素点。它利用( x ，j ，) 点的p q 个 近邻像素按照如下方法计算( x ，y ) 点处的灰度值厂( x ，y ) ： 点g ，y ) 的四个近邻像素点的坐标分别是( f ，) 、( f ，+ 1 ) 、o + 1 ，) 、g + 1 ，+ 1 ) ， 各像素点的灰度值分别为厂( f ，) 、( f ，+ 1 ) 、厂( f + 1 ，) 、厂( f + 1 ，+ 1 ) ，首先计算a 、 b 两点的值( 同理也可先计算c 、d 两点的值) ，分别记为0 ) 、厂) 。则有 第2 章单幅图像超分辨率重建方法 厂0 ) = 矿( f ，) + ( 1 一口沙o ，_ ，+ 1 ) ，厂p ) = 矿( f + l ，) + ( 1 一口沙( f + 1 ，+ 1 ) 。然后再计算 出点仗y ) 的灰度值：仗j ，) = 矽p ) + ( 1 6 沙0 ) ，即 厂g ，y ) = 6 阿( f + 1 ，j f ) + ( 1 一口沙( f + l ，+ 1 ) 】+ ( 1 6 桫o ，) + ( 1 一口沙( f ，j + 1 ) 】。 0 ) = ( i ，力+ ( 1 4 沙( i ，j + 1 ) ( 寥) = ( i + 1 j ) + ( 1 一口沙o + 1 ，_ f + 1 ) 图2 3 双线性插值示意图 f i g 2 3b i l i n e 缸i n t c r p o l a t i ， ( 3 ) 双三次线性插值 双三次线性插值是高阶插值算法中常用的方法，它对周围邻近的1 6 个像素点 进行插值计算。这种图像插值算法的优点是可以消除锯齿现象，插值质量高，效 果好，同前面两种方法比较边缘阶梯失真现象得到很大程度的抑制，但放大时边 缘模糊现象比较严重。该算法的另一不足之处是计算量大，运算时间长，需要实 时性较高的场合很难实现。 2 2 2 局部适应插值 局部适应插值是由b a t t i a t o 和s t 锄c 0 提出的一种插值方法【1 5 ，1 6 1 。这种方法的基 本原理是一种梯度控制的加权插值。由于该方法的部分相关信息在放大的过程中 就可以得到，整个适应过程分解到了局部，因此加快了重建速度，并在保持图像 面向超分辨率重建的图像放大与融合方法 细节和边缘信息方面也有较大的优势。该插值方法具体可分为下面三个步骤( 为 方便说明，本文以放大2 倍的情况为例) 。 第一步，简单放大，将原来刀刀的图像按如下对应关系直接放大到2 珂2 拧： e c r o ，j ) ) = s ( 2 f 一1 ，2 j 一1 ) f ，j = l ，2 ，刀 ( 2 4 ) 其余未知灰度值点的值设为1 ，如图2 4 所示。 x o o o o oooooo oo o o o o o oooooo ooo o o o o o o oo o oooo o o o o ooooooooo o o o o s 图2 4 图像简单放大 f i g 2 4s 呻l ei m a g e 铋l 哦r 髓l e n t 第二步，将放大后的图像按图2 5 的形式分别分类。 图2 5 分块图 f i g 2 5p i ) 【e l s l a y o u t 分别判断放大后的未知灰度值点属于哪一边缘梯度效应范围，根据设定阈值 的方法判定灰度在该梯度效应下是否具有在某一方向上的延续性，从而获得定点 第2 章单幅图像超分辨率重建方法 的灰度值。图2 5 中a ，b ，c ，d ，h l ，h 2 ，v 1 和v 2 分别表示灰度点，a ，b ，c ， d 分别表示灰度点a ，b ，c ，d 对应的灰度值。 首先，对于每个像素x ( 如图2 5 ( a ) ) ，根据下列相斥的条件，选择相适应 的一种情况进行计算，如果没有相符条件，留给第三步处理，判据为： ( 1 ) 如果a ，b ，c ，d 四个点的灰度值差异很小，即i 旭僻( 口，6 ，c ，d ) i r 2 并且有p d l p c i ，则x 被认为是西南一东北方向上的 点，则灰度值为侈+ c ) 2 。 ( 3 ) 如果1 6 一c i r 2 并且有p c i p d l 则x 被认为是西北一东南方向上的 点，则灰度值为( 口+ d ) 2 。 ( 4 ) 如果k j l n ，| 6 一c i n ，并且( 口一d ) ( 6 一c ) o ，可得到南北方向的 灰度值日1 = ( 口+ 6 ) 2 和日2 = ( c + d ) 2 。 ( 5 ) 如果i 口一d i n ，1 6 一c l n ，并且( 口一d ) ( 6 一c ) 阻一工2 i ，则认为p 点是x l x 2 方向上的点，其 灰度值为( 订+ x 2 ) 2 。 如果陋一工2 i 丁2 且阳一x 2 i l 口一6 l ，由认为p 点是a b 方向上的点，其 灰度值为( 口+ 6 ) 2 。 面向超分辨率重建的图像放大与融合方法 其余的p 点灰度值留到第三步处理。 第三步，对由第一步和第二步未完成赋值的点赋值。 剩余未赋灰度值的点均属于图像中灰度变化较平缓的部分，不具有明显的灰 度梯度变化，故采取加权取中值的方法进行未知灰度值点赋值。 先将2 5 6 个灰度等级分成以m = 2 5 6 f 为尺度的粗尺度灰度层e ，毋的大小随 f 值的改变而改变。第f 层包含的灰度范围为f ( f 一1 ) 到“一l 。算法扫描所有未赋值 的符合图2 5 ( a ) 的x 点。如果口，6 ，c ，d 四个点的灰度差异l ，口，俨g ，6 ，c ，d ) i 4 埘，则 x 点的灰度值为这四个点的中值。对于图2 5 ( b ) 和( c ) 应用相同的方法，最后图 像所有像素点均被赋值。由于低通滤波器会滤去图像的高频细节，为了更好地保 持图像的清晰度，基本思想就是尽可能减少低通滤波器的应用。局部适应的插值 方法就减少了低通滤波器的使用，同时，用来计算未知点灰度值的数据全部来自 于原始图像，因此不会被前述平滑操作的结果所影响，能够得到较好的放大效果。 2 2 3 基于局域协方差的边缘插值 基于局域协方差的边缘插值( 也有人称作边缘定向插值) 是一种基于高分辨 率和低分辨率图像间的几何二元性的插值方法，它先估计出低分辨率图像的局部 协方差系数，然后用这些系数作为对应的高分辨率图像的协方差系数进行插值估 计。由于协方差的边缘定向特性，算法可以自适应地调整插值系数以适应任意方 向的边缘【1 8 五嗍。 假设原始图像为x 大小为m ，先将其直接放大两倍，大小为2 膨2 ， 即匕j ，2 j = x u 。然后经过插值获得砭纠，2 川，这里采用四阶线性插值( 如图2 6 所示) 。 ii ：川= 州川) ( 2 5 ) 膏皇o ，霉o 其中用到了斜线方向的四个最近邻像素。 由于自然图像可以假设为一个局部平稳的高斯过程，由经典维纳滤波理论， 最优的最小二方差的线性插值系数应该是： 历= 尺一尹 ( 2 6 ) 第2 章单幅图像超分辨率重建方法 其中r = 【】，( o 七，z 3 ) ，尹= 【咯】，( o 七3 ) 是高分辨率图像的局部协方差， 例如由e 艺， 2 j e 川 2 川 计算而得( 如图2 6 中显示) 。 ：试萄9 o + 2 )| ； 一 i；l ： ： 图2 6 由k 2 啦_ ，) 插值获得k 2 + i 2 川) 的几何二元性 f i g 2 6c o 盯髓：p i d n d 饥b 曲嗍l o w - r 镐o l u t i 伽c 0 谢a n c ea n dh i g h - r e s o l u t i o nc c l v a r i 锄c ew h i n t e f p o l a t i l l g 2 m 2 ，+ i ) 6 0 m 2 啦) 当从低分辨率图像的协方差来估计高分辨率图像协方差时，用到了协方差和 分辨率之间的一个定性关系模型【1 8 1 9 1 。用d 和2 d 分别表示高低分辨率图像的采样 距离，在局部平稳高斯过程的假设前提下，协方差与采样距离之间可用函数表示 为r ( x 1 p 陀r ，即高分辨率图像与低分辨率图像的协方差有如下关系 r ( d ) = r ( 2 d ) 4 。为了计算的简单化，当d 逼近于。时，尺( d ) 可用尺( 2 d ) 来近似 替代。 对于二维图像，方向也是一个获得高分辨率图像协方差的重要特征。边缘的 一个基本特性就是几何二元性，它是指沿着边缘的平滑性和与边缘垂直时的陡峭 性。与方向有关的这种特性直接影响到图像的视觉效果，而局部协方差包含着足 面向超分辨率重建的图像放大与融合方法 够的信息用于判定方向。这里并不采用局部协方差来判断图像边缘的方向，而是 利用高分辨率图像和低分辨率图像的几何二元性来估计高分辨率图像的协方差。 几何二元性( g e o m e t r i cd u a l i t y ) 指在不同的分辨率情况下高低分辨率图像的 协方差在对应像誊上沿同样方向的一致性删。图2 6 显示了在对k m 御+ 。进行插值 时高分辨率协方差，气和低分辨率协方差屯，五之间的几何二元性。几何二元性 由于不需要精确估计边缘的方向，简化了对二维图像局部协方差的估计运算。同 样的图2 7 说明了当根据誓。，( f + _ ，= 堋1 ) 来对巧，( f + ，= d 姒) 进行插值时也利用了 几何二元性。事实上图2 7 与图2 6 是同构的，放大了芝倍，并旋转了万4 。 由于低分辨率图像的协方差屯，磊能够很容易的用一个局部窗口来估计： 食= 击c 乜尹= 击c 9 ( 2 7 ) m |m 1 其中夕= m 儿： 2 是由包含在局部窗口中的膨m 个像素点组成的数 据向量，而c 是一个4 m 2 数据向量，它的第七列向量是儿的四个斜线方向最近邻 的像素。 ， 由( 2 6 ) ( 2 7 ) 式，可得出： 厅= ( c r c ) - 1 ( c r 歹) ( 2 8 ) 将( 2 8 ) 式代入( 2 5 ) 式即可得出在艺川御+ 。点处的插值。 本算法不足之处在于计算的复杂性，且会在纹理区域产生椒盐噪声，影响观 测的视觉效果，在平坦区域或变化缓慢的区域会产生失真的图像。 第2 章单幅图像超分辨率重建方法 r。、 r、 r t 1 一，l l r广 ( 2 f ，2 ，) 一、r、 一 r 。 j 一 l 2 f + l ，2 - ，+ li 一( 2 “二 r3 i 一厂 。、 一 ( 垒f + l ，2 j 一1 k1r，一j厂 最 巧 眨 r 1r 、r、r 。、 l j j0 j ( 2 f + 2 ，2 _ ，) 1 r ，l、r、 一j 图2 7 由“) ( f + = 伽阼) 插值获得u ) ( “j = d 砝) 的几何二元性 f i g 2 7c o r r 懿p i o n d 钮k eh 昌t 、v 嘲l 刚f 骼o l u t i o nc o v 捌雏c e 柚dh i g h - 懈o l u t i o nc 0 v 蜀u r i 锄w h 饥 i n t e r p l o l 撕n g u ) ( f + = d 甜) 胁u ) ( f + j = 溯) 2 3 图像质量的评价 一般情况下，评价一个算法的好坏主要根据算法的效果和计算时间的长短， 但是图像的质量评价会复杂一些。它可以主观评价也可以客观评价，所谓主观评 价就是观察者依据图像的视觉效果对图像进行打分