（计算机应用技术专业论文）基于边缘方向的高精度快速图像插值算法研究与应用.pdf

摘要 摘要 图像插值是数字图像处理中一项重要技术。传统插值算法模型简单，容易实现，它 们原理基本相同，即需要找到与输出图像相对应的输入图像点，然后再通过计算该点附 近某一像素集合的加权平均值来指定输出像素的灰度值，其他像素点都不考虑；他们之 间的区别主要在于点周围像素序列的取法不同。传统插值算法已能达到较好的视觉效 果，但是由于它们不能很好地处理图像中剧烈跳变的局部特征，如：边缘、纹理等细节， f 墩放大图像的边缘细节模糊。 为了消除传统插值算法细节模糊和边缘锯齿化，本文提出一种新颖的基于边缘检测 的边缘梯度多方向优化插值算法，并采用两种方法实现。算法思想主要是通过对经典插 值算法放大后得到的高分辨率图像先进行边缘检测，然后根据多方向边缘梯度变化，对 边缘邻接像素点进行自相关模糊消除优化插值；多倍放大时采取小倍率循环修正方式实 现。实验证明，算法对传统插值算法放大后的图像边缘锯齿和模糊效应大大改善，使修 正优化后的图像清晰。对于r g b 彩色图像先进行各分量色融合，再边缘检测，对提高图 像质量也取得了明显的效果。 处理视频、网络信号要求有较好的视觉质量和较低的算法复杂度、运算量，本文提 出了一种基于图像边缘多方向最大相关性的快速数字图像插值算法。算法实现上设计出 两种方案。主要是通过阈值控制方式分类像素点，采用双通道达到快速插值的目的；根 据空间域内多个方向邻近像素点的相关特性，利用与待内插点相邻6 个降采样像素点对 高分辨率图像插值。实验证明，该算法大大降低了运算复杂度，提高了插值速度，并得 到了视觉质量较好的插值图像。 实验应用于自然景物、文字图像和人物图片等几类图像，通过大量的实验数据与效 果图，验证了本文两种图像插值算法的可行性和有效性。 关键字：图像插值；图像放大；边缘检测；最大相关性；梯度；边缘保持；阈值 a b s t r a c t i m a g ei n t e r p o l a t i o ni sa l li m p o r t a n tt e c h n o l o g yi nd i g i t a li m a g ep r o c e s s i n g t r a d i t i o n a l i n t e r p o l a t i o na l g o r i t h mi ss i m p l ea n de a s i l yr e a l i z a b l e t h e yh a dt h es a m eb a s i cp r i n c i p a l ， t h a t st of i n dai n p u tp i x e l ，w e i g h ta n o t h e rp i x e ln e a r b y ，t h e no u t p u tt h e 口a y v a l u e ，t a k en o a c c o u n to ft h eo t h e r s t h ed i f f e r e n c ei st h ew a yo fg e t t i n gt h ep i x e l sa r o u n d t r a d i t i o n a l i n t e r p o l a t i o na l g o r i t h mo b t a i n sag o o dv i s i o n a le f f e c t s ，b u tt h e yc a nn o tp r o c e s st h ep i x e l s l o c a lc h a r a c t e ro ft e m p e s t u o u s n e s sj u m p ，s u c ha se d g e s ，t e x t u r e s ，t h e yc a nl e a dt ot h ee d g e d e t a i lt ob ef u z z yi nt h ee n l a r g e m e n ti m a g e t oe l i m i n a t i n gt h ed e t a i l sb l u ra n da l i a s ，t h i sp a p e rp r o m o t e dt w ok i n d so fn v e l a l g o r i t h m sb a s e do nt h ee d g eg r a d i e n ti n t e r p o l a t i o no p t i m i z e da l g o r i t h m t h i sa l g o r i t h mf i r s t c h e c k e dt h ee d g e so ft h ei m a g em a g n i f i e db yt r a d i t i o n a li n t e r p o l a t i o na l g o r i t h m s ，t h e nt h e e d g e sn e i g h b o r s a r ea m e n d e db yas e l f - r e l a t i v i t yi n t e r p o l a t i o na l g o r i t h mb a s e do n m u l t i d i r e c t i o ng r a d i e n tv a r i e t y w h e nm u l t it i m e sm a g n i f i e dt h ei m a g e ，w et a k et h ew a yo f c y c l e r e v i s eb yl i t t l er a t i om a g n i f i c a t i o n t h ee x p e r i m e n t sp r o v e dt h a tb yt h i sw a y , w eg o tt h e f i n e ri m a g ei nd e t a i lt h a nt h et r a d i t i o n a lw a y f o rr g bc o m b i n e dc o l o ri m a g e s ，c o l o rf u s i o n w a sp r o c e s s e df i r s t ，t h e nc h e c k e dt h ee d g e s ，w ec o u l da l s og e tt h ed i s t i n c te f f e c t l e s sc o m p u t a t i o n a lc o m p l e x i t yo ft h ea l g o r i t h ma n db e t t e rq u a l i t ya r ei m p o r t a n ti nv i d e o a n dn e t w o r ks i g n a lp r o c e s s i n g t h i sa r t i c l ep r o m o t e da n o t h e rw a yo ff a s ti m a g ei n t e r p o l a t i o n a l g o r i t h mb a s e do ne d g e - d i r e c t e dm a x r e l a t i v i t ya l g o r i t h mu s i n gt h r e s h o l dm e t h o d ，t h e i n t e r p o l a t i o no fp i x e l sw a sa c c o m p l i s h e db yd o u b l e c h a n n e lm e t h o d b ye s t i m a t i n gr e l a t i v e i n f o r m a t i o na th i g hr e s o l u t i o n ，t h ea l g o r i t h ma n a l y z e dt h em u l t i p l ed i r e c t i o n sr e l a t i v i t yo f l o c a ln e i g h b o r sa n dm a d ef u l lu s eo fs i xd o w n - s a m p l e dn e i g h b o r si n v o l v e di nt h e h i g h - r e s o l u t i o ni m a g e e x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h ea l g o r i t h mn o to n l yd e c r e a s e dt h e c o m p u t a t i o n a lc o m p l e x i t yb u ta l s os u b s t a n t i a l l yi m p r o v e dt h ev i s u a lq u a l i t yt h ei n t e r p o l a t e d i m a g e s t h e s et w oi n t e r p o l a t i o na l g o r i t h m sh a di n s t i n c te f f e c t sw h e np r o c e s s e di ns e v e r a lk i n d s o fi m a g es u c ha st h en a t u r a ls c e n e r y , t h ea n i m a li m a g ea n dt h ec h a r a c t e ri m a g e ag r e a td e a l o fe x p e r i m e n td a t aa n dp r o c e s s e di m a g e sc o n f i r m e dt h e i rf e a s i b i l i t ya n dt h ev a l i d i t y k e y w o r d ：i m a g ei n t e r p o l a t i o n ；e n l a r g e m e n t ；e d g ed e t e c t i o n ；m a x - r e l a t i v i t y ；g r a d i e n t ； e d g e p r e s e r v i n g ；t h r e s h o l d 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 息或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容扣纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名： 导师签名： 茭鲍塾 第一章绪论 第一章绪论 数字图像是现代生活中重要的信息载体之一，以其直观性、灵活性而运用于各个科 学研究和工程应用领域。在社会生活的各个方面，也有越来越多的领域需要用到高分辨 率的图像。 图像技术种类很多，跨度很大，但可以将它们放在一个图像工程框架之下。图像工 程可分为三个层次：图像处理、图像分析和图像理解。图像插值是图像处理的关键技术 之一。图像插值的主要目的包括：图像放大。在进行图像压缩时获得更高压缩率。 图像插值技术在网络传输，数字图像处理领域中的图像分辨率增强、图像缩放等都有着 广泛的应用及意义。 在数字图像处理领域中，图像插值是图像处理的一项基本技术，随着计算机可视化 和虚拟现实的研究与发展，图像插值在高清晰度电视、数字投影仪、图像打印驱动程序 以及通常的图像编辑和处理软件等方面都有着广泛的应用，随着近几年多媒体应用的 发展，图像插值也逐渐用在信号处理领域中的视频格式转换、视频图像缩放。随着信息 技术的蓬勃发展，图像插值技术的作用将越来越重要，因此也受到了很多学者的关注。 1 1 研究背景和研究现状 随着计算机技术、现代通讯技术、网络技术和信息处理技术的高速发展，图像信息 的处理、存储和传输在社会生活中的作用已越来越突出，人们对图像信息的需求也越来 越迫切。当图像以数字形式进行处理和传输时，由于具有质量高、成本低、小型化和易 于实现等优点，所以图像的这种存储和传输格式己经成为该领域当前和未来的主要发展 趋势。 图像插值是数字图像处理中最基本、最重要的技术。自从有了计算机图形学和图像 处理，就有了图像插值。图像插值是图像处理中图像重采样过程中的重要组成部分，而 重采样过程广泛应用于改善图像质量、进行有损压缩等，因而研究图像插值具有十分重 要的理论意义和实用价值。 经典的图像内插方法有邻近插值法( n e a r e s t ) 【l ，2 】、双线性插值法( b i l i n e a r ) 【1 捌和 双立方插值法( b i c u b i c ) 【l 2 】等，这些算法简单，容易实现，但是经过插值后的图像边缘 模糊或之字形比较明显。在提高图像质量方面，近年来为了进一步提高图像性能及视觉 效果，出现了一系列插值算法，许多新算法【3 。3 8 也都是在与传统算法的比较上提出自己的 优点，现在新的算法主要在插值质量和插值速度上寻求突破。 图像的边缘信息是影响视觉效果的重要因素，同时也是目标识别与跟踪图像，匹配图 像配准等图像处理问题的关键因素。因此，基于边缘方向的插值技术成为近年来研究的 热点。文献 3 ，2 5 采用阈值方式判断边缘像素点，然后边缘点自适应线性插值。文献 4 9 通过边缘检测方法确定边缘像素点，利用高低分辨率图像局部方差之间存在的对偶性， 边缘像素点实现自适应非线性插值。文献 6 是基于线性预测模型的边缘保持插值算法。 文献 4 9 算法有效地抑制了边缘噪声，对于图像的边缘达到很好的保持，提高了插值图 江南大学硕士学位论文 像的视觉质量；但都存在算法数学模型复杂，计算量大或需重新建立模型等问题。对于 提高插值速度方面，文献 3 提出了一种针对边缘自适应的图像快速插值算法。该算法 成功的实现了从q c i f 录影序歹至u c i f 序列的实时扩大，在低比特率情况下得到了较好 的图像质量。 1 2 图像插值技术的研究意义和应用 数字图像处理技术是随着计算机技术发展而开拓出来的一个新的应用领域，它把图 像转换成一个数据矩阵，在计算机上对其进行处理。计算机图像处理和计算机图形学的 结合己经成为计算机辅助设计的主要基础。可以预计，随着计算机规模和速度的大幅提 高，数字图像处理技术的发展前景和应用领域将更加广阔。 图像插值是数字图像处理中一项重要技术。对于网络传输的图像，由于网络带宽的 限制和对传输速率的要求，无法满足快速传输高分辨率图像，但由于硬件性能的限制， 图片往往达不到所需的分辨率，而硬件的改进要付出昂贵的代价，采用图像插值技术来 提高数字图像的分辨率和清晰度，从软件方面进行改进就具有十分重要的实用价值。因 此，低分辨率图像利用插值方法得到高分辨率图像就成为人们追求的目标。此外，图像 插值被广泛用于遥感图像的几何校正、医学成像以及电影、电视和媒体广告等影像特技 处理中。 由此可见，图像插值技术的应用范围愈来愈广，具体归纳起来应用主要体现在下面 三个方面： ( 1 ) 图像恢复：一些已经被损坏的图像，如身份证上的照片存在污损，可使用图像插值 技术来对图像进行重建和恢复。 ( 2 ) 网络视频传输：在低带宽的视频传输中，为了更加有效的利用有限的带宽，可以只 传输低分辨率的视频流，然后在接收端使用图像插值算法获得高分辨的视频流。 ( 3 ) 图像识别：在大多数的视频监控中，摄像头的位置通常离目标物体非常远，因此目 标物体图像通常比较小，以至于难以对目标物体图像进行识别，所以采用插值方法有效 的识别它们。 随着计算机技术的高速发展，图像插值己经成为计算机图形学和图像处理的重要组 成部分。从数据来说，图像插值使得图像数据有少变多；从视觉上说，图像插值则使得 原始图像更为清晰和易辨，因而图像插值在图像处理中占据着特殊位置。 1 3 图像插值技术及方法概述 图像在数字化时，每一像素对应于原稿上的某一个小区域( 小方块) ；图像数字化 后，每一像素在各个主通道中均占有一个固定的位置，并被赋予个确定的灰度值，这 个灰度值代表了对应小区域的平均亮度或平均反射密度，其位置可认为是该小区域的中 心，因此，数字图像的像素就像棋盘上的一个个交叉点。在图像处理中，有时需求得两 个交叉点之间的灰度值，这称为重新采样，比如当改变图像的物理尺寸或分辨率以及进 行几何变换操作时需要进行这样的计算。 由此可知，图像插值就是根据原始低分辨率图像数据生成更高分辨率的图像数据。 2 第一章绪论 这可分为两类问题； 图像内的插值( 图像放大) ； 图像间的插值( 医学切片序列成像) 。 图像插值过程实际上是利用已有的像素点来估计与这些像素点相邻的未知像素的 值。失真图g ( f ，- ) 是数字图像、其像素值仅在坐标整数处有定义，所以在非整数处的 像素值就要用其周围一些整数处的像素来计算，这叫灰度插值。由于放大图像时产生了 新的像素，以及浮点数的操作，得到的坐标可能并不是整数，更精确的做法是采用插值， 即利用邻域的像素来估计新的像素值。 图像插值技术主要有线性和非线性两种。目前，图像插值方法主要有传统简单插值 算法和基于边缘方向插值法等。常见的传统插值方法有最近邻法、双线性插值法和双立 方插值法，这些经典插值算法的基本原理相同，首先需要找到与输出图像像素相对应的 输入图像点，然后再通过计算该点附近某一像素集合的加权平均值来指定输出像素的灰 度值，其他像素都不考虑。 传统插值算法是在静态图像上利用局部信息进行线性插值或样条函数插值，算法模 型简单，能达到较好的视觉效果，但是，因为它们不能很好地处理图像中剧烈跳变的局 部特征，如：边缘、纹理等细节，导致图像模糊不清。因此有必要对其进行改进。 经典的插值技术，是基于数字卷积的线性移不变插值。对于带宽有限信号，线性移 不变插值的重建结果是精确的。但数字图像通常不满足信号频谱严格带宽有限条件，线 性移不变插值技术遇到了保持图像边缘清晰与图像背景平滑的矛盾，插值重建结果精度 低，因而不能满足主观视觉要求。 基于边缘方向插值算法主要有两种方式，一种是通过阈值控制方式先确定图像边 缘，然后利用边缘像素自适应插值；另一种是通过边缘检测方法先确定图像边缘，然后 利用边缘像素高、低分辨率图像局部方差之间存在的对偶性实现自适应非线性插值，或 基于线性预测模型的边缘保持插值算法等。这些算法明显的改善了图像边缘的模糊效 应，但都存在需重新建立数学模型，或本身模型较复杂，运算速度慢的缺点。在网络传 输，多媒体通信过程中，因为数字图像、录影序列等本身数据信息量就很大，网络带宽 有限和硬件设备的制约，使这些算法达不到快速插值图像的目的。 同时，随着数字技术的高速发展，彩色图像的处理和显示设备在生活和工作中已必 不可少。有关彩色图像处理的研究已经成为一个非常活跃的研究领域，因而如何提高彩 色图像的插值速度和高分辨率图像的质量是需要仔细研究的课题。 1 4 本文研究内容和结构 1 4 1 本文研究内容和思路及研究意义 本文研究的主要创新内容有两部分，第一部分研究基于边缘检测的边缘梯度多方向 优化插值方法，这方面的研究目的主要是在于提高插值图像精度；第二部分研究阈值控 制方式的边缘最大相关性的快速图像插值算法，这部分主要在插值速度方面寻求突破。 3 江南大学硕士学位论文 ( 1 ) 基于边缘检测的边缘梯度多方向优化插值 边缘检测首先检测出图像局部特性的不连续性，然后再将这些不连续的边缘像素连 成完备的边界。边缘的特性是沿边缘走向的像素变化平缓，而垂直于边缘方向的像素变 化剧烈；所以，从这个意义上说，提取边缘的算法就是检测出符合边缘特性的边缘像素 的数学算子。目前，提取边缘常采用边缘算子法、曲面拟合法、模板匹配法等方法。 对图像边缘进行检测能够得到关于边缘有用的结构信息，而且能极大地减少要处理 的数据，所以，边缘检测是图像处理中的一个重要组成部分，为图像的识别、恢复、增强、 重建等提供了手段。因而也被有效的应用在图像插值技术中。 研究的主要思路，借助边缘检测方法，以传统插值放大后的图像为模板图像，对模 板进行边缘检测( 因为彩色图像是研究的主要应用方面，针对彩色图像自身特性，以放 大后的彩色r g b 图像为模板图像，先进行色融合为新图像，再进行边缘检测) ；然后对 边缘检测获得的二值边缘图像，提取边缘信息；然后模板图像和二值图像相结合，利用 边缘信息和过渡带多方向梯度特征，增加边缘和邻近像素点的差值，从而进行内领域像 素修正优化插值。最终使得插值图像的边缘比较清晰，从而大大改善插值图像的视觉效 果。 对于图像的多倍放大，是研究的难点，也是突破点。课题研究时采用小倍率递进方 式实现。实验结果证明，整个课题研究方法，有效继承了传统插值对于非边缘区域插值 具有快速，平滑的特点，克服了常规放大算法对整幅图像无区别放大时轮廓区域模糊的 缺点，抑制了由于噪声等原因形成的“假 边沿和边缘模糊，放大优化后的图像轮廓既 能保持清晰，又能保持光滑连续，有效的提高了高分辩图像的插值精度，而且数学模型 简单，易于实现。 ( 2 ) 阈值控制方式的边缘最大相关性的快速图像插值 阂值方法【3 4 d 7 】是一种传统的图像分割方法，其实现简单、计算量小、性能较稳定。 其方法是利用处于目标和背景内部相邻像素灰度值是高度相关的特性，找到一个合适预 置阈值，以区分图像中不同的特征区域。利用此原理，阈值方法用在图像插值方面期望 达到同样的效果和目的。 课题研究的具体方法是：通过阈值控制方式分类像素点区域，采用双通道达到快速插 值的目的；选择合适的窗口，分别沿水平，垂直和对角四个方向计算像素差值，并与预 置阈值比较。若小于阈值，说明两降采样点之间的插值点同属非边缘点，则该区域像素 点直接使用双线性插值算法。否则，两降采样点之间的插值点属边缘像素点。 边缘像素点内插是研究的重点，也是创新点。充分挖掘图像边缘像素点局部结构特 征，直接利用与待内插像素点相邻的6 个降采样点的信息和多方向最大相关性等特征， 从而确定出待插入点的值。这样可以降低算法复杂度，减少运算量，减少误差累加，从 而有效地保持了图像的边缘信息，同时加快了插值速度。实验结果表明，该方法有效的 减少了c p u 处理插值像素的时间，在降低计算复杂度的同时，消除了插值图像产生的锯 齿，插值生成的图像边缘更清晰，得到了视觉质量较好的灰度和彩色插值图像。 4 第一章绪论 1 4 2 论文结构 本文主要分为六个部分，各章内容安排如下： 第一章为绪论，主要对插值的技术研究意义、现状进行概述，并对论文整体的安排 进行介绍。 第二章介绍传统经典插值算法的技术与它们的优缺点。 第三章简单的论述了边缘的基本特性及相关知识【3 4 铘】，详细探讨边缘检测方法中的 c a n n y 算子法【3 4 1 。c a n n y 边缘检测是一种比较新的边缘检测算子，边缘检测和定位优于 其他算子，具有更好的边缘强度估计。边缘检测的准确度和精度直接影响到本文中算法 插值的效果。 第四章主要针对经典插值算法的平滑功能使放大后的图像边缘区域变宽，产生模糊 和锯齿效应等不足，以经典插值算法放大后的图像为模板，充分挖掘经典插值算法放大 后图像自身所包含的信息，根据多方向梯度和阶跃特征消除模糊和锯齿效应，大大改善 插值图像的视觉效果。这方面的研究目的主要是在于提高插值图像精度。 第五章主要在提高插值速度方面寻求突破。边缘像素点内插是研究的重点，也是创 新点。通过阈值控制方式，采用双通道插值的思想，充分挖掘图像边缘像素点局部结构 特征，直接利用与待内插像素点相邻的6 个降采样点的信息和多方向最大相关性等特征， 从而确定出待插入点的值，达到减少算法复杂度和计算量，提高插值速度的目的。 第六章做出结论，对上述插值方法给出了总体评价，展望以后的工作方向，表达了 在实践中推广的愿望。 5 江南大学硕士学位论文 第二章经典的插值算法 传统插值算法原理基本相同，即需要找到与输出图像相对应的输入图像点，然后再 通过计算该点附近某一像素集合的加权平均值来指定输出像素的灰度值，其他像素点都 不考虑；他们之间的区别主要在于点周围像素序列的取法不同。传统插值算法已能达到 较好的视觉效果。 数字图像的像素就像棋盘上的一个个交叉点。在图像处理中，有时需要求得两个交 叉点之间的灰度值，交叉点上的狄度值刚好落在像素位置上，可称为像素灰度；而交叉 点以外的灰度值是像素位置间的灰度值或称为子像素灰度值。像素位置间狄度值的计算 通常使用插值的方法进行，传统插值算法通常有最近邻域法( n e a r e s t ) 、双线性插值 ( b i l i n e a r ) 和双三次插值法( b i c u b i c ) 。 目前关于数字图像的插值有很多新颖而有效( 相对于传统算法) 的算法1 3 - 3 3 】，而且这 些新算法也都是在与传统算法的比较上提出自己的优点。但由于计算量、通用性等种种 原因，传统的内插放大算法仍有一席之地。因此，本文在这一章仍将详细论述传统内插 算法的利弊，以便将新算法与之进行比较。 2 1 最近邻域法 ， v ，j r v ，- r1 ) a ( 暴) 十1 ，j 了 7 ( f + 1 ，+ 1 ) ， 11+ 1 i + l 图2 - 1最近邻域法插值求灰度值 如图2 1 所示，设( f ，j ) 、( f ，+ 1 ) 、( f + l ，j ) 和( f + l ，j + 1 ) 是灰度插值前的一个四点领域， 其灰度值分别为g ( i ，) 、g ( i ，+ 1 ) 、g ( i + l ，j ) 和g ( i + 1 ，j + 1 ) 。现在的问题是要求出这四个 像素位置中间某点( 甜，1 ，) 的灰度值。 最近领域法( n e a r e s tn e i g h b o r ) 是比较( 甜，1 ，) 点和( f ，办( f ，+ 1 ) 、( f + 1 ，) 和( f + 1 ，j + 1 ) 四 点之间的距离，然后以与( 甜，) 点最近的那点的灰度值作为( “，y ) 点的灰度值。将两点之 间的距离记为d 【( 甜，v ) ，( f ，州，则上述四点与( “，) 点最近距离可由下式求得： d f ( v ) ，( f ，) 1 = m i n d ( 甜，1 ，) ，以y ) l ，d 0 ，v ) ，瓴，+ 1 ) 】，d 【似， ，) ，( f + 1 ，) l ，d 【 ，v ) ，( f + 1 ，+ 1 ) 】 ( 2 1 ) 6 第二章经典的插值算法 在算得与( “，1 ，) 点距离最近的点( f ，) 后，由最近邻域法确定的( “，v ) 点的灰度为 g ( u ，v ) = 西：_ ，i )( 2 2 ) 与待求像素相邻的四个像素点中，将距离该像素最近的邻像素狄度值赋给待求像 素。该方法最简单，但用最近邻域插值算法的明显缺点是容易产生“马赛克”现象，当 需要在一个四点邻域内产生更多的像素点时，这一缺点会表现得更明显，校正后的图像 有明显锯齿状，即存在灰度不连续性。该方法精度不高，但速度快，可以用在浏览等不 重要但要求速度快的场合。 2 2 双线性内插算法 线性插值使用原图中两个值来构造所求坐标处的值。举一个一维的例子。如图2 2 所示，如果已经知道了两点，处的函数值f ( x o ) ，f ( x 2 ) ，现在要求而处的函数值 厂( 玉) 。我们假设函数是线性的，利用几何知识可以知道 f ( x 1 ) = ( 厂( x 2 ) 一f ( x o ) ) ( 而一x o ) i c x 2 一x o ) + f ( x 。) ( 2 3 ) 线性插值基于这样的假设：原图灰度值在两个像素之间是线性变化的。一般情况下， 这种插值的效果还不错。 在图像处理中需要将线性插值扩展到二维的情况，即采用双线性插值( b i l i n e a r i n t e r p o l a t i o n ) ，图2 3 为双线性插值的示意图。已知a 、b 、c 、d 四点的灰度，要求e 点 的灰度，可以先在水平方向上由a ，b 线性插值求出g 、c 、d 线性插值求出f ，然后在垂 直方向上由g ，f 线性插值求出e 。 图2 - 2 线性插值的示意图 7 agb oe c f d 图2 - 3 双线性插值的示意图 江南大学硕士学位论文 图2 - 4 双线性插值示意图 图2 4 是双线性插值求像素间灰度的示意图。设以( z f ，1 ，) 表示由点 ( f ，歹) 、( f ，j + 1 ) 、( f + 1 ，) 和( f + 1 ，j + 1 ) 组成的网络内任意点的位置，则( 甜，) 为局部坐标， 对由四个像素组成的网络内灰度的计算在该局部坐标内进行。 双线性插值需在水平和垂直两个方向上均进行，因此用双线性插值方法求网络内任 意点( 甜，1 ，) 灰度的计算公式可写为： g ( u ，v ) = a + b u + c v + d u v( 2 4 ) 在式2 4 中，g ( u ，) 为( z ，y ) 点的灰度值，将要由公式计算产生：口，6 ，c ，d 为待定常 数，利用四个角点的灰度值g ( i ，) 、g ( i ，+ 1 ) 、g ( i + l ，j ) 和g ( i + l ，j + 1 ) 可计算四个待定常 数的值，计算公式为 a = g ( i ，) 6 = g ( i + 1 , j ) - g ( i ，2 ( 2 5 ) c = g ( i ，j + 1 ) 一g ( i ，歹) 、7 d = g ( i ，) + g ( i + 1 ，+ 1 ) 一g ( i + 1 ，歹) - g ( i ，歹+ 1 ) 双线性内插法是利用待求像素四个邻接像素点的狄度值在两个方向上作线性内 插，双线性内插法的计算比最近邻点法复杂些，计算量较大。但没有灰度不连续性的 缺点，结果令人满意。它具有低通滤波性质，但该方法会使高频分量受损，图像轮廓 有一定模糊。主要缺点为既平滑了图像高频分量又使低频分量产生了混叠。 2 3 双三次内插算法 计算像素间灰度还可以用双立方插值( b i c u b i ci n t e r p o l a t i o n ) 方法计算。设插入灰度 为g ( 材，v ) ，在双线性插值算法的基础上，在插值函数中再增加四项，插值函数成为： g ( 材，1 ，) i + q u + a 2 v + a 3 u v + a 4 u 2 v + a s u v 2 + a , u 3 + a t v ( 2 6 ) 上式2 6 中的八个常数a 0 ，q ，a 2 ，瓯，a 7 仍然由四个角点的灰度值算得。在计算插入函数 常数时。除需利用四个角点的灰度值外，还需利用四个角点灰度的二阶混合导数值( 这 样可保证灰度函数在水平和垂值两个方向上均连续) ，即式2 7 ： 8 第二章经典的插值算法 g ( ”，1 ，) b ) _ g ( i ，) g ( “，v ) b + 1 ) = g ( i ，j + 1 ) g ( 甜，v ) l ( f + l ，) = g ( f + 1 ，j ) g 。( ，1 ，) h ，+ 1 ) = g ( i + l ，j + 1 ) a 2 9 + ( 甜，1 ，) i a 2 9 ( ，一，) 瓦瓦一i ( l d 一丽 a 2 9 叠 ( 叠u , v ) i ，+ i ，：丝婴生 ( 2 7 ) = 一 i ，l 抛加( 7 ，+ 1 ) 0 “加 卜“， a 2 9 ( “，v ) i a 2 9 ( f + 1 ，) 瓦万叫( “- 棚2 百矿 a 2 9 ( “，1 ，) i a 2 9 ( f + 1 ，j + 1 ) 瓦一( 件- ，川) 2 瓦厂 由此可见，双立方插值的工作量比双线性插值要大很多。在计算角点的二阶导数 时可采用差分法，为此实际计算时需利用角点相邻像素的灰度值。例如要计算( f ，j ) 点 对u ，1 ，的二阶混合导数，可利用下述式2 8 差分( 中间差分) 。 訾= 扣( - 1 ) + g ( f + l 产1 ) 】 一【g o 一1 ，+ 1 ) + g ( i + 1 ，j 一1 1 ( 2 8 ) 由此可见双三次内插算法计算量最大，但内插效果最好，精度最高。参与计算像素 的个数会影响计算的复杂度，参与计算的像素越多，计算结果越精确，但时间就会长一 些。 2 4 实验结果与分析 图2 5 显示了放大3 倍文字图像“木”的视觉效果；图2 - 6 显示了l e n a 从2 5 6 2 5 6 到5 1 2 5 1 2 插值放大截取面部视觉效果图。从图2 5 ，2 6 可以看出n e a r e s t 插值后边 缘有明显的锯齿和模糊效应；b i l i n e a r 插值效果稍好一些，但整个图像模糊；b i c u b i c 效果最好。但随着放大倍数的增加，锯齿模糊效果会更加明显。 上 不 ( a ) 原图 ； f 。7 i j (7 ， ( b ) n e a r e s t ( c ) b ili n e a r( d ) b i c u b i c 图2 - 5 放大3 倍文字“木”的视觉效果 9 扛南大学硕士学位论文 ( a ) 原图 0 ) n e a r e s t ( c ) b i l i n e a r( d ) b i e u b i e 圈26 放大2 倍的l e n a 局部视觉效果 从实验效果图分析，经典图像插值方法都是埘一l 呵图像的不同部分都作相同的处 理，这样通常会导致插值后图像的边缘部分模糊或出现马赛克干扰现象。而图像边缘部 分包含了一幅图像中晟重要的信息，圈像边缘的缺陷将严重影响插值后图像的视觉效 果。 2 5 本章小结 本章主要论述了经典插值算法原理、插值模型及优缺点，经典插值算法原理基本丰h 同，首先需要找到与输出图像相对应的输入图像点，然后再通过计算该点附近某一像素 集合的加权平均值来指定输出像素的灰度值，其他像素都不考虑。三种算法之间的区别 主要在于点周围像素序列的取法不同。 由实验效果图分析，对于灰度变化平缓的图像区域，采用传统线性移不变插值技术 通常已能达到较好的视觉效果。但是，由于它们不能很好地处理图像巾剧烈跳变的局部 特征，如：边缘、纹理等细节，导致放大图像的边缘细节模糊。本质上是由于这些插值 算法是对观测图像的线性操作，不能拓展图像的有效频率带宽，平滑了图像边缘细节信 息。 图像边缘包含一幅图像中最重要的信息，图像边缘部分出现的这些缺陷将严重影响 插值后图像的视觉质量。如何去除图像插值中的边缘平滑效应，怎样很好地保持图像的 局部边缘特征，怎样实现对图像边缘部分的处理，使插值后图像边缘部分清晰而无锯齿 等干扰现象，提高插值后图像的主观视觉质量成为摆在我们面前的一个急需解决的问 题。 另外一个重要的研究课题是提高插值的速度，主要应用在视频实时播放或网络传输 方面，即保证数字图像的快速传输，又得到较好视觉质量的高分辨率图像。 第三章边缘特性及边缘检测在算法中的应用研究 第三章边缘特性及边缘检测在算法中的应用研究 边缘信息是影响视觉效果的重要因素，它不仅能够传递图像大部分信息，而且能勾 勒出物体的基本轮廓。边缘检测能够得到关于边缘有用的结构信息，而且能极大地减少 要处理的数据。许多图像处理技术直接或间接地依靠边缘检测算法的性能，而边缘检测 用在图像插值方面也能达到很好的效果。 对边缘检测算法的研究一直相当活跃，也相继提出了许多实用的边缘检测算子。提 取边缘的算法就是检测出符合边缘特性的边缘像素的数学算子，算子的影响能力强，对 边缘敏感性越强。 3 1 图像边缘特性研究 图像最基本的特征是边缘，所谓边缘点是指它两边像素的灰度值有显著的不同。在 数字图像中，物体和物体之间或物体和背景之间的交界处为边界、边缘或轮廓。在图像 中，边界区域的灰度是突变或不连续的。一个像素如果满足下列条件，就认为是边缘点： ( 1 ) 像素( f ，) 的边缘强度大于沿梯度方向的两个相邻像素的边缘强度； ( 2 ) 与该像素梯度方向上相邻两点的方向差小于4 5 0 ； ( 3 ) 以该像素为中心的3 3 邻域中的边缘强度极大值小于某个阈值。 边缘点也存在于这样一对邻点之间，即一个在较亮的区域内部，另一个在外部。它 存在于目标与背景、目标与目标、区域与区域、基元与基元之间。因此，它是图像分割 所依赖的最重要的特征，也是纹理特征的重要信息源和形状特征的基础；而图像纹理形 状特征的提取又常常要依赖于图像分割。 物体的图像特征是以轮廓、边缘等形式反映出来的，对图像目标进行机器识别，首 要任务就是依据图像边界的灰度特征，对物体、目标、背景进行分割，才能进行分析、 识别、检测。实际上，人对目标识别，轮廓边缘是一个极其重要的特征。边缘可以定义 为两个具有不同灰度的均匀图像区域的边界，其实，边缘往往具有以下特征： ( 1 ) 灰度突变； ( 2 ) 是不同区域的边界； ( 3 ) 具有方向性； 根据边缘的这三个特征，可以判断所关心的区域其特征是否存在差异来判断是否存 在边缘的可能性。如果特征没有差异，则认为是平滑区；如果特征有差异，则判断为边 缘点。 粗略的区分边缘种类可以有两种，其一是阶跃状边缘，它两边像素的灰度值有显著 的不同，其二是屋顶状边缘，它位于灰度值从增加到减少的变化转折点。阶跃状边缘位 于其两边的像素灰度值有明显不同的地方；脉冲状边缘位于灰度值从增加到减少的转折 处。 由于人眼对图像边缘特别敏感，边缘部分的分辨率对一幅图像的质量有非常重要的 影响，所以边缘在本论文研究中具有重要的意义。 1l 江南大学硕士学位论文 3 2 边缘检测方法及c a n n y 边缘算子法 图像边缘是图像局部特性不连续性( 灰度突变、颜色突变、纹理结构突变等) 的反映。 在一幅图像中，图像的边缘线或棱线是信息量最为丰富的区域。 边缘提取首先检测出图像局部特性的不连续性，然后再将这些不连续的边缘像素连 成完备的边界。边缘的特性足沿边缘走向的像素变化平缓，而垂直于边缘方向的像素变 化剧烈；所以，从这个意义上说，提取边缘的算法就是检测出符合边缘特性的边缘像素 的数学算子。目前，提取边缘常采用边缘算子法、曲面拟合法、模板匹配法等方法。 由于边缘是图像上灰度变化最剧烈的地方，传统的边缘检测就是利用了这个特点， 对图像各个像素点进行微分或求二阶微分来确定边缘像素点。一阶微分图像的峰值处对 应着图像的边缘点：二阶微分图像的过零点处对应着图像的边缘点。 根据数字图像的特点，处理图像过程中常采用差分来代替导数运算，对于图像的简 单一阶导数运算，由于具有固定的方向性，只能检测特定方向的边缘，所以不具有普遍 性。为了克服一阶导数的缺点，定义图像的梯度的梯度算子为： j ，j ， i g ，( x ) 】_ 【( 罢) 2 + ( 兰) 2 1 i( 31 ) d xa v 它是图像处理中最常用的一阶微分算法，这里f ( x ) 表示图像的灰度值，图像梯度 的最重要性质足在图像上梯度的方向灰度最大变化率，它恰好可以反映出图像边缘j ：的 扶腰变化。 考核边缘检测算子的指标是： ( 1 ) 低误判率，即尽可能少地把边缘点误认为是非边缘点； ( 2 ) 高定位精度，即准确地把边缘点定位在灰度变化最大的像素上； ( 3 ) 抑制虚假边缘。 经典的图像边缘检测算子法 1 0 l ：有- c a n n y ，z e r o c r o s s ，l o g ，s o b e l ，p r e w i t t ，r o b t e r 等。 ( 曲原图( b ) c a n n y( 0z e r o e m s sq ) l o g 露露 ( e ) p m w i t t( f ) s o b e l ( g ) r o b t e r 圈3 - 16 种算于法边缘检测l e n a 囤局部鼓果 第三章边缘特性及边缘检测在算法中的应用研究 如图3 - 1 所示，6 种算子法边缘检钡l j l e n a 图像局部的效果。从图3 - 1 中可以看出，最 有效的是c a n n y 算子法。该方法与其他边缘检测方法的主要区别在于，它使用两个阈值 来检测强边界和弱边界，只有相连时才进行显示。所以，该方法与其他方法相比。受噪 声影响的机会更少，并且更有可能技到吏。尖的弱边界。 c a n n y 边缘检测是一种比较新的边缘检测算子，边缘检测和定位优于其他算子，具 有更好的边缘强度估计。边缘检测的准确度和精度直接影响到本文算法插值的效果。所 以第四章本文插值算法中进行边缘检测时选用c a n n y 算子法。 对阶跃边缘，c a n n y 推导出的最优二维算子形状与g a u s s i a n 函数的一阶导数相近。 取g a u s s i a n 函数为 1 一t x 2 + y 2 g ( w ) = 寺一 在某一方向力上，g ( x ，y ) 的阶方向导数为 g ( x ，y ) 行= o g ( x ，y ) o n = n a g ( x ，y ) 。一l c o s0 i 订一，、 a o ( x ，y ) a x 式中，刀= is i n 0 1 v g ( x ，y ) = ia g ( x , y ) o yi 将f ( x ，y ) 与q 进行卷积，改变刀的方向，使f ( x ，y ) 宰瓯取得最大值的方向就是梯度 方向( 正交于边缘走向) ，由 研q 木f ( x ,