（电路与系统专业论文）边缘自适应图像缩放算法研究及vlsi实现.pdf

浙江大学硕士学位论文摘要 摘要 图像缩放是指图像分辨率的改变，也叫图像重采样，是数字图像处理中的关 键技术之一。数字图像缩放算法可以分为基于像素的图像缩放算法和基于边缘的 图像缩放算法。基于像素的图像缩放算法由于低通滤波效应通常会使目标图像边 缘模糊。据h v s 研究表明，人眼对于图像的边缘特别敏感，由此人们提出了基 于边缘的图像缩放算法。这类算法能够在边缘和细节处取得较好的处理效果，但 是算法复杂度较高，不利于硬件实现和对图像的实时处理，只能实现2 七倍数缩 放，无法真正实现无级缩放。 为了既能保护图像的边缘特征，又能真正实现无级缩放，本文提出了一种基 于三次拉格朗日插值的自适应图像缩放算法。文中引入方差用于衡量各组原始像 素之间的相关性大小，方差越小，表示相关性越大；反之方差越大，表示相关性 越小。该算法对图像先后进行行方向插值和场方向插值，每一次插值首先计算目 标像素周围三组原始像素的方差，选取方差最小的一组原始像素，然后采用三次 拉格朗日插值公式求得目标像素的灰度值。在硬件实现中，采用二次缩放内核结 构，并且给出了本文算法的图像缩放引擎电路结构图以及基于f a r r o w 结构的拉 格朗日插值核，硬件复杂度大大降低。 实验结果表明，本文算法不仅p s n r 较高，而且所得的目标图像边缘清晰， 且算法复杂度较低，便于硬件实现，可以实现实时图像缩放。 关键词：图像缩放，边缘自适应，拉格朗日插值，f a r r o w 结构 a b s t r a c t i m a g es c a l i n g ，a l s ok n o w n a si m a g er e s a m p l i n g ，i so n eo ft h ek e yt e c h n o l o g i e si n d i g i t a li m a g ep r o c e s s i n g t h e r ea r et w ok i n d so fd i g i t a li m a g es c a l i n ga l g o r i t h m s i n c l u d i n gp i x e l b a s e da l g o r i t h m sa n de d g e - b a s e da l g o r i t h m s t h ef o r m e ra l g o r i t h m s e a s i l yr e s u l ti ne d g eb l u r t i n gi nt a r g e ti m a g e sd u e t ot h el o w p a s sf i l t e r i n ge f f e c t ，t h u s t h el a t t e ro n e sa t t r a c tm o r ea t t e n t i o na sh u m a ne y e sa r em o r es e n s i t i v et oi m a g ee d g e s a c c o r d i n gt ot h eh v ss t u d y i ns p i t eo f b e t t e re f f e c t si ne d g e sa n dd e t a i l s ，e d g e _ b a s e d a l g o r i t h m sa r eo fh i g hc o m p l e x i t y , m a k i n g t h e md i f f i c u l tf o rh a r d w a r ei m p l e m e n t a t i o n a n dr e a l t i m ei m a g es c a l i n g b e s i d e s ，a r b i t r a r ye x p a n s i o nc a n tb er e a l i z e ds i n c em o s t o ft h e mc a no n l ya c h i e v e2 七z o o m i n g i no r d e rt op r o t e c tc h a r a c t e r i s t i c so fi m a g ee d g e sa sw e l la so b t a i n i n ga r b i t r a r y e x p a n s i o n ，t h i sp a p e rp r e s e n t sa na d a p t i v ei m a g es c a l i n ga l g o r i t h mb a s e d o nt h ec u b i c l a g r a n g ei n t e r p o l a t i o n ，w h e r ev a r i a n c e sa r ei n t r o d u c e dt o m e a s u r et h ec o r r e l a t i o n s a m o n go r i g i n a lp i x e l s t h es m a l l e rt h ev a r i a n c ei s ，t h eg r e a t e rt h ec o r r e l a t i o nb e c o m e s ， a n dv i c ev e r s a i nt h ep r o p o s e da l g o r i t h m ，i n t e r p o l a t i o n sa r ec a r r i e do u ta l o n gt h el i n e d i r e c t i o na n dt h ef i e l dd i r e c t i o n ，r e s p e c t i v e l y i ne a c hi n t e r p o l a t i o n ，t h ev a r i a n c e so f t h et h r e eo r i g i n a ls e t so fp i x e l sa r o u n dt h et a r g e tp i x e la r ef i r s t l yc o m p u t e d ，a n dt h e n t h es e tw i t ht h em i n i m u mv a r i a n c ei ss e l e c t e dt oc a l c u l a t et h eg r a yv a l u eo ft h et a r g e t p i x e lu s i n gt h i r d - o r d e rl a g r a n g ei n t e r p o l a t i o nf o r m u l a i nh a r d w a r ei m p l e m e n t a t i o n ， q u a d r a t i ci m a g es c a l i n gk e r n e ls t r u c t u r ei se m p l o y e d ，a n dt h ei m a g es c a l i n ge n g i n e a n df a r r o ws t r u c t u r eb a s e dl a g r a n g ei n t e r p o l a t i o nk e r n e la r ef u r t h e rp r e s e n t e d ，a l lo f w h i c hr e d u c et h eh a r d w a r ec o m p l e x i t ys i g n i f i c a n t l y t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mn o to n l yl e a d st o h i g h e l p s n ra n dm o r ev i v i de d g e so ft a r g e ti m a g e s ，b u ta l s od e c r e a s e st h ec o m p l e x i t y g r e a t l y , w h i c hm a k e si t s u i t a b l ef o rh a r d w a r ei m p l e m e n t a t i o na n dr e a l - t i m ei m a g e s c a l i n g k e yw o r d s ：i m a g es c a l i n g ，e d g ea d a p t i v e ，l a g r a n g ei n t e r p o l a t i o n ，f a r r o ws t r u c t u r e 浙江大学硕士学位论文致谢 致谢 在浙江大学两年多的硕士研究生学习阶段中，我不仅学到了扎实的专业知识， 掌握了系统的科研方法，而且对生活有了更清晰、更深刻的思考和认识，领悟了 浙江大学求是创新的精神。在论文即将完成之际，我要向所有在学习和生活等方 面给予我指导和帮助的老师、同学、朋友及家人表示深深的感谢。 首先，衷心感谢我的导师王维维老师。王老师学识渊博，治学严谨，思想开 阔，让我受益匪浅。他在学习上对我悉心教导，提出了许多宝贵的建议，同时在 在生活上也给予了我无私的帮助。 其次，特别感谢我的指导教师丁勇老师。丁老师学术造诣高深，实践经验丰 富，他的指导使我在学术上不断获得进步。此外，丁老师对我的思想影响极大， 为我的人生指明了方向。 再次，衷心感谢潘赞老师、王翔、郑宁、曹晓阳、宋文华、张渊、孙纲德、 贾梦楠等同学对我的支持和帮助以及提出的各种宝贵的意见。同学们的情谊，是 我研究生阶段最美好的回忆。 最后，感谢父母给予我的关心、爱护，你们是我人生的老师，我会努力实现 你们的期望，用优异的成绩回报你们。 叶森 2 0 1 2 年2 月于杭州 浙江大学硕士学位论文1 绪论 1 绪论 数字图像处理起源于2 0 世纪2 0 年代，它是指使用计算机对数字图像进行处理。 从英国伦敦通过海底电缆向美国纽约传输一幅图像时，采用了数字压缩技术，此 时数字图像处理还只是处于萌芽阶段。1 9 6 4 年，美国喷气推进实验室( j e t p r o p u l s i o nl a b o r a t o r y ) 对太空船“徘徊者七号 传送回的月球照片使用数字技术 进行了处理，标志着图像处理技术开始进入实际应用阶段。在2 0 世纪7 0 年代之后， 随着微电子技术、数字技术以及互联网的迅猛发展和普及，数字图像处理也获得 了快速的发展和广泛的应用，逐渐成为一个相对独立的研究领域。 1 1 课题背景及意义 据相关研究表明，在人类获取的全部信患中，图像信患占据了8 0 以上的比 例。图像信息是人类传递视觉信息的最主要媒介。与声音、语言和文字信息相比， 图像包含的信息量更大，更直观丰富，具有更广泛的使用范围和更高的使用效率。 图像处理一般是指数字图像处理，因为数字图像以数字形式进行处理和传输，具 备质量高、成本低、抗噪声能力强、小型化和易于硬件实现等优点，因此数字图 像处理技术已经成为众多领域中研究视觉感知的有效工具。随着科技的高速发展， 人类社会已经进入信息时代，人们对于图像信患的需求也越来越迫切，因此图像 处理技术受到了各界的广泛关注，也已经取得了令人瞩目的成绩，并且正在向着 更高的层次发展。而图像缩放是图像处理中的一项重要的内容，在近几年也受到 了广泛的关注。 图像的放大、缩小( 简称缩放) 是指图像分辨率的改变，也称图像分辨率转 换、图像重采样或图像尺度变换【l 】。其中，图像的放大也称为升采样，对应于图 像分辨率的提高；图像的缩小也称为降采样，对应于图像分辨率的缩小。图像的 分辨率是指图像的点阵数，单位为d p i 。常见的分辨率有6 4 0 4 8 0 、1 0 2 4 x 7 6 8 、 1 6 0 0 x 1 2 0 0 和2 0 4 8 x 1 5 3 6 等，在每一组数字中，前者表示图像的宽度，后者表示 图像的高度，两者相乘得出的值表示图像的像素数。宽度与高度比一般为4 ：3 或 1 6 ：9 。比如，要在点距为0 2 9 7 m m 的1 5 英寸的显示器上，即在分辨率为1 0 2 4 x 7 6 8 浙江大学硕士学位论文1 绪论 的显示器上，全屏显示8 0 0 x 6 0 0 的数字图像，就需要对显示信号先进行运算处理， 将其放大为1 0 2 4 x 7 6 8 的图像，再输出到显示器上显示。在现实中，数字图像缩放 技术已被广泛地应用于工程学、医学、军事、气象学、遥感等诸多领域【2 卅。例 如在医学中，图像缩放用于切片间的图像插值，用于诊断时的器官细节定位等。 在视频会议、视频监控、视频聊天等系统中，对视频源图像进行缩小处理后再进 行压缩传输，可以有效减少文件的大小，节省带宽。所以，图像缩放技术作为一 种基本的图像处理技术，一直都是一个相当重要的研究课题。 由于数字图像是离散化的点阵数据，要对数字图像进行缩放处理，就必须利 用已知的像素信息对未知的重采样点进行估计。数字图像的缩放处理通常利用图 像插值算法来实现，插值算法的好坏将直接关系到图像的缩放效果。在用图像插 值算法缩放图像时，存在一对矛盾的要素：图像处理速度与图像视觉效果。要获 得高速甚至实时的图像输出，需要采用相对简单、运算速度快、运算量小的插值 算法；而要获得高质量的图像处理结果，就需要采用复杂度相对较高的插值算法， 牺牲运算速度。当前的图像缩放算法研究的重点和热点是能够实现任意倍数的缩 放，即无级缩放，并且要求对图像的边缘、细节和纹理内容的处理效果要尽可能 的好。 1 2 图像缩放技术研究现状 按照实现方法的不同，数字图像缩放算法可以分成两类【5 。1 6 】：基于像素的图 像缩放算法和基于边缘的图像缩放算法。 所谓的基于像素的图像缩放算法，是指将图像看作为一个二维离散信号，利 用各种插值函数将数字图像重建为连续模型，再按照所需的采样率对连续模型进 行重采样，从而得到缩放后的图像。这类方法主要有最近邻插值( n e a r e s t n e i g h b o r i n t e r p o l a t i o n ) 、双线性插值 5 】( b i l i n e a ri n t e r p o l a t i o n ) 以及双三次插值【8 】( b i c u b i c i n t e r p o l a t i o n ) 。之后，d u r a n d 等人提出了b 样条插值算法( b s p l i n e i n t e r p o l a t i o n ) ， 将数字图像的原始像素插值成b 样条，再根据缩放要求进行重采样得到目标图 像1 7 1 。u n s e r 等人按照最小误差的原则，构造多项式样条，进而求出最优样条【1 9 1 。 l e e 等人提出了采用斜投影算子来构造高阶样条的缩放算法【2 0 1 。p a n d a 等人提出 了图像与信号处理的广义b 样条插值和逼近技术( 连续建模) 【2 1 1 。 浙江大学硕士学位论文 1 绪论 基于像素的图像缩放算法会导致目标图像中出现锯齿或边缘模糊等现象。这 类图像缩放算法的本质是对原始图像建立连续的数学模型，然后按照要求的缩放 比例进行重采样最终得到缩放后的目标图像。因为在缩放过程中使用统一的数学 模型，没有引入“边缘保护”的思想，没有充分挖掘图像中的空间梯度信息和统 计特征，这就意味着目标图像的高频信息会损失，导致边缘模糊或锯齿现象。而 人眼对图像当中的边缘区域异常敏感，因此边缘特征对缩放后的图像质量有着重 要的影响。 为了使目标图像边缘保持良好的特性，获取较好的图像视觉效果，一些学者 提出了基于边缘的图像缩放算法【2 2 。2 3 1 。这类算法实现的关键在于准备定位图像的 边缘区域，在边缘区域沿着边缘的方向进行插值，从而保护图像边缘的高频信患。 各种基于边缘的图像缩放算法的主要区别在于边缘检测算法、对平坦区域的插值 算法以及对边缘的插值算法的选择上。其中，比较典型的是利用梯度、差值等信 息进行的基于边缘的图像缩放算法。前人研究提出了大量基于边缘的图像缩放算 法，主要有：n i r a 等人首先计算目标像素周围像素的梯度值，再使用模糊算法自 适应调整周围像素的权重，从而使目标像素的灰度值更接近于梯度值最小的像素 的灰度值 2 2 1 。这种算法的优点是运算比较简单，能够消除边缘锯齿，但是目标 图像受噪声的干扰大，容易出现判断失误。z h a o 等人根据经典维纳滤波定理和理 想g 【j , 均方误差( m s e ) 理论，计算出像素之间的协方差系数【2 3 1 。当算法计算窗 口较小，如2 x 2 ，对于纹理丰富的图像和受噪声干扰的图像容易产生错误，当算 法计算窗口较大，如1 6 x 1 6 ，缩放后的目标图像边缘清晰，但是运算量也相应地 增加了。c h a 等人提出了一种e a s e 的边缘自适应缩放算法【2 4 1 。该算法运用插值 误差定理修正双线性插值的误差，以求得到更好的缩放效果。c h e l a 等人提出了 一种基于像素面积的缩放算法，像素面积模型将每个图像像素作为一个小矩形进 行处理，进而完成自适应插值【2 5 1 。上述两种算法在一定程度上改善了图像边缘 的视觉效果，但是算法复杂度较高，不利于硬件实现和对图像的实时处理。吴均 等人提出了带锐度保持的斜投影b 样条图像缩放算法，对图像边缘进行不同程度 的增强，从而保护图像的边缘信息【2 6 1 。但是该算法不能明显提高放大图像的处 理效果。王效灵等人提出了一种基于边沿检测的图像缩放算法( e d s a ) ，首先检 测边缘，引入“模糊度 参数对边缘进行优化处理，提高了边缘检测的鲁棒性， 浙江大学硕士学位论文1 绪论 抑制了由于噪声等原因形成的虚假边缘，对位于边缘区域的像素，沿着边缘方向 进行插值；对位于平坦区域( 不存在边缘的区域) 的像素，使用三次卷积进行插值 2 7 1 。该算法能够在很大程度上消除目标图像边缘的模糊和锯齿现象，从而提高 了目标图像的视觉质量。刘政林等人首先计算相邻像素的二阶差分，再选择最小 差分对应的原始像素，使用牛顿插值公式求得目标像素的灰度值【2 8 1 。虽然实现 了对图像的实时处理，但是缩放效果并不理想，目标图像边缘模糊未得到有效改 善。江雯等人提出了基于s o b e l 算子判别目标像素是否为边缘点，并确定其边缘 方向，再对非边缘区域和边缘区域分别使用双线性插值和双三次插值完成图像的 缩放 2 9 1 。但是这一算法只能实现2 。倍数缩放。 此外，还有一些其他的新兴图像缩放技术，例如，运用小波变换3 0 1 、分形3 1 】 等的图像缩放算法，尽管软件仿真效果良好，但是计算量太大，硬件实现复杂。 1 3 当前图像缩放算法中存在的问题 前文介绍的基于像素的图像缩放算法，大部分因为运算量少，硬件实现简单， 能够快速生成图像，视觉效果良好，且能够实现任意倍数缩放，即无级缩放，所 以得到了广泛的应用。但是，由于在整幅图像上使用统一的数学模型，没有对图 像的边缘进行特殊处理，而从频域看，插值模型变现为低通滤波器，图像经过滤 波后高频分量损失，因此导致目标图像中出现锯齿或边缘模糊等现象。而基于边 缘的图像缩放算法虽然在边缘和细节处取得较好的处理效果，但计算量较大，且 往往不能实现任意倍数缩放，而只能实现整数倍数缩放，甚至2 七倍数缩放。 由于运用小波变换、分形等图像缩放算法复杂度较高，不适合低存储的硬件 实现，因此本文暂不讨论。 综上所述，希望找到能够既保护边缘特征，又真正实现无级缩放，且计算复 杂度较低的图像缩放算法。 1 4 本文内容及组织 图像缩放的应用十分广泛，缩放算法也多种多样，本文主要在分析当前图像 缩放技术现状的基础上，针对当前图像缩放算法中存在的问题，提出了一种基于 三次拉格朗日插值的自适应图像缩放算法。在硬件实现中，采用基于f a r r o w 结 4 浙江大学硕士学位论文 1 绪论 构的v l s i 电路架构。 本文各章的主要内容安排如下： 第一章介绍了图像缩放的研究意义和应用领域，概述图像缩放技术研究现状， 指出当前图像缩放算法中存在的一些问题，并对论文的整体安排进行了介绍。 第二章系统地阐述了图像缩放算法的基本原理，在此基础上，重点介绍了几 类比较常用的图像插值算法并分析了它们各自的优缺点。 第三章阐述图像的边缘自适应缩放技术，介绍了图像边缘的意义以及经典的 边缘检测算子，并且给出了几种边缘检测算子对l e n a 图像和加高斯噪声的l e n a 图像进行边缘检测的处理图像。接着阐述了典型的边缘自适应缩放原理及双通道 插值硬件设计，进而提出了一种基于三次拉格朗日插值的自适应图像缩放算法， 并将本文算法与双线性插值，双三次插值，e a s e 算法和e d g e b a s e d 算法进行性 能分析及比较。 第四章讨论了图像缩放内核的结构以及时序约束条件，最后给出了本文算法 的图像缩放引擎电路结构图以及基于f a r r o w 结构的拉格朗日插值核。 第五章简要总结了本文研究的主要内容，并对今后图像缩放的研究方向做出 了展望。 5 浙江大学硕士学位论文 2 图像缩放的算法与原理 2 图像缩放的算法与原理 图像缩放可以分为升采样和降采样，而且图像包含水平方向和垂直方向两个 维度，在这两个方向上可以分别进行升采样或者降采样。因此，对一幅图像进行 缩放处理可以分为四种情况，即水平升采样垂直升采样，水平升采样垂直降采样， 水平降采样垂直升采样，水平降采样垂直降采样。 通常，图像缩放通过插值完成。插值是一种基于模型的运用离散数据估计连 续数据的方法。图像插值就是一个利用己知像素点的信息计算未知像素点的信息 的过程。这个过程可以简单的描述为：首先确定目标像素在原始图像的坐标映射， 计算目标像素与相关原始像素的距离，再将各个相关原始像素的灰度值与以距离 为自变量的插值函数的乘积进行加权求和，最终得到待插值目标像素的灰度值。 图像插值分为“图像内的插值 和“图像间的插值”。将一幅特定分辨率的图像 缩放为一幅不同分辨率的图像称为“图像内的插值”，这是本文所讨论的内容； 而由若干幅图像得出另外几幅新的图像则是“图像间的插值 ，主要涉及去隔行、 帧频提升等方面的技术，本文不做讨论。 图像插值通过曲线拟合，利用离散的采样点建立一个连续函数来逼近真实曲 线，运用这个连续函数就可以求出任意位置的函数值。由于插值算法的数值精度 和运算量都与插值核函数患患相关，所以插值算法的关键是插值核函数的设计。 一个优良的图像插值算法既要保证图像的清晰度，同时也要保证图像边缘的光滑 性，这样才能使插值后的图像具有较好的视觉效果。图像插值可以分为两个步骤： 第一步，先把原始离散图像变换为连续图像；第二步，对这个连续图像重采样， 产生新的离散图像。在形式上可以写为离散图像信号与二维重构滤波器的连续脉 冲响应的卷积。 f ( x ，y ) = s ( 七，) h 2 。( x 一七，y 一，) ( 2 1 ) k， 其中，s ( k ，1 ) 为二维离散信号，a x ，力为二维连续信号，x ，y e r ，k ，i e n 。 通常，为了减少计算复杂度，使用对称和可分离的插值核函数，即将二维的 插值函数分解为两个一维插值函数的乘积： 如d ( 五y ) = j i ( 功o h ( y ) ( 2 2 ) 图2 1 所示为在4 4 邻域内，把二维插值分解为两次一维插值的原理。首先沿 6 浙江大学硕士学位论文 2 图像缩放的算法与原理 着x 轴方向即水平方向利用一行内的四个原始像素进行一维插值，得到水平方向 的插值像素( 图中小灰色圆圈) 。然后利用水平方向的插值像素沿着y 轴方向即垂 直方向进行一维插值，得到最终所求的插值像素( 图中大灰色圆圈) 。 2 1 理想插值函数 一：泌6 、 ， r t 、 1 r1 i i 一一 * l ，一一 。、 一 ， ， ( x ， ) 龋 。、一一、 、 j ，1 ，1 丝i i i i 1 一，一一、 ) 娅 、 j j 图2 1 二维邻域插值的一维分解 根据奈奎斯特采样定理，对一幅连续图像信号s ，y ) 采样，只要满足采样频 率大于连续信号最高频率的两倍时，则采样后在频域将产生周期延拓的连续频谱 双掰，力，并且彼此不会重叠。所以，当满足奈奎斯特采样定理时，使用一个理想 低通滤波器就能够从采样后的离散信号s ( k ，d 中将原始连续图像信号触，y ) 完全 恢复出来。这个过程在频域上表示为乘以一个用矩形窗函数，而在空域上则表示 为与s i n c 函数进行卷积。s i n c 函数的公式为： k f ( x ) = s i n ( 万x ) = s i n c ( x ) ( 2 3 ) 7 理论上，理想的s i n c 函数可以完全恢复出原始图像，但是，由于s i n e 函数 具有无限扩展的特性，这就决定了在现实中是不可能实现它的。于是，人们提出 了各种不同的插值函数用来逼近s i n g 函数。下问将会介绍这些常用的插值函数。 2 2 常用的插值算法 比较常用的插值算法有：最邻近插值、双线性插值。这两种算法原理简单， 7 浙江大学硕士学位论文2 图像缩放的算法与原理 在硬件电路上也很容易实现，但是输出图像视觉效果较差，图像不光滑、有花斑。 后来又发展出了双三次插值、b 样条插值、拉格朗日插值【3 2 3 等。 2 2 1 最近邻插值 使用一个空域有限核近似s i n c 函数最简单的方法就是最近邻插值法，也称 为零阶插值法。该算法利用离插值位置最近的原像素进行插值，即令插值像素的 灰度值等于与它所处位置最近的原始图像像素的灰度值。实际上，最邻近插值只 是进行了像素赋值，从计算角度看，等价于矩形函数和原始图像像素的卷积，该 矩形函数为： j l 。( 工) = 三。- 肪l x 已l ，w o 憾，5 p ( 2 4 ) 显然， 1 0 ) 是一个直流恒定的插值函数。这种插值方法最显著的优点是运算 量非常小，但是，当图像中像素之间灰度值有较大变化时，最近邻插值会在图像 中造成插值后的图像明显的块状效应。例如，当插值像素位于两个原始像素的中 间位置时，就会出现半个像素的漂移。 2 2 2 双线性插值 线性插值又称为一阶插值，其基本思想是：利用与目标像素相邻的四个原始 像素的数据信息按照一定的权值相加，其权值分别为目标像素和相应原始像素之 间的距离。即考虑插值点周围的原始像素对插值点的贡献以及空间距离的不同对 缩放效果所产生的线性影响。由于线性插值对图像的缩放可以分解为对行列信号 作两次处理，所以这种方法也常被称为双线性插值( b i l i n e a r ) 。则每个方向上的 插值函数近似为三角形函数，表示如下： 姒加测塑 泣5 ， 三角形函数 2 0 ) 是一个频域低通滤波器，线性插值考虑目标像素周围四个原 始像素的影响，基本上克服了最近邻插值灰度不连续的缺点，并且计算量不大， 在一定程度上抑制了混叠现象，获得比较满意的图像效果。但是当放大倍数增大 时，目标图像也会出现明显的块状现象。而且，线性插值的低通滤波效应，必然 8 浙江大学硕士学位论文2 图像缩放的算法与原理 会使原始图像的高频分量损失，从而目标图像的边缘就会变得模糊。 2 2 3 双三次插值 双三次插值( b i c u b i e ) 比双线性插值更近一步，它考虑了与目标像素相邻的 4 x 4 令1 s 域，一共十六个原始像素。不同原始像素与目标像素的距离不同，所以距 离较近的点就有较大的权值。因为线性插值考虑到了灰度函数的连续性，使得图 像的灰度值保持连续，但是没有考虑到灰度函数的导数的连续性。为了使目标图 像更加接近真实情况，应使灰度函数的导数，甚至二阶导数也连续，从而使目标 图像更加“光滑”，而双三次插值的插值核函数的二阶导数就是连续的。 其函数形式如下： 丸址4 ( x ) = ( 口+ 2 ) l x l 3 一( a + 3 ) x 1 2 + lo i x i 1 口f x j 3 5 a f x l 2 + s a f x l 一4 a ls i x i 2 ( 2 6 ) 0o t h e r w i s e 其中，a 是一个自由变量。根据d a n i e l s s o n 和h a m m e r i n 的研究理论，当口= 1 3 时，得到的h e u b i “的傅立叶变换最接近理想矩形函数。k e y s 通过泰勒展开- 与s i n c 函数的泰勒多项式比较得到口= 1 2 。此时，输入信号的泰勒展开式的前三项与插 值后函数的泰勒展开式的前三项相同，而且逼近误差正比于采样增量的三次方。 由于绝大部分数字图像的能量主要集中在低频，由线性误差最小，p a r k 和 s c h o w e n g e r d t 推出口= 2 3 为最优解。 双三次插值考虑到了图像纹理对于图像的贡献，视觉效果较好，产生的目标 图像是连续的，但是仍然会造成目标图像边缘和细节的模糊，而且计算复杂，不 适宜高实时性的视频处理中。 2 2 4b 样条插值 在现代函数逼近方法学里，样条函数是一个十分活跃的分支，它是一个分段 多项式，由于它逼近任意函数具有极大的灵活性和适应性，所以得到广泛的应用。 b 样条是样条函数中最基本的一种，可以通过基函数自卷积得到它。例如，线性 插值函数 2 可以看做由两个矩形插值函数 1 ) 的卷积所得。 j i l 2 ( 工) = 7 l l ( x ) 木h 1 ( x ) ( 2 7 ) 口 浙江大学硕士学位论文2 图像缩放的算法与原理 同理，阶b 样条函数j i i 删也可以由矩形函数来构造，当n 趋于无穷大时， j j l 删收敛为高斯函数j l l 。 ) 。 “( 工) = 岛( x ) 宰属( 工) j i l l ( x ) ( 2 8 ) 、- - - - - 、，- - _ - _ - - j 当n = 4 时，我们得到三次b 样条函数，如下所示： 死c x ，= ：乡耀l i 芝兰二i + 4 ，3 o h 1 1 - i x i 2 ( 2 9 ) o t h e r w i s e b 样条函数五4 并不是插值函数，而是逼近函数。把b 样条逼近函数作用 于一组不同的离散采样点“助上，可推出b 样条插值函数表达式为： 跏( 工) = 厅。( x ) 木压( 压一2 ) 川万o + 肌) ( 2 1 0 ) 利用b 样条函数进行重采样得到的目标图像能够获得令人较为满意的视觉 效果，但是由于计算复杂度较高，硬件实现也较为困难。 2 2 5 拉格朗日插值 在数值分析中，泰勒多项式是一种十分常用的数值计算方法。在物理、数学、 计算机等多个领域具有广泛的应用。对于图像重采样而言，泰勒多项式一个最大 的缺点就是它是从一个点展开的，而拉格朗日插值可以通过多个点。其公式如下： 驰，= 砉败毒杀等搿i 燃 眨川 其中，在插值节点x i 处的函数值为y i ( 卢0 ，1 ，1 ) 。作为常用的特例，当 n = l 时，由式( 2 1 1 ) 可得两点插值公式。这是一个线性函数，故两点插值又名线 性插值。 厶( 石) = 尘丑+ 乃尘互 ( 2 1 2 ) x o 一工l工i 一而 若令n = 2 ，由式( 2 1 1 ) 可得到常用的三点插值公式。这是一个二次函数，故 三点插值又名二次插值或者抛物线插值。 弘h 景蓑等+ 乃等糍等+ 奶芒蓑等泣 浙江大学硕士学位论文 2 图像缩放的算法与原理 若令n = 3 ，由式( 2 1 1 ) 可得到四点插值公式。 厶c 工，= i 害兰j 君妄笺 端+ y 一乏罢兰i 意雩篆丢糕 + ，! 三二叠! ! 兰二苎2 1 兰二兰! + ，壁二叠! 垒二苎! ! 兰二兰2 ，2 ( x 2 一x o ) ( x 2 一五) ( 也一x 3 ) “( 恐一) ( 而一五) ( 而一而) ( 2 1 4 ) 特别地，( n - 1 ) 阶拉格朗日多项式通过个点。当n 趋于无穷大时，对于无 限个插值点，拉格朗日多项式收敛于s i n c 函数。且其公式以等幂形式对称排列， 易于编程，函数具有唯一性，数值计算具有稳定性，在定义区间内是连续的。 2 3 本章小结 本章主要介绍了图像缩放的基本原理，在此基础上，介绍了几类比较常用的 图像插值算法：最邻近插值、双线性插值、双三次插值、b 样条插值和拉格朗日 插值。这些插值算法的原理基本相同，都是通过计算目标像素附近的原始像素的 加权平均值来确定目标像素的灰度值，而不考虑其他像素。各种插值算法之间的 区别主要是用于计算的原始像素以及相应权值的不同。 对于灰度变化平缓的图像平坦区域，使用常用的图像插值算法通常可以得到 较好的视觉效果。但是，对于灰度变化剧烈的图像边缘区域，由于插值模型的低 通滤波效应，平滑了图像的边缘细节信息，导致目标图像出现边缘细节模糊的现 象。而人眼对图像当中的边缘区域异常敏感，因此保护图像的边缘信息，提高缩 放后目标图像的视觉效果就显得尤为重要。 浙江大学硕士学位论文 3 边缘自适应图像缩放 3 边缘自适应图像缩放 第二章所述各种插值算法存在的一个典型的问题，即在插值过程中仅使用了 空间位置信息来判断目标像素与原始像素的相关性，插值系数事先已经确定，与 原始图像本身内容无关，这样就会在图像的边缘位置，不相关的原始像素被组合 生成目标像素，必定会产生模糊。虽然能够平滑图像，在目标图像中保存低频分 量，但是高频分量不能够很好地保持。这样在视觉上就会导致图像模糊或者块状 效应。为了改进图像缩放的效果，在实际应用中使用边缘自适应图像缩放算法。 3 1 图像边缘与边缘检测 图像边缘作为图像的重要特征，影响图像的视觉效果，它不仅包含了图像的 大部分信息，而且描绘了图像的基本轮廓。由于人眼感知图像边缘的视觉复杂性， 使得对边缘的定义大多数是属于描述性的。边缘检测可以获取图像边缘的信息， 而且能够极大地减少需要处理的数据量【”】。不少图像处理技术，包括图像插值， 都直接或间接地使用边缘检测算法，以求达到更好的处理效果。 人们对边缘检测算法的研究一直十分重视，也提出了许多典型的边缘检测算 子。边缘检测算子就是提取出图像当中符合边缘特性的像素的数学算子【3 4 1 。 3 1 1 边缘的含义与意义 在图像中，边缘是最基本的特征之一。图像中灰度发生急剧变化的区域就是 图像的边缘，它表征了信号的突交情况。边缘是图像中两个属性区域的l 临界处， 是图像中不确定性最大的部分，同时也是图像中信息最集中的部分，包含了丰富 的信息。因此，边缘能够极大地减少所要处理的信息，但是又能够保留图像中物 体的形状信患。由h v s 人类视觉系统( h u m a nv i s u a ls y s t e m ) 可知，人类的视 觉系统在大尺度上聚焦于物体的整体轮廓部分，在小尺度上聚焦于物体的精细结 构部分。因此，当人眼观看某一物体时，首先聚焦于物体的整体轮廓部分，然后 通过眼球的转动，聚焦于物体的精细结构部分，所以，人眼在辨别物体时，很大 程度上依赖于物体的边缘信息。 图像边缘具有两个特性一一幅度与方向，理想的图像边缘具有如下两个性质： 】2 浙江大学硕士学位论文 3 边缘自适应图像缩放 ( 1 ) 垂直于边缘方向，像素灰度值变化剧烈； ( 2 ) 沿着图像边缘方向，像素灰度值变化平缓。 根据理想图像边缘的两个性质，在数学上可以利用灰度的导数来判断边缘点。 通常，根据灰度变化的不同情况，我们将边缘分成三种，如图3 1 所示。第一种 是阶跃型边缘，它是指像素灰度从一个灰度级突变到另一个比它高得多的灰度级。 第二种是屋顶型边缘，它是指像素灰度首先缓慢地增加，到一定程度后再缓慢地 减少。第三种是线条型边缘，它是指像素灰度由一个灰度级跳变到另一个灰度级 之后再变回原来的灰度级。在现实中，由于图像在生成、获取以及传输等过程中， 必然会受到光源性能、成像系统性能、通道带宽以及噪声等各种因素的影响，往 往收到噪声的干扰，所以得到的实际图像并不是理想的图像，其边缘也要复杂的 多，不局限于上述三种标准情况，这样就会增加边缘检测的难度。 ( a ) 阶跃型边缘( b ) 屋顶型边缘( c ) 线条型边缘 图3 1 图像边缘的灰度变化 3 1 2 边缘检测算子 由上文可知，利用图像灰度变化曲线导数的特点检测边缘，经典边缘检测算 法大多数都是根据这种方法来提取边缘信息的。边缘检测算法一般的步骤是：首 先，对输入图像进行平滑滤波处理，接着进行边缘增强，再将边缘增强后的图像 进行阈值分割，最后将灰度图像转化为二值图像，即可显示出边缘信息。图3 2 所示为边缘检测的一般步骤。 图3 2 边缘检测的一般步骤 由于边缘检测算法大多数是根据图像灰度的一阶或二阶导数，而求导运算对 于图像噪声极其敏感，因此需要对输入图像进行平滑滤波处理，以求改善边缘检 测算法的抗噪性能。但是，大部分滤波器在降噪的同时也会导致图像边缘细节信 息的丢失，因此需要进行边缘增强。两者是边缘检测技术中的一个矛盾问题，在 1 3 浙江大学硕士学位论文3 边缘自适应图像缩放 实际应用中，需要根据具体情况进行折衷处理。这也是边缘检测的核心难点之一。 微分边缘检测法主要分为两种类型：一阶微分法和二阶微分法。一阶微分法 运用某种形式的一阶微分运算，将所得结果与某一阈值进行比较，判断边缘点。 而二阶微分法，则是利用二阶导数过零点的特性进行边缘检测。 一阶导数是最简单的微分算子。梯度( g r a d i e n t ) 是一阶导数的二维形式， 可以通过计算梯度来确定边缘点。图像似，y ) 在点 ，y ) 处的梯度定义为： w 加针 掣掣 7 ， 其中，g 、q 分别表示在x 、y 方向上的梯度分量。梯度是一个矢量，根据 式( 3 1 ) 可得其幅值和方向分别为： i v f ( x ，j ，) i = + 嘭 ( 3 2 ) 口：删a n ( 茅a v ) ( 3 3 ) 在式( 3 3 ) 中，0 代表梯度向量与x 方向的夹角。 对于数字图像，式( 3 1 ) 中的一阶偏导数g ：和g ，一般采用一阶差分来近似， 即相邻两像素之间的灰度差，分别表示如下： g x = 厂( f ，+ 1 ) 一f ( i ，_ ，) ( 3 4 ) g 。= f ( i + l ，j ) - f ( i ，j ) ( 3 5 ) 在实际应用中，为了避免平方运算，用两个分量的绝对值之和或者两者的最 大值来近似梯度的幅值。梯度算子可以表示为： v f ( x ，y ) = l f ( x , y ) - f ( x + l ，y ) l + l f ( x , y ) - f ( x ，少+ 1 ) i ( 3 6 ) 上述公式用模板表示为： 矧 在运算时，采用模板算子与图像卷积，即将模板在图像上移动，进而在每点 计算相应的梯度。梯度算子是最简单的边缘检测算子，实际中，根据模板的大小 以及元素值的不同可以产生各种不同的微分算子。常用到的边缘检测算子有 r o b e r t s 算子、p r e w i t t 算子、s o b e l 算子、l o g 算子以及c a n n y 算子等。 1 4 浙江大学硕士学位论文3 边缘自适应图像缩放 矧 匪三 i 矧 三三三 李三三 浙江大学硕士学位论文3 边缘自适应图像缩放 ；享； 孑；貂 曼三司 三三 三三立 三三曼 三了孑 三三 v 2 厂( x ，y ) ：0 2 f 丁( x , y ) + a 2 f 丁( x , y ) ( 3 7 ) c 况c 。 v 2 f ( x ，y ) = l 厂o + 1 ，) + 厂o 一1 ，) + 厂o ，_ ，+ 1 ) + o ，j 一1 ) 一4 f ( i ，) 】 ( 3 8 ) o 1 o 【- 0 1 0 j 1 6 浙江大学硕士学位论文3 边缘自适应图像缩放 其中，舷，力是图像，g ( x ，y ) 是高斯函数，其表达式以及l a p l a c i a n 变换分别 如式( 3 1 1 ) 和式( 3 1 2 ) 所示： m 川= 刍e x p ( 一等) ( 3 1 1 ) v 2 咖) - ( 字删一等2 0 ) ( 3 1 2 ) 仃 一 当o = 2 时，l o g 算子的模板形式表示如下： o 0 01 12 o一1 o0 10 0 - 2 10 1 621 2一l o l00 在高斯函数中，参数盯是尺度空间因子，它决定了算子的大小。对于理想的 无噪声图像，盯越小，边缘的定位越准确。但是，实际图像都是有噪声的，如果 仃过小，将会检测出许多虚假边缘；如果盯过大，结果则恰好相反。因此，边缘 定位的精确性和抗噪声性是互为矛盾的，在实际应用中应该根据具体情况进行选 择。 l o g 算子符合人眼的视觉特性，它对边缘的定位效果要好于一阶微分算子， 尤其对于阶跃型边缘的检测效果良好。它的缺点是不能够确定边缘的方向，而且 对于灰度变化缓慢的图像，检测不到有效的边缘。 1 9 8 6 年，c a n n y 提出了边缘检测算子应该满足的三个标准，进而推导出了 c a n n y 算子【3 4 1 ，它是目前理论上相对最为完善的一种边缘检测算子。这三个标准 分别是： ( 1 ) 检测标准。既不丢失重要的边缘，也不产生虚假的边缘。 ( 2 ) 定位标准。即实际边缘与检测出的边缘位置之间的偏差要尽量小。 ( 3 ) 单响应标准。即单个边缘产生多个响应的概率要低，并且虚假边缘响 应得到最大抑制。 c a n n y 算子的具体实现步骤介绍如下： ( 1 ) 首先利用高斯函数与原始图像进行卷积，滤除图像中的噪声。 ( 2 ) 然后利用导数算子计算图像灰度的方向导数g 和g ，利用式( 3 2 ) 求 1 7 浙江大学硕士学位论文3 边缘自适应图像缩放 出梯度的大小。 ( 3 ) 利用式(