（电路与系统专业论文）数字图像缩放及图像质量评价关键技术研究.pdf

浙江大学博士学位论文 摘要 摘要 随着数字采集技术和信号处理理论的普及，越来越多的图像以数字形式存储。数字 图像处理技术起源于2 0 世纪2 0 年代，图像缩放技术和图像质量评价方法是其中的两项 关键技术。 图像缩放的主要目的是通过改变图像分辨率使图像能够在输出终端上得到更好的 显示效果。在消费类电子领域，数字图像缩放技术主要基于硬件实现，它对于硬件的低 成本、低功耗以及算法的实时性更为关注，所以研究主要集中在图像缩放算法及其硬件 的实现。 图像处理技术主要基于人眼视觉系统，作为其主体，图像无论是作为输入还是输出， 其质量对于算法都有着决定性的作用。因此，建立有效的图像质量评价机制，对于数字 图像处理技术具有重大的意义。 图像质量评价可以分为主观图像质量评价方法和客观图像质量评价方法。主观图像 质量评价方法可以很自然的与人的主观感受相符，但是相对费时，无法实现自动化处理。 客观图像质量评价方法方便、快捷、易于实现，可以很好的结合到其他图像处理算法中。 但是，客观图像质量评价的结果往往与人的主观感受有所出入。因此，如何得到与人的 主观感受更相符的客观图像质量评价算法是图像质量评价的主要研究方向。 本文主要围绕图像缩放技术和图像质量评价方法的关键技术展开，具体内容概括如 下： 1 ) 提出一种边缘自适应的分段抛物线图像缩放算法及其硬件架构。算法通过对图 像进行自适应插值，起到抑制边缘模糊或细节退化的作用。算法可以取得与三次卷积插 值算法相当的性能，同时，由于在硬件实现上采用基于f a r r o w 结构的架构，硬件复杂 度远小于三次卷积插值。算法可以实现行、场方向的任意缩放，支持的最大分辨率达到 q x g a ( 2 0 4 8 1 5 3 6 ) 。 2 ) 提出一种基于可重构插值滤波器的图像缩放引擎。该引擎具有较好的缩放效果， 可以对分辨率不高于2 5 6 0 x1 9 2 0 的任何图像进行行、场两维的独立缩放操作。该架构 仅使用4 个功能模块及5 个行存储器，使其硬件开销远低于传统架构。该引擎在插值核 的定点问题上对图像处理的性能和硬件资源的开销做了细致的评估与权衡，使用的定点 策略不仅可以消除传统缩放引擎固有的累积误差，还可以将硬件定点问题所带来的截断 i i i 浙江大学博士学位论文 摘要 误差降到最低。同时，可重构特性使其能够更好的满足用户在性能和电路设计成本上的 多方面需求。 3 ) 提出一种基于g a b o r 滤波器的全参考型图像质量评价方法。算法通过使用g a b o r 滤波器模拟h v s 的多通道特性，对失真图像和参考图像在某些特定频率带宽内的边缘 信息和轮廓的某些特定方向信息进行提取、比对，然后对失真图像进行图像质量评价。 实验结果表明，该算法能很好的符合人的主观感受，对多种典型的失真均有较好的效果。 4 ) 提出一种基于非张量积小波分解的半参考型图像质量评价方法。算法首先使用 n p w t 对参考图像进行分解，得到3 个尺度共9 个子带。选取其中的6 个子带，再通过 g s m 模型对子带系数进行归一化处理，得到拟合度很高的符合零均值高斯分布的归一 化子带系数。最后使用c b d 模型得到失真测度。实验结果表明，该方法优于现有的几 种半参考型图像质量评价算法，其性能与全参考型图像质量评价方法性能已经较为接 近。 关键词：图像缩放、图像质量评价、边缘检测、双三次卷积插值、四点分段抛物线插值、 f a r r o w 结构、g a b o r 滤波器、非张量积小波变换 i v a b s t r a c t w i t hp o p u l a r i z a t i o no fd i g i t a la c q u i s i t i o nt e c h n o l o g ya n ds i g n a lp r o c e s s i n gt h e o r y ，m o r e a n dm o r ei m a g e ss t o r e di nd i g i t a lf o r m d i g i t a li m a g ep r o c e s s i n gt e c h n o l o g yo r i g i n a t e di nt h e 19 2 0 s i m a g es c a l i n ga n di m a g eq u a l i t ya s s e s s m e n ta r et w oo ft h ek e yt e c h n o l o g i e so fd i g i t a l i m a g ep r o c e s s i n g t h em a i np u r p o s eo fi m a g es c a l i n gw a st oc h a n g et h ei m a g er e s o l u t i o no ft h es o u r c e v i d e os i g n a l st om e e tt h ed e m a n d so ft h et e r m i n a ld i s p l a yd e v i c e s i nt h ef i e l do fc o n s u m e r e l e c t r o n i c s ，i m a g es c a l i n gw a si m p l e m e n t e do nh a r d w a r e t h eh a r d w a r ed e s i g nc o n s i d e r e d m o r ea b o u tr e a lt i m e ，l o wc o s ta n dl o wp o w e rt e c h n i q u e s t h e r e f o r e ，t h er e s e a r c ho fi m a g e s c a l i n gp a i dm o r ea t t e n t i o n so nt h ea l g o r i t h m sa n di t sh a r d w a r ei m p l e m e n t a t i o n s t r a d i t i o n a l l y ，i m a g eq u a l i t yw a se v a l u a t e db yh u m a n s ot h es u b j e c t i v ei m a g eq u a l i t y a s s e s s m e n tw a sn a t u r a la n dc o n s i s t e n tw i t ht h es u b je c t i v ef e e l i n g s b u tt h es u b j e c t i v em e t h o d w a se x p e n s i v ea n di tw a sa l s ot o os l o wf o rt h er e a l w o r l da p p l i c a t i o n s i ta l s oc a n n o tb e p r o c e s s e da u t o m a t i c a l l yb yc o m p u t e r t h eo b j e c t i v ei m a g eq u a l i t y a s s e s s m e n tw a sm o r e c o n v e n i e n t ，f a s t e ra n de a s i e rt oi m p l e m e n t s oi tw a sb e n i f i c a lt om a n yo t h e rd i g i t a li m a g e p r o c e s s i n gt e c h n o l o g i e sw h i c hn e e d e dt oc o n t r o l o rm o n i t o rt h eq u a l i t yo ft h ep r o c e s s e d i m a g e s h o w e v e r ，t h er e s u l to fo b j e c t i v em e t h o d sw a ss o m e t i m e s n o ts op r e c i s ea n di tw o u l d d i f f e r ef r o mt h es u b j e c t i v ef e e l i n g s t h e r e f o r e ，h o wt oe v a l u a t et h ei m a g eq u a l i t ym o r e c o n s i s t e n tw i t hs u b j e c t i v es e n s ew a st h em a i nr e s e a r c ho fo b j e c t i v ei m a g eq u a l i t ya s s e s s m e n t t h i sp a p e rm a i n l yf o c u s e do nt h ek e yt e c h n o l o g yo fi m a g es c a i n ga n di m a g eq u a l i t y a s s e s s m e n t i tc a nb es u m m a r i z e da sf o l l o w ： ( 1 ) a ne d g ea d a p t i v ef o u r - p o i n tp i e c e w i s ep a r a b o l i cs c a l i n ga l g o r i t h m a n di t s a r c h i t e c t u r ew e r ep r e s e n t e d ，i nw h i c ht h ep i x e l sa l o n go rn e a r b ye d g e sw e r ei n t e r p o l a t e db y e d g ed i r e c t i o no r i e n t e dm e t h o d i tc a np r e s e r v et h ed e t a i l si ni m a g e sa n dp r e v e n tt h ee d g et o b eb l u r r y i nh a r d w a r ei m p l e m e n t a t i o n ，a ne f f i c i e n tv l s ia r c h i t e c t u r eb a s e do nf a r r o w s t r u c t u r ew a sd e v e l o p e d e x p e r i m e n t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc a nb es c a l e db y a r b i t r a r ys c a l i n gr a t i o sa sw e l la sp r e s e r v i n ge d g e si ni m a g e i t sh a r e w a r ec o s ti s l o w e rt h a n c u b i ci n t e r p o l a t i o na l g o r i t h m ，a n di tc a np r o c e s st h ei m a g en ol a r g e rt h a n2 0 4 8 1 5 3 6 ( 2 ) as c a l i n ge n g i n eu s i n gr e c o n f i g u r a b l ei n t e r p o l a t i o nf i l t e rb a s e do nf a r r o ws t r u c t u r e v w a sp r o p o s e d t h ee n g i n ei sd e s i g n e dt op e r f o r mt h ea r b i t r a r ys c a l i n gr a t i o sw i t ht h ei m a g e r e s o l u t i o ns m a l l e rt h a n2 5 6 0 1 9 2 0p i x e l s i tc o u l ds c a l eu po r d o w n ，r e s p e c t i v e l y ，i n h o r i z o n t a lo rv e r t i c a ld i r e c t i o n s i tw a sc o m p o s e do ff o u rf u n c t i o n a lu n i t sa n df i v el i n e b u f f e r s ，w h ic hw a sm o r ec o m p e t i t i v et h a nc o n v e n t i o n a lo n e s as t r i c tf i x e d p o i n ts 仃m e g yi s a p p l i e dt on a i n i m i z et h eq u a n t i z a t i o ne r r o r so fh a r d w a r er e a l i z m i o n e x p e r i m e n t a lr e s u l t s s h o wt h a tt h ee n g i n ep r o v i d e sab e t t e ri m a g eq u a l i t ya n dac o m p a r a t i v e l yl o w e rh a r d w a r ec o s t t h a nr e f e r e n c ei m p l e m e n t a t i o n s i na d d i t i o n ，t h er e c o n f i g u r a b l ef e a t u e sm a k et h ee n g i n e b e t t e rm e e tt h ev a r i o u sd e m a n d so fu s e r se i t h e ri nt h ep e r f o r m a n c eo rt h ec o s to f d e s i g n ( 3 ) a ：f u l lr e f e r e n c ei m a g eq u a l i t ya s s e s s m e n tb a s e do ng a b o rf i l t e rw a sd i s c u s s e d g a b o rf i l t e i 。c a ns i m u l t a n e o u s l yr e a c ht h et h e o r e t i c a l l yl i m i t e dl o w e rb o u n di nt i m ea n d f r e q u e n c yo nt h ep r o d u c to fi t sb a n d w i d t ha n dd u r a t i o n i m a g e sw e r ef i r s t l yd e c o m p o s e dw i t h d i f f e r e n tw a v e l e n g t h sa n dd i f f e r e n to r i e n t a t i o n sb yg a b o rf i l t e r s a f t e re x t r a c t i n gt h ef e a t u r e s f r o mt h ed e ：c o m p o s e di m a g e sa n dp o o l i n gt h e mt o g e t h e r , t h es t r u c t u r a ls i m i l a r i t yi n d e xo f g l o b a li m a g ei sa c h i e v e d f i n a l l y , f o l l o w i n gt h ee v a l u a t i o np r o c e d u r eo ft h ev i d e oq u a l i t y e x p e r t sg r o u p ，t h eo b j e c t i v es c o r e sf r o mt h e s t r u c t u r a ls i m i l a r i t yi n d e xw a sc o m p u t e d e x p e r i m e n t a lr e s u l t ss h o wt h a to u rp r o p o s e da s s e s s m e n tc a nc o r r e l a t ew e l l 、丽t 1 1h u m a n s u b j e c t i v i t yi na l lk i n d so fd i s t o r t i o n s t h ep e r f o r m a n c eo fo u rp r o p o s e da s s e s s m e n tw a s c o m p a r a b l ew i t hs t a t e o f - t h e - a r tm e t h o d s ( 4 ) an o v e lr e d u c e d r e f e r e n c ei m a g eq u a l i 锣a s s e s s m e n ta l g o r i t h mu s i n gd i v i s i v e n o r m a l i z a t i o n b a s e dn o n t e n s o rp r o d u c tw a v e l e tt r a n s f o r m sw a sp r o p o s e d t h ea l g o r i t h m a p p l i e s t h en o n - t e n s o rp r o d u c tw a v e l e tt r a n s f o r m st o d e c o m p o s ei m a g e s u b s e q u e n t l y ， g a u s s i a ns c a l em i x t u r e sm o d e lw a sa p p l i e dt of u r t h e r l yp r o c e s st h ec o e f f i c i e n t so fe a c h s u b b a n d t h en o r m a l i z e dc o e f f i c i e n t sw e r eh i g h l yf i t t e dw i t ht h ez e r o - m e a ng a u s s i a n d i s t r i b u t i o n f i n a l l y ，c i t y - b l o c kd i s t a n c ew a sm e a s u r e df o ri m a g eq u a l i t yd e g r a d e s t h ed a t a r a t eo fo u rm e t r i cw a sm u c hl o w e rt h a nt h e e x i s t i n gr e d u c e d - r e f e r e n c ei m a g eq u a l i t y a s s e s s m e n t s ，a n di t sp e r f o r m a n c ew a sa l s ob e r e rw h i c hw a sc l o s et ot h ef u l lr e f e r e n c ei m a g e q u a l i t ya s s e s s m e n t s oi tb e c a m ean e wc h o i c ef o ro b je c t i v eq u a l i t ya s s e s s m e n t 。 k e yw o r d s ：i m a g es c a l i n g ；i m a g eq u a l i t ya s s e s s m e n t ；e d g ed e t e c t ；b i c u b i cc o n v o l u t i o n i n t e r p o l a t i o n ；f o u r - p o i n tp i e c e w i s ep a r a b o l i ci n t e r p o l a t i o n ；f a r r o ws t r u c t u r e ；g a b o rf i l t e r ； n o n - t e n s o rp r o d u c tw a v e l e tt r a n s f o l r i l l v i 致谢 浙江大学的求学之旅即将告一段落，在论文完成之际，谨向多年来给我指导、帮助 和鼓励的各位老师、学长、同学以及长辈奉上我最衷心的感谢! 首先，感谢我的导师严晓浪教授。在我攻读博士期间，严老师的悉心指导和亲切关 怀给了我很大的帮助。严老师作为超大所的精神支柱，具有宽广的视野、独到的见解以 及充沛的精力，他对集成电路产业的那份激情和执着，对日常工作的细致和严谨都是我 永远的学习榜样。 感谢丁勇老师和潘赞老师。他们孜孜不倦的教诲使我受益匪浅，严谨治学的态度， 刚正不阿的品格，锐意进取的精神都深深的影响着我。无论是在日常的生活上，还是科 研工作上，他们都给提供了我莫大的支持与鼓励。 感谢浙江大学超大规模集成电路设计研究所的吴晓波老师、何乐年老师、史峥老师、 沈海斌老师、罗小华老师、赵梦念老师和张培勇老师等。感谢你们在我读博期间在各方 面的帮助。 感谢我的父母和我的妻子，这九年浙大求学之路是在你们无私的爱和鼓励下坚持下 来的。在我困惑和气馁时，鼓励我的是你们；在我喜悦和得意时，鞭策我的也是你们。 有你们在身后支持着，我感到无比的幸福。 感谢这些年来与我一起工作和学习的同学们，全励师兄、殷燎师兄、程爱莲师姐、 万民永、李源深、颜晓峰、马斌、薛念、周升、陈雷、车向勇、王一木、刘明宇、箭庆 辉、孙纲德、宋文华、叶森、张渊、刘晓东、郑宁、曹晓阳、贾梦楠、刘钧石、丁文、 项群良、张冬、欧阳冬升、张稳稳和胡婧瑾。在平时的科研生活中，给诸位添麻烦了! 感谢参加论文评阅和答辩的各位老师，谢谢各位对论文的批评和指正。 最后，再次向过去这些日子里，关心、爱护和帮助过我的人们致以诚挚的感谢! i i 浙江大学博士学位论文 第一章绪论 第一章绪论 1 1 课题背景 视觉是人类感知的主要来源之一。一般来说，一个视力正常的人时时刻刻都需要接 触图像。据统计，在人类接收的信息中，视觉信息占7 0 以上，在许多场合，视觉所传 递的信息比其他任何形式更加丰富真切【l l 图像是人对视觉感知的物质再现。图像既可以通过光学设备获取，也可以由人创作 出来。模拟图像，即传统意义上的图像，是“空间坐标和明暗程度都连续变化的图像” 【2 1 ，数字图像是对一个模拟图像的数字化表征。数字图像处理技术起源于2 0 世纪2 0 年 代，于上世纪6 0 年代初期形成为一门学科 3 1 。随着信号处理理论和数宇采集技术的普 及，图像越来越多的以数字形式进行存储。2 0 世纪7 0 年代以后，由于微电子技术和计 算机技术的高速发展，数字图像处理技术得到了迅猛的发展和广泛的应用。而作为其中 的关键技术，图像缩放技术( i m a g es c a l i n g ) 和图像质量评价( i m a g eq u a l i t ya s s e s s m e n t ， i q a ) 方法也越来越受到关注。 图像缩放也叫图像重采样、图像分辨率转换。图像缩放包括图像放大和图像缩小两 部分，图像放大是对于图像的升采样，是把低分辨率图像放大为高分辨率图像的过程； 图像缩小是对于图像的降采样，是把高分辨率图像缩小为低分辨率图像的过程。一般来 说，图像缩放的主要目的是通过改变图像分辨率使图像能够在输出终端上得到更好的显 示效果，它在军事、医学图像和消费类电子等多个领域应用广泛。 然而，根据应用领域的不同，图像缩放的研究侧重是不同的。在军事和医用领域， 图像的准确性是图像缩放的关注重点，因此图像是否存在失真是判断其算法优劣的主要 因素，在这些领域主要使用计算复杂度相对较高的图像边缘自适应算法，由于计算复杂， 多数算法基于软件实现，计算相对耗时，无法进行实时处理；而在消费类电子领域，对 图像质量、边缘失真等问题要求不是很高，由于在该领域主要基于硬件实现，所以对于 硬件的低成本、低功耗以及算法的实时性更为关注，主要研究集中在非边缘自适应算法 及其硬件实现。 图像质量评价是指采用一定的主观或者客观方法对图像的质量进行测度，评价图像 是否符合人的主观感受。图像处理技术主要基于入眼视觉系统( h u m a nv i s u a ls y s t e m ， 浙江大学博士学位论文 第一章绪论 h v s ) ，而作为图像处理技术的主体，图像无论是作为输入还是输出，其质量对于算法 都有着决定性的作用。当图像作为输入是，它的质量决定了获取信息的准确性和充分性； 当作为输出时，图像质量就成为了检验算法优劣的主要评判标准。因此，建立有效的图 像质量评价机制，对于数字图像处理技术具有重大的意义。 在1 9 9 7 年，国际电信联盟远程通信标准化兰 t ( i t u t ) 和无线电通信组( i r u r ) 联合成 立了视频质量专家至 t ( v i d e oq u a l i t ye x p e r t sg r o u p ，v q e g ) h 5 6 ，7 1 ，专门从事视频图像的 主客观质量评价的研究和相关标准的制定。图像质量评价分为主观图像质量评价方法和 客观图像质量评价方法。主观图像质量评价方法是指设计一套实验规则，由观测者对图 像质量进行评价，然后通过一系列统计和处理排除观测者的情绪、动机、知识背景等因 素对评价产生的影响，得到最终的评价结果。因为图像质量评价的主体是人，所以主观 图像质量评价方法很自然的与人的主观感受相符。但是主观图像质量评价方法相对费 时，且需要大量实验者，还会受到测试者主观因素的影响。因此，主观图像质量评价方 法仅适用于建立相对固定的测试图库，很难用于建立实时图像评价系统，同时也无法对 数字图像处理的效果作灵活迅捷的测评。客观图像质量评价方法是采用特定的数学模型 来对图像质量进行评价。客观图像质量评价方法方便、快捷、易于实现，可以很好的结 合到其他图像处理算法中，作为相关算法的测评工具。但是，长期以来由于h v s 的复 杂性以及人们对其认知的不足，客观图像质量评价的结果往往与人的主观感受有所出 入。因此，如何得到与人的主观感受更相符的客观图像质量评价算法是图像质量评价的 主要研究方向。 1 2 国内外研究历史与现状 1 2 1 图像缩放概论 图像缩放是通过插值算法重采样从而生成新的插值图像的过程 8 ，9 ，1 0 。插值就是在 已知坐标范围内一种基于模型的从离散数据估计连续数据的方法。图像插值就是一个图 像数据再生的过程弄0 用己知的图像数据信息产生未知的图像数据信息，由原始图像 数据再生出具有不同分辨率的图像数据 1 1 ，1 2 1 。插值算法是通过图像的局部特征进行插 值计算的，如边缘信息【1 3 ，1 4 , 1 5 1 、相邻的像素信息 1 6 ，1 7 1 等。根据使用的局部特征的不同， 浙江大学博士学位论文 第一章绪论 插值算法被分为两大类，一类是边缘自适应算法，一类是非边缘自适应算法。 边缘自适应算法 1 8 ，1 9 , 2 0 , 2 1 】在重采样过程中，一般会按照源图像的边缘信息把图像 区域划分为边缘区域，过渡区域和平坦区域三部分，然后使用不同方法对不同区域进行 插值计算。边缘自适应算法通过对图像边缘的检测使图像锐利化，从而达到图像增强的 效果，因此它可以抑制在插值过程中插值滤波器的平滑效应，在注重图像质量的医学成 像和军事侦察领域应用广泛。但是由于边缘自适应算法需要在缩放图像之前，预置一个 边缘检测模块；同时，插值模块需要根据图像局部信息的不同自适应选择合适的插值算 法。因此其算法较为复杂，硬件实现的难度较大，而且由于其巨大的计算量很难做到实 时处理。所以，大部分边缘自适应算法主要是基于软件实现的，以巨大的计算量，较长 的计算时延换取较高的处理效果。 非边缘自适应算法无需检测图像的边缘信息，进行插值时只需要对图像的像素信息 进行无差别的计算，因此，它可以使用单一的插值滤波器。从这一点看，基于非边缘自 适应算法的缩放硬件，其设计难度要比边缘自适应的硬件低得多：逻辑控制简单，插值 滤波器功能单一且可复用。对于消费类电子而言，非边缘白适应算法已经可以满足大部 分产品的应用需求。 最常见的非边缘自适应的算法主要包括最邻近法、双线性法 3 1 、b 样条近似【1 1 】、分 段抛物线【2 2 1 、x ( - 次卷积 8 ，2 3 1 、b 样条插值【1 l 】等，其中双线性法和b 样条近似常用于 设计图像缩放引擎。近年来，主要研究热点集中在双三次卷积插值算法及其改进算法的 v l s i 实现上。 本文着重研究的是适合消费类电子产品的图像缩放硬件的v l s i 设计，因此在下文 将详细介绍几种经典的缩放算法及硬件实现。 1 2 1 1 图像缩放算法 理想的插值函数为s i n e 函数， k d e a ，( 石) ：s i nc ( x ) ：s i n ( r e x ) 刀x ( 1 1 ) 这样的插值函数符合奈奎斯特采样定律，是一个理想的低通滤波器。它可以把原始 图像“无损”的恢复出来。 图1 1 其特性曲线。图1 1 ( a ) 是曲线在 3 ，3 区间内的空域特性，图1 1 ( b ) 和( c ) 是不 浙江大学博士学位论文 第一章绪论 同坐标轴下的频域特性曲线。该滤波器在空域上无限延伸，频域上为一个矩形窗函数， 通带为 吼，。t 】，通带内幅值为1 。进一步通过对数曲线图1 1 ( c ) 可知，理想插值函数阻带 内恒为0 。 ( a ) 空域特性( b ) 傅立叶变换幅度特性 - 1 5- 1 05o5 t 0 1 5 ( c ) 幅度特性对数曲线 图1 1 理想插值函数 ( 1 ) 最邻近插值 最邻近插值的插值核公式如下， 驰) = 怯眶卜l 巍 。 ( 1 2 ) 显然，h i 0 ) 是一个直流恒定的内插函数。最邻近插值是选择离它所映射到的位置最 近的输入像素的数据信息作为插值结果。这种方法也叫做零阶内插，它的运算量非常小。 图1 2 是其空域、频域特性曲线。从对数曲线图1 2 ( c ) 中可看出频率域的旁瓣抑制不 好。在通带内，增益迅速下降，在截止频率处增益降低到原来的6 4 ；但旁瓣峰值却为 4 浙江大学博士学位论文 第一章绪论 峰值的2 0 。因此，若图像的亮度或色度信号存在微小渐变结构，则最邻近域插值会在 图像中产生“人造瑕疵”，造成图像模糊和插值后的混叠效应。因此，用这种方法进行 放大操作，在图像中可以看出块效应。 ( a ) 空域特性 0 0 1 ( b ) q g 立叶变换幅度特性 - 1 5 - 1 0- 8051 01 5 ( c ) 幅度特性对数曲线 图1 2 最邻近插值函数 ( 2 ) 双线性插值 线性插值的插值函数为： 驰) = 胪l 皑i 巍 ( 1 3 ) 线性插值是一阶的插值函数，它的基本思想是：把目标点附近的4 个像素点的数据 信息按一定的权值相加，其权值一般取为目标点和原始点之间的距离。采用线性插值算 法在对图像的缩放是对行列信号作两次处理后得到的，所以也称这种方法常被为双线性 插值。 浙江大学博士学位论文第一章绪论 如图1 3 所示的是它的空域、频域特性曲线。从空域特性图1 3 ( a ) 可以看出h 2 ( 0 ) = l ， 当x 的绝对值大于1 时，乃2 ) = o ；对应地，在频域上，飓( o ) = 1 。从频域对数曲线可 以看出，虽然线性内插函数的阻带内旁瓣低于0 1 ，但通带内的高频成分衰减过快，截 断点以外的高频能量会与低频分量叠加，造成混叠现象。与最邻近插值，双线性插值相 比，线性插值能在一定程度上抑制混叠现象，取得比较满意的结果，并且计算量不大。 但当放大倍数增大时，放大后的图像也会出现明显的块状现象，而且，双线性插值法相 当于一个低通滤波器，会损失一些源图像的高频分量，放大后的图像就变得很模糊。 ( a ) 空域特性( b 博立叶变换幅度特性 ( c ) 幅度特性对数曲线 图1 3 线性插值函数 ( 3 ) 三次b 样条近似 b 样条是样条函数中最常用的一种。它可以通过对基函数进行几次自卷积得到： 向( x ) = h 1 ( ：c ) 母h 1 ( x ) 木办1 ( x ) ( 1 4 ) 对于n - 4 ，我们得到三次b 样条函数： 6 浙江大学博士学位论文 第一章绪论 绣( x ) = ( 1 2 ) i x l 3 一i x l 2 + 2 3 ，o 1 x 1 1 一( 1 6 ) x3 + i x l 2 2 i x i + 4 3 ，1 l x i 2 0 ，其他 ( a ) 空域特性( b ) 傅立叶变换幅度特性 ( c ) 幅度特性对数曲线 图1 4 三次b 样条近似函数 ( 1 5 ) b 样条h 3 ) 如图1 4 所示，通过观察可以发现，h 3 ( x ) 在x = 0 时不为1 ，在x = 1 时 不为0 。所以它实质上不是插值函数，而是逼近函数。虽然它在插值时会产生严重的模 糊，但也衰减了不需要的高频噪声。图1 4 ( c ) 显示了三次b 样条良好的阻带响应，旁瓣的 幅值小于o 0 1 。三次b 样条的傅立叶变换就相当- - t - ( s i n e ) 4 ，这就导致通带的过分- y - ? 旨，截 止频率处的增益为0 1 6 。增加b 样条的阶数会使平滑更严重。 ( 4 ) 四点分段抛物线 四点分段抛物线的插值函数为： 浙江大学博士学位论文第一章绪论 h 4 ( x ) = 一口l x l 2 + ( 口一1 ) l x i + l ，o l x f 1 删x2 3 ax + 2 a ， 1 l x l 2 0 ：，其他 ( a ) 空域特性 ( 1 6 ) ( b ) 傅立叶变换幅度特性 - # -10,410s o锗 ( c ) 幅度特性对数曲线 图1 5 四点分段抛物线函数 四点分段抛物线是二阶的插值函数。在插值过程中适当提高插值多项式的次数有可 能可以提高计算精度。但是这并不是说高次插值的效果一定比低次插值要好。某些情况 下高次插值会出现龙格现象，在近截止处插值结果会出现震荡，且在多项式的阶数增高 时插值误差甚至会趋向无限大。因此，在实际计算时，场将区间划分为若干小区间，在 每个区间使用低级插值。 。如公式1 6 所示，分段抛物线函数存在一个可变数值a ，通过调整a 的数值可以改变 滤波器的频谱特性。理论上说，a 取0 4 3 对混叠的抑制效果最为明显。所以基于工程设 计的考虑，给出a 为0 4 3 和0 5 两个值时的对比分析曲线，如图所示。图1 5 是四点分段抛 物线插值函数的空域、频域特性曲线。从空域特性图1 5 ( a ) 可以看出h 2 ( o ) = 1 ；对应地， 浙江大学博士学位论文 第一章绪论 在频域上，2 ( 0 ) = 1 ，当a 取0 5 时，通带内有明显的过冲现象，相比之下a 取0 4 3 时过冲 值要小得多。从频域对数曲线可以看出，相比前面的几种插值函数，其通带内频谱更接 近理想插值函数，其阻带内旁瓣低于0 1 。相，即使a 取0 5 ( 便于硬件实现，下文将详细 说明) ，其抑制混叠现象的能力也要比前面的几种插值方法强得多，能取得较好的主观 效果。 ( 5 ) 四点双三次卷积插值 随着工艺的进步，v l s i 设计的复杂度逐步提高，三次多项式越来越多的被应用于 插值的硬件设计。由于其容易满足二阶连续的条件，效果要比传统的低阶插值函数要好。 当对四点进行三次卷积插值时，其函数如下， 绣( z ) = ( a + 2 ) x3 - ( 口+ 3 ) + 1 ，o i x l 1 a x3 5 ax2 + s ax 一4 a , 1 f x l 2 0 ，其他 ( 1 7 ) 根据d a n i e l s s o n 和h a m m e r i n 的理论【2 4 1 ，当0 【= 1 3 时，所得到的向5 伍) 的傅立叶变换最 接近矩形函数。图1 6 中的短虚线标识了a = 一1 3 时相应的空域和频域内特性。可以看出 当a 取1 3 时，通带内过冲最为严重；截止频率以外的部分被稍微地放大了，第一个旁瓣 的幅值超过了0 1 。但是，通带到阻带的跳变也最为陡峭，所以说它最接近于矩形函数。 当办5 ( x ) 的一阶导数在x = 1 处与s i n c i 函数的一阶导数相等时，a = 1 【2 5 ，2 6 1 。在这种情 况下，通带内过冲变小，频域曲线在截止频率处的增益也比a = 1 3 时更小。不过，其近 截止时的跳变不如前者那般陡峭。随着a 的变大，上述趋势将继续。当h 5 伍) 的二阶导数 在x = 1 出于s i n c 函数的二阶导数相等时，a = o 7 5 。 k e y s 8 1 通过泰勒展开，比对理想插值函数s i n c i 垂数的泰勒级数发现：当a 取一0 5 时， 输入信号的泰勒展开式的前三项与插值后函数的泰勒展开前三项相同，而且逼近误差为 三次方小量d ( h 3 1 ，如图1 6 中的实线所示。从图中可以看出，相比于另外三种情况，只 有当a = o 5 时，频域曲线在通带内没有过冲。同时，频谱特性在低频处比较平坦，很快 就下滑到截止频率。在 一4 兀，2 兀 和 2 兀，4 兀 内分别只有两个旁瓣，而且两个旁瓣的幅值都 低于0 0 1 。该结果为四种情况中最佳。鉴于绝大多数数字图像的能量均主要集中在低频 部分，a = o 5 为最优解【2 6 1 。 9 浙江大学博士学位论文 第一章绪论 ( a ) 空域特性( b ) 傅立叶变换幅度特性 ( c ) 幅度特性对数曲线 图1 6 双三次卷积插值函数 ( 6 ) 三：欠b 样条插值 为了构造b 样条插值核，把b 样条逼近函数作用到不同的采样点，可以保证拟合 得到的插值函数通过离散的图像点。通常来说，对于一般的插值核，其系数直接就是图 像的采样像素点的数据，但是，b 样条插值核的系数需要进行预处理，所以b 样条插值 核是无穷的。 三次b 样条插值公式如下， 魄( x ) = 绣( 】。) 木压( 以一2 ) i 1 万( x + 聊) ( 1 8 ) 其中，h a ) 为b 样条近似函数，式中的球表示卷积。 图1 7 给出b 样条插值函数的特性曲线。从图1 7 ( a ) 可以看出，当x 不为0 且为整 数时，在空域上办6 ) 始终为0 ，满足过0 点条件。另外，它在通带内最接近理想插值函 数，旁瓣峰值小于0 0 1 。所以三次b 样条插值函数阻带特性也较好。 l o 浙江大学博士学位论文 第一章绪论 ( a ) 空域特性( b ) 傅立叶变换幅度特性 ( c ) 幅度特性对数曲线 图1 7 三次b 样条插值函数 比较图1 1 1 7 可以发现： 1 ) 最邻近法、线性插值和b 样条逼近在通带内与理想矩形偏离最大，在插值过程中 图像会被严重地平滑，所以这两种插值方法只能用于没有尖锐边缘的图像。四点分段抛 物线函数、三次卷积插值函数和三次b 样条插值函数则具有非常好通带特性。 2 ) 三次b 样条逼近、四点分段抛物线函数、三次卷积插值函数和三次b 样条插值具 有较好的截止特性，而邻近插值表现出的截止特性为最差。 3 ) 邻近插值产生的纹波和旁瓣高于0 1 ，阻带特性较差。线性插值和四点分段抛物 线函数和的纹波和旁瓣峰值在0 1 到0 0 1 之间，阻带特性良好；三次b 样条近似、三次卷 积插值函数和三次b 样条插值完全小于0 0 1 ，阻带特性最佳。 表1 1 做出了详细的归纳与对比。综上所述，三次b 样条插值函数与理想插值函数 的特性曲线最为接近，是非边缘自适应缩放最理想的插值核。但是，其算法较为复杂， 浙江大学博士学位论文 第一章绪论 需要根据图像像素信息进行预处理，且其精度随输入数据的增多而精确。因此如果基于 b 样条插值设计硬件，需要预置一个模块对图像像素进行预处理。另外，如果只输入相 邻的4 4 个像素点，无法保证其计算精度；如果使用更多的相邻像素点，则会大大增 加插值滤波器的计算复杂度，并增大数据缓存所需的内存面积。在现阶段缩放引擎的硬 件设计中，还没有使用该算法进行设计的。而分段抛物线和三次卷积函数作为插值核函 数，其性能也较为优越，而且两者都只需要4 4 个点，基于三次卷积函数及其改良算 法的图像缩放引擎的硬件设计是研究的重点。 表1 1 各种插值核函数的性能比较 1 2 1 2 图像缩放的硬件设计 近年来，液晶显示( l c d ) 、等离子显示( p d p ) 、电致发光显示( e l d ) 、有机 电致发光显示( o l e d ) 、场发射显示( f e d ) 等点阵驱动的平板显示器件( f l a tp