（计算机应用技术专业论文）基于修改细分的图像放大方法研究.pdf

基于修改细分的图像放大方法研究 螂 论文题目：基于修改细分的图像放大方法研究 专业：计算机科学与技术 博士后：刘成明 合作导师：罗笑南教授 摘要 随着我国数字家庭和数字电视产业的快速发展，数字图像视频显示呈 现大尺寸、高清化趋势，大量的标清电视信号需要转换为高清数字信号，因 而由低分辨率图像获取高分辨率图像的高效方法成为迫切的需求本研究 旨在提出高效的保持边缘的图像放大方法，在数字家庭与数字电视产业中 有着获得重要应用的潜力我们所采用的基本研究工具为细分方法细分 方法以其优美的数学形式、对任意拓扑网格的处理能力和简单的实现方式 而成为曲线曲面造型的一个重要工具同时，新的应用领域也对细分方法提 出了更高的要求，在一定的约束条件下对细分方法进行某些方面的调整已 成为这一方面研究的重点本研究结合主要结合当前高清晰数字图像视频 方面发展的需求，研究带约束条件的曲线曲面细分方法及基于约束细分方 法的图像放大方法本文的主要工作如下 1 针对机械工程设计对c a d 的要求，给出了一种满足面积约束条件 的曲面细分方法首先将一种带松弛参数的曲线细分方法推广到曲面细分 格式，并通过b l e n d i n g 方法混合d o o - s a b i n 细分来实现对任意拓扑网格的 处理能力然后基于细分方法在松弛参数在一定范围内变动时曲面细分都 能生成光滑的曲面这一事实，我们通过调整每一步细分过程中松弛参数的 取值，来达到控制曲面面积的效果同时，对于面积约束细分的解的存在性， 我们从理论上证明了在一定情况下的解必然存在数值实验也证明了本方 一i 基于修改细分的图像放大方法研究 摘要 法的有效性 2 注意到图像插值放大与插值细分有一个共同点就是都需要根据已有 数据信息计算数据间需要插入的信息同时插值细分方法计算简单稳定等 优点，我们提出了一种插值切向量的曲线细分方法通过调整每个数据点上 的切向量，可以实现控制曲线形状的目的进而将曲面型的细分方法应用到 图像插值放大中为了保持图像的边缘，我们根据图像数据，给出了一种自 适应地估计图像数据的梯度的方法实验表明，该方法速度较快，对图像边 缘也具有较好的保持效果 3 利用计算机图形学的工具解决图像插值放大的问题首先将图像数 据转化为几何网格，然后利用自适应三角剖分方法获得一个三角网格，以尽 量保持图像数据的基本特征然后通过射影空间向欧式空间投影的方式将 b u t t e r f l y 细分方法推广为有理形式最后根据图像数据估计细分模板上对 应顶点的权系数首先由对应的顶点确定一个基本平面，然后依次计算各个 顶点至该平面的距离权系数跟距离成反比该方法的优点是增强了对斜向 边缘的保持 为了解决由连续函数插值模型造成的图像边缘上出现灰色过渡带的问 题，我们拟给出一种基于p a t c h 的插值方法主要思想是将图像转化为自 适应三角网格后，沿着图像边缘将三角网格分割成几个曲率较小的p a t c h ， p a t c h 内部采用b u t t e r f l y 细分插值，p a t c h 之间的缝隙通过外插法进行补充 初步试验结果表明，本算法对水平和垂直方向的图像边缘具有很好的保持 接下来，我们将考虑设计能够保持不同方向边缘的外插算法，以便能够满足 任意图片的放大处理 关键词：数字家庭、数字电视、图像插值、图像放大、细分 基于修改细分的图像放大方法研究 a b s t r a c t _ _ 一 t i t l e ： m a j o r ： n a m e ： r e s e a r c ho nm e t h o d so fi m a g ee n l a r g e m e n tb a s e do nm o d i f i e ds u b d i v i s i ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y l i uc h e n g m i n g s u p e r v i s o r ：p r o f x i a o n a nl u o a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fr e s e a r c ha n di n d u s t r yo fd i g i t a lh o m e a n dd i g i t a lt vi nc h i n a ，d i g i t a li m a g e v i d e od i s p l a yt e n d st ob eo fl a r g es i z e a n dh i g hd e f i n i t i o n i tb e c o m e sm o r ea n dm o r ei m p o r t a n tt or a i s ee f f i c i e n t a l g o r i t h m so fg e n e r a t i n gh i g hr e s o l u t i o ni m a g e s v i d e o sf r o ml o wr e s o l u t i o n o n e s i nt h i sc a s e ，w ea i ma td e v e l o p i n ge f f i c i e n ti m a g ee n l a r g i n gm e t h o d s w h i c hc a nw e l lp r e s e r v ei m a g es h a r pe d g e sa n dw i l lb eo fh e l p f u lf o rt h e d i g i t a lh o m ea n dd i g i t a lt vi n d u s t r y t h em a i nt o o lw ea d o p ti ss u b d i v i o s i o ns c h e m e t h em e t h o do fs u b d i v i s i o nh a sb e e na n i m p o r t a n tg e o m e t r i c a l ， t o o li nc a g df o ri t se l e g a n tm a t h e m a t i c a lf o r m u l a t i o n ，a b i l i t yt op r o c e s s a r b i t r a r yt o p o l o g i c a lm e s h e sa n ds i m p l ei m p l e m e n t a tt h e8 a n l et i m e ，n e w r e q u i r e m e n tb r i n g sn e wc h a n c e sf o rs u b d i v i s i o nt os a t i s f ys p e c i a lc o n d i t i o n s h o wt og e n e r a t ec u r v e so rs u r f a c e sb ys u b d i v i s i o nm e t h o d ss a t i s f y i n go n e o rm o r es p e c i a lc o n s t r a i n t si sa ni m p o r t a n tt o p i ci nt h i sa r e a i nt h i sp a - p e r ，w ef o c u so i lt h es p e c i a ls u b d i v i s i o nr u l e su n d e rs o m ec o n s t r a i n t sa n d r e q u i r e m e n to fi m a g ee n l a r g e m e n t t h em a i nr e s u l t sa r el i s t e da sf o l l o w s f i r s t l y , a c c o r d i n gt ot h er e q u i r e m e n tf r o mc a de n g i n e e r ，w ep r o p o s e as u r f a c es u b d i v i s i o nm e t h o dw i t ha r e ac o n s t r a i n t s t a r i n gw i t ha 4 - p o i n t a p p r o x i m a t i n gc u r v es u b d i v i s i o ns c h e m e ，w ep r o p o s eas u r f a c es u b d i v i s i o n s c h e m ew i t ht e n s i o nc o n t r o l ，t h e ne x t e n ti tt op r o c e s sa r b i t r a r yt o p o l o g i c a l i i i 墨三堡墼垫分的图像放大方法研究 a b s t r a c t 一 二： m e s h e sb yb l e n d i n gi tw i t ht h ed o o - s a b i ns u b d i v i s i o n t h en o v e ls u r f a c e s u b d i v i s i o ns c h e m ec a ng e n e r a t es m o o t hs u r f a c e sw h i l et h et e n s i o np a r a m 争 t e rv a r yi nac e r t a i nf i e l d b a s e do nt h i sp o i n t ，w e g i v eam e t h o dt oc o n t r 0 1 t h ea r e ao ft h es u b d i v i s i o ns u r f a c eb ya d j u s t i n gt h et e n s i o np a r a m e t e ri n e v e r yr e f i n e m e n t a tt h es a m et i m e ，w ea n a l y s i st h ee x i s t e n c eo ft h ea r e a c o n s t r a i n e ds u b d i v i s i o np r o b l e mt h e o r e t i c a l l y a tl a s t ，w ei l l u s t r a t et h ee 伍一 c i e n c yo ft h i sm e t h o db ys o m en u m e r i c a le x p e r i m e n t s s e c o n d l y ，n o t i c i n gt h a tt h e r ei sac o m m o np o i n ti ni m a g ee n l a r g e m e n t a n di n t e r p o l a t o r ys u b d i v i s i o n ，t h a ti s t h e yb o t he s t i m a t ei n f o r m a t i o nb e 卜 t w e e nk n o w nd a t af r o mk n o w no n e s ，a n ds u b d i v i s i o na l s oh a ss o m ea d v a l l - t a g e ss u c ha ss i m p l ec o m p u t a t i o na n ds t a b i h t y h o w e v e r ，s u b d i v i s i o ns c h e m e a i m sa tg e n e r a t i n gs m o o t hc u r v e so rs u r f a c e s ，w h i l ei ni m a g ee n l a r g e m e n t ， w en e e dt ok e e pi t ss h a r pe d g e s h e n c e ，w ep r o p o s ea nn o v e li n t e r p o l a t o r y s u b d i v i s i o ns c h e m es c h e m ew h i c hc a ni n t e r p o l a t et a n g e n tv e c t o r sa n da p - p l i e di tt oi m a g ee n l a r g e m e n tb ye x t e n d i n gi tt os u r f a c es u b d i v i s i o ns c h e m e t ot h ep u r p o s eo fp r e s e r v i n gs h a r p e d g e s ，w ea d o p ta na d a p t i v ea l g o r i t h mt 0 c o m p u t et h eg r a d i e n t so fi m a g ed a t a e x p e r i m e n t a lr e s u l t ss h o wt h ev i s u a l e f f e c to fo u rm e t h o da sw e l la st h ec o m p u t a t i o nt i m e a tl a s t ，w eg i v ea ni m a g ee n l a r g e m e n ta l g o r i t h mw i t h c o m p u t e rg r a p h i c s t o o l s f i r s t ，w ec h a n g et h ei m a g ed a t at oag e o m e t r i c a lm e s h ，a n dw eo b t a i n a na d a p t i v et r i a n g u l a rm e s ha c c o r d i n gt ot h ei m a g ed a t at op r e s e r v et h e i m a g ef e a t u r e s t h e nw eg i v et h eb u t t e r f l ys u b d i v i s i o ns c h e m ei nr a t i o n a l f o r mb yp r o j e c t i n gt h es u b d i v i s i o ns u r f a c ef r o mp r o j e c t i v es p a c et oe u c l i d s p a c e ，a n di nt h en o v e ls u b d i v i s i o ns c h e m e ，e a c hv e r t e xi sa s s i g n e da w e i g h t c o e f f i c i e n t s a n dt h e n ，w ee s t i m a t et h ew e i g h tc o e f f i c i e n t sb y s e t t i n gab a s i c p l a n e ，a n dt h ew e i g h tc o e f f i c i e n t sa r eo b t a i n e df r o mt h ed i s t a n c e so fv e r t i c e 8 基于修改细分的图像放大方法研究 a b s t r a c t e d g e st h a no t h e rm e t h o d s l o t so fi m a g ei n t e r p o l a t i o nm e t h o d sa r eb a s e do nc o n t i n u o u sf u n c t i o n s ， b u tt h ec o n t i n u i t yu s u a l l yc a u s e sb l u r r i n gi ni m a g ee d g e s h e n c e ，w et r yt o g i v ead i s c o n t i n u o u si n t e r p o l a t i o nm e t h o d t h em a i ni d e ai st h a tw ec u tt h e t r i a n g u l a rm e s ho b t a i n e df r o mi m a g ed a t at os e v e r a lp a t c h e sa l o n gt h ei m a g e e d g e s e a c hp a t c hi sar e l a t i v e l yf l a ta r e a w ea d o p tb u t t e r f l ys u b d i v i s i o ni n p a t c h e sa n de x t r a p o l a t i o nm e t h o db e t w e e np a t c h e s c u r r e n tr e s u l t ss h o w s t h a tt h em e t h o dc a np r e s e r v et h eh o r i z o n t a la n dv e r t i c a le d g e sb e t t e rt h a n o t h e rm e t h o d i nt h en e x t ，w ew i l lt r yt og i v em o r es u i t a b l em e t h o dt o h a n d l ea r b i t r a r ye d g e s k e yw o r d s ：d i g i t a lh o m e ，d i g i t a lt v ，i m a g ei n t e r p o l a t i o n ，i m a g ee n l a r g e - m e r i t ，s u b d i v i s i o n v 墨修改细分的图像放大方法研究 a b s t r a c t 一 基于修改细分的图像放大方法研究 目录 目录 摘要 i a b s t r a c t i i i 目 录v i i 第1 章综述1 1 1 数字图像插值的背景1 1 2 数字图像插值方法概述2 1 3 细分方法研究概况1 9 1 4 细分发展概况2 2 1 5 细分方法的特点2 4 1 6 细分方法的分类2 5 1 7 本文的主要工作2 8 第2 章带面积约束的细分方法3 1 2 1 引言3 1 2 2 四点逼近曲线细分3 2 2 3 四点逼近的曲面细分3 5 2 4 面积约束的曲面细分3 8 2 5 结论4 4 第3 章基于插值细分的图像放大方法4 7 3 1 基于细分的图像放大方法4 7 3 2 修改的插值细分4 9 3 3 梯度估计方法5 6 t 一 基于修改细分的图像放大方法研究 目 录 3 4 算法及实验结果5 9 3 5 结论6 4 第4 章基于b u t t e r 丑y 细分的图像放大方法6 7 4 1 三角网格剖分6 7 4 2 b u t t e r f l y 细分7 1 4 3 基于有理b u t t e r f l y 细分的图像放大算法7 2 4 4 基于p a t c h 的图像插值放大算法7 9 4 5 结论8 1 第5 章结论与展望8 3 5 1 本文的主要工作8 3 5 2 不足与展望8 5 参考文献8 7 个人简历9 9 后记1 0 1 i i 基于修改细分的图像放大方法研究第1 章综述 第1 章综述 数字图像插值技术几乎应用到所有的图像几何变换领域，如平移，旋 转，缩放，扭曲等细分方法则是几何造型领域最灵活易用的工具之一我 们将在本文中，采用细分这一几何工具处理图像插值放大问题本章首先介 绍数字图像插值方法的研究背景以及国内外发展现状，和细分方法的发展 概况最后对本文的研究目的与思路、主要结果、内容安排进行扼要介绍 1 1 数字图像插值的背景 实验心理学家t r e i c h l e r 在1 9 6 7 年有关人类获取信息的来源与知识保 持的实验表明，人类获取信息的8 3 来自视觉在当今信息时代，随着计 算机技术、数码相机、网络视频和高清数字电视的发展，加上视觉在人类 信息获取中的重要性，数字图像日益成为人们获取信息的重要渠道，数字图 像处理技术作为图像与计算机技术的结合，也获得了快速的发展特别是随 着中国数字家庭和数字电视产业的发展，高清数字电视信号迅速普及，大量 的标清电视节目源需要提升为高清数字电视( h d t v ) 节目，这更增加了对数 字图像视频放大技术迫切需求h d t v 在一些西方国家已经出现过一段时 间但是，并没有较快的推向市场，其原因在于其高昂的制作、播出及接收 机成本目前由于i i d t v 的配套设备和片源还没普及，使用原有的图像系 统后，画面质量非但没有提升，往往会有模糊化甚至满是雪花噪点的噪声 的图像其原因在于分辨率的不同1 1 i 普通碟机只能实现分辨率7 2 0 * 5 7 6 或 7 2 0 * 4 8 0 的输出、传送和显示，而常见的低端平板电视分辨率为1 3 6 6 7 8 6 ， 即高清规格中的标清，中高端平板电视分辨率为1 9 2 0 1 0 8 0 ，即全高清，这些 电视所显示的像素远远超过d v d 信号如果对于平板电视而言，一旦不能实 o h t t p ：w w , ，a h c i c o m l l a n m u y d a s p ? i d = 3 3 2 5 - 1 基于修改细分的图像放大方法研究 第1 章综述 现点对点而是要多个点来显示一个像素点，画面就会变得模糊虚化唯一解 决的办法就是提供7 2 0 p 或者是1 0 8 0 p 的高清信号源给电视，将大量d t v 信号转化为与h d t v 接收机相匹配的信号显得极为重要 图像插值( i m a g ei n t e r p o l a t i o n ) ，也称为图像放大( i m a g ee n l a r g e m e n t ) ， 图像上采样( i m a g eu p s a m p l i n g ) 或图像超分辨率( i m a g es u p e rr e s o l u t i o n ) ， 是指通过增大图像的分辨率获取高清晰图像的一种基本操作，图像的这种 处理手法在图像显示、传输( 通讯) 、图像分析以及动画制作、电影合 成、医学图像处理等方面有着相当广泛的应用图像插值分为由单幅或多 幅图像生成一幅高分辨率的图像，通常叫做图像放大还有一种为各帧图像 之间的插值本文中我们所述的图像插值放大，均指单幅图像的插值放大 1 2 数字图像插值方法概述 目前，常见的图像放大方法有，( 1 ) 基于卷积的方法；( 2 ) 基于反问题模型 的方法；( 3 ) 面向边缘的自适应方法；( 4 ) 边缘修正的方法；( 5 ) 基于小波重构 的方法；( 6 ) 基于学习的方法；( 7 ) 基于几何处理的方法等 1 2 1 基于卷积的方法 基于卷积的图像插值方法是最为基础的图像放大方法该类方法总体 分为两步，第一步是将离散信号重建为连续信号，第二步为对连续信号进行 重新采样，连续信号s ( x ，y ) 从离散信号s ( 七，f ) 的重构过程大多采用卷积的方 式【2 】： 8 ( x ，掣) = s ( h 2 d ( x - - 七，y - 1 ) 知j 其中日b 表示二维卷积核。通常来说，h 2 d 是对称的，并可分解为一维卷积核 的乘积： h w ( x ，掣) = h ( x ) 日( y ) 一2 基于修改细分的图像放大方法研究 第1 章综述 日( z ) 满足 ( 1 ) 对称性，即日( 一z ) = 日( z ) ； ( 2 ) h ( 0 ) = 1 ，h ( n ) = 0 ，川= 1 ，2 ，； ( 3 ) 七z 日( z + 惫) = 1 ，0 z 1 常见的图像插值方法，比如最邻近插值法，双线性插值法和双三次插值 法都由卷积方法实现其卷积核风( z ) ，h l ( z ) 和风( z ) 【3 1 分别定义为： 坼) ： 1 咚k i “， 【0 ，h 1 h i ( z ) ： 1 一f z i ，o l z i 1 i 1 0 ，h 1 i 荆3 一剩2 + 1 ，0 川 1 ， 凰( z ) = 一i 1 i z l 3 + l l z l 2 4 i z l + 2 ，1 l x l 2 还有一种卷积插值方法，称为“理想”插值是基于s i n c 滤波的方法假 设离散信号s ( ，2 ) 是由连续信号s ( z ，可) 遵, , w g , , n y q u i s t s h a n n o n 采样定理获 得，贝l j s ( x ，y ) 耻a m s ( k ，c ) 完全重构出来，方法是在频率域将( 七，c ) 乘以一个 矩形窗函数一维情况下，矩形函数可以取为 r e d c 叫，2 三：至妻： 将r e 以) 通过f o u r i e r 逆变换转化到时间域得， e eim=dw=isinzrxrect(w)e”dw = s i n c ( z ) _ = ， 从理论上说，利用s i n c ( x ) 可完全重构原信号，故该方法也称为“理想插 值”( i d e a li n t e r p o l a t i o n ) 但是由于s i n c ( x ) 是无限支集的，具体使用时必须 对它进行截断处理，因此在实际使用过程中效果并不完美 ( d h t t p ：e n w i k i p e d i a o r g w i k i s i n c f u n c t i o n ( 室) h t t p ：e n w i k i p e d i a o r g v i k i n y q 挂i s t 纰z 8 0 2 9 3 s h a 强o n s a m p l i n s _ t h e o r e m 3 基于修改细分的图像放大方法研究 第1 章综述 ( a ) h o ( z ) ( b ) h 1 ( z ) ( c ) t t 3 ( z ) ( d ) s i n c ( x ) 图1 1 几种常见卷积核的形状 f i g 1 1f i g u r e so fs e v e r a lc o m m o nc o n v o l u t i o nk e r n e l s 删= 2 x l a - 3 x 1 2 + 1 , i x r i b c j ，则沿着b c 剖分；否则沿着a d 剖分文