（通信与信息系统专业论文）图像超分辨率重建及其在视线跟踪系统中的应用.pdf

- “q 1 原 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：叠全垂 e t 期：丝：呈：丛 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：超垒王：导师签名： 、 凡 ) 八“七 7 l ，、，k， ；，i 目录 中文摘要 a b s t r a c t 第一章绪论 1 1 课题背景 1 2 研究意义k 1 0 1 3 论文的研究内容和主要贡献1 2 1 3 1 基于梯度自适应插值的超分辨率重建技术1 2 1 3 2 超分辨率重建思想在视线跟踪系统中的应用1 3 1 4 论文的结构安排1 3 第二章超分辨率重建技术基础15 2 1 引言l5 2 2 数学模型1 5 2 3 超分辨率重建的可行性分析1 7 2 4 超分辨率相关的技术领域一2 0 2 5 经典算法回顾2 l 2 6 超分辨率重建图像质量评价一2 7 2 7 小结2 9 第三章自适应超分辨率重建技术3 0 3 1 引言3 0 3 2 自适应超分辨率重建技术3 1 3 2 1 单帧梯度自适应插值算法3 l 3 2 2 梯度自适应插值超分辨率图像重建算法3 l 3 3 仿真结果3 4 2 一 、 山东大学硕士学位论文 c o n t e n t s a b s t r a c t7 c h a p t e r1i n t r o d u c t i o n 一9 1 1 b a c k g r o u n d 9 1 2 a p p l i c a t i o n s 10 1 ：i m a i nc o n t r i b u t i o n s 1 ：! 1 3 1g r a d i e n t - b a s e ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o n 12 1 3 2i t sa p p l i c a t i o ni ng a z et r a c k i n gs y s t e m 13 1 4s t r u c t u r e 1 ：； c h a p t e r2f o u n d a t l o no fs rr e c o n s t r u c t i o n 1 5 2 1i n t r o d u c t i o n 11 ； 2 2m a t h e m a t i c a lm o d e i 15 2 3 f e a s i b i l i t ya n a l y s i so fs r 17 2 4r e l a t e da r e a so fs u p e r - r e s o l u t i o nr e c o n s t r u c t i o n 2 0 2 5c l a s s i c a la l g o r i t h mr e v i e w 21 2 6 q u a l i t ya v a l u a t i o n 一2 7 2 7 s u m m a r y ：1 9 c h a p t e r3g r a d i e n t - b a s e da d a p t l v e 州s r 3 0 ：；1i n t r o d u c t i o n ：；( ) 3 2g r a d i e n t b a s e da d a p t i v ei ns r 31 3 2 1g r a d i e n t b a s e da d a p t i v ei ns i n g l ei m a g e 31 3 2 2g r a d i e n t - b a s e da d a p t i v ei ns r 3l 3 3 e x p e r i m e n t sa n da n a l y s i s 3 4 3 4 s u m m a r y 3 7 c h a p t e r4a p p l i c a t i o no f s ri ng a z et r a c k 烈gs y s t e m 3 9 3 4 一 1 j 一、 山东大学硕士学位论文 中文摘要 图像分辨率是成像系统对图像细节分辨能力的一种度量，也是图像中目标 细微程度的指标，高分辨率图像能提供有关目标更多重要的细节信息。随着多 媒体通信和信号处理技术的发展，人们对图像分辨率的要求越来越高。然而 许多成像系统受其物理条件的限制，现实中得到的图像往往受到退化和噪声的 影响，分辨率有限。如果采用改善物理硬件的方法来获得人们满意的高分辨率 图像，一般成本较高，而且有时很难实现。因此从软件的角度，通过数字信号 处理的手段获取高分辨率图像就非常具有研究意义。超分辨率图像重建技术就 是其中之一。目前，该技术已在军事遥感、天文、医疗、公共安全、医学成像 以及计算机视觉等多个领域得到广泛应用。 超分辨率图像重建是从多帧同一场景的低分辨率图像中，重建出清晰的高分 辨率图像。它克服成像系统硬件设备的分辨率的限制，充分利用多帧图像之间的 互补信息进行数据融合，弥补了由于图像获取和传输过程中导致的分辨率下降。 本文针对超分辨率图像重建及其在视线跟踪系统中的应用的问题进行了研究，主 要工作如下： 首先，概述低分辨率图像的成像过程，建立相应的数学模型。在此基础上， 对超分辨率重建技术已存在的算法进行了总结，重点介绍了算法的基本原理、理 论依据、实现步骤以及优缺点。 其次，提出一种基于梯度自适应插值的超分辨率图像重建算法。利用频域配 准算法估计低分辨率图像序列之间的相对运动，并根据相对运动参数将低分辨率 图像序列映射到高分辨率栅格上，然后采用基于梯度自适应的插值算法进行插 值，最后通过反卷积滤波去除模糊和噪声得到高分辨率图像。基于梯度自适应的 插值算法不仅考虑了插值像素与周围像素的距离关系，而且考虑了梯度对插值像 素值的影响。该算法是一种非迭代算法，计算复杂度低，适于实时应用。 再次，提出一种基于非均匀样本插值的视线跟踪定标算法。视线跟踪系 统是通过拍摄使用者眼睛的图像并进行处理，根据眼球的运动来实现眼睛对 鼠标的操作，本论文提出的视线跟踪定标算法创造性地利用了超分辨率思想。 首先选取注视屏幕上不同行、不同列的多个点作为定标点，记录其屏幕上的 5 山东大学硕士学位论文 真实坐标，通过积分投影和c a n n y 算子从采集的图像视频中提取出瞳孔边缘， 采用椭圆拟合确定瞳孔中心，最后根据非均匀样本插值算法计算出使用者真 实的视线注视点，实现视线跟踪。该算法避免了现有技术考虑眼球物理模型 和眼睛成像的非线性特性等难点，通过超分辨率中非均匀样本插值的思想， 实现瞳孔中心和注视点的准确定位。该系统无需使用者配戴任何头配系统， 可在完全自然舒适的状态下使用。 在论文的最后，总结了超分辨率图像重建方向亟待解决的问题，以及超 分辨率思想在视线跟踪系统中进一步的研究重点。同时，对超分辨率领域的 发展及应用前景进行了展望。 6 关键词：超分辨率重建、梯度自适应插值、视线跟踪、非均匀样本插值、椭 圆拟合 j 3 ， l 山东大学硕士学位论文 a b s t r a c t i m a g er e s o l u t i o ni sn o to n l yam e a s u r eo f t h ea b i l i t yo fa ni m a g i n gs y s t e mt o d i s t i n g u i s ht h ed e t a i l so fa ni m a g eb u ta l s os h o w st h ef i n e n e s so fd e t a i l so ft h e i m a g e h i g hr e s o l u t i o ni m a g e sc a no f f e rm o r ed e t a i l st h a tm a y b ec r i t i c a li nv a r i o u s a p p l i c a t i o n s t h e r e f o r e ，w i t ht h ed e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o na n d i n f o r m a t i o np r o c e s s i n g ，t h e r ei sh i g hd e m a n df o rh i g hr e s o l u t i o n h o w e v e r , d u et o t h el i m i t a t i o n so ft h ei m a g i n gs y s t e m ，i m a g e so b t a i n e di nr e a l i t ya r eu s u a l l y d e g r a d e db yb l u r r i n g ，n o i s ea n dd o w n - s a m p l e ，t h u s w i t hl i m i t e dr e s o l u t i o n i m p r o v i n gt h ep e r f o r m a n c eo ft h eh a r d w a r ei sc l e a r l yo n ew a yt oi n c r e a s et h e r e s o l u t i o no ft h ea c q u i r e di m a g e s b u tt h i sm e t h o dm a yn o tb ef e a s i b l ef o rt h eh i g h c o s t t h e r e f o r e ，t h ew a yb ym e a n so fd i g i t a ls i g n a lp r o c e s s i n gs o f t w a r et e c h n i q u et o o b t a i nh i g hr e s o l u t i o ni m a g e si sb e c o m i n gm o r es i g n i f i c a n t o n eo ft h e s et e c h n i q u e s i ss u p e r - r e s o l u t i o n ( s r ) r e c o n s t r u c t i o n a tp r e s e n t ，s rt e c h n i q u eh a sb e e nw i d e l y u s e di nm i l i t a r yr e m o t e s e n s i n g ，a s t r o n o m y , p u b l i cs a f e t y , m e d i c a li m a g i n g ， c o m p u t e rv i s i o na n d o t h e rf i e l d s s rr e c o n s t r u c t i o n t e c h n i q u ei s t h ep r o c e s so fc o m b i n gm u l t i f r a m el o w r e s o l u t i o ni m a g e so ft h es a m es c e n et or e c o n s t r u c tah i g hr e s o l u t i o ni m a g e i tm a k e s f u l lu s eo ft h ec o m p l e m e n t a r i t yb e t w e e nt h em u l t i - f r a m ei m a g ei n f o r m a t i o n ，a n d m a k eu pt h ed e f i c i e n c yo ft h ep r o c e s so fi m a g ea c q u i s i t i o na n dt r a n s m i s s i o nw h i c h o v e r c o m e st h ec o n s t r a i n to fh a r d w a r e i m a g i n gs y s t e m s u p e r - r e s o l u t i o n r e c o n s t r u c t i o na n di t sa p p l i c a t i o ni ne y et r a c k i n gs y s t e ma r ed i s c u s s e di nt h i s 一 d i s s e r t a t i o n i ng e n e r a l ，t h em a i ni d e a sa r ei n c l u d e da sf o l l o w s ： f i r s t ，t h ei m a g i n gp r o c e s so ft h el o wr e s o l u t i o ni m a g e si si n t r o d u c e da n dt h e c o r r e s p o n d i n gm a t h e m a t i c a lm o d e li s a l s ob u i l t o nt h i sb a s i s ，t h ed i s s e r t a t i o n s u m m a r i z e st h ec l a s s i c a la l g o r i t h m so fs rr e c o n s t r u c t i o nt e c h n i q u e ，a n df o c u s e st h e a t t e n t i o no nt h e i rb a s i cp r i n c i p l e s ，t h e o r ye v i d e n c e s ，i m p l e m e n t a t i o np r o c e d u r e s ，t h e s u p e r i o r i t i e sa n dd e f i c i e n c i e s 7 山东大学硕士学位论文 s e c o n d l y , as u p e r - r e s o l u t i o nm e t h o db a s e d o ng r a d i e n t b a s e d a d a p t i v e i n t e r p o l a t i o ni sp r o p o s e d w eu t i l i z et h ef r e q u e n c yd o m a i nr e g i s t r a t i o na l g o r i t h mt o e s t i m a t et h em o t i o n so ft h el o wr e s o l u t i o ni m a g e sa n dm a pt h el o wr e s o l u t i o n i m a g e st ot h eu n i f o r mh i g hr e s o l u t i o ng r i d ，a n dt h e nt h eg r a d i e n t b a s e da d a p t i v e i n t e r p o l a t i o ni su s e dt of o r mah i g hr e s o l u t i o ni m a g e f i n a l l y , w i e n e rf i l t e ri sa p p l i e d t or e d u c et h ee f f e c t so fb l u r r i n ga n dn o i s e t h i sm e t h o dn o to n l yc o n s i d e r st h e d i s t a n c eb e t w e e nt h ei n t e r p o l a t e dp i x e la n dt h en e i g h b o r i n gv a l i dp i x e l ，b u ta l s o t a k e si n t oa c c o u n tt h el o c a lg r a d i e n to ft h eo r i g i n a li m a g e ，w h i c hi sr o b u s tt ot h e r e g i s t r a t i o ne r r o ra n dh a sl o wc o m p u t a t i o n a lc o m p l e x i t y t h i r d l y , a n o v e li n f r a r e d g a z et r a c k i n gs y s t e m b a s e do nn o n u n i f o r m i n t e r p o l a t i o ni sp r o p o s e d t h ea p p l i c a t i o no fs u p e r r e s o l u t i o ni d e ai ng a z et r a c k i n g s y s t e mi sa ni n n o v a t i v ep o i n ti nt h i sd i s s e r t a t i o n s e l e c ts o m ed i f f e r e n tl i n ep o i n t so n t h es c r e e na sc a l i b r a t i o np o i n t sa n dr e c o r dt h e i ra c t u a lc o o r d i n a t e so nt h es c r e e n j 一 t h ei n t e g r a lp r o j e c t i o na l g o r i t h ma n dc a n n ye d g ed e t e c t i o na r ea p p l i e dt oe x t r a c tt h e p u p i lb o u n d a r yp o i n t sf 1 o mt h ec a p t u r e de y ei m a g e s ，a n dt h e nt h ep u p i lc e n t e ri s c o m p u t e du s i n ga ne f f i c i e n ta n da c c u r a t ee l l i p s ef i t t i n ga l g o r i t h m f i n a l l y , i no r d e r t oe s t i m a t ew h e r et h eu s e rl o o k s ，an o v e lm a p p i n gm e t h o db a s e do nt h en o n - u n i f o r m i n t e r p o l a t i o na l g o r i t h mi su s e d i nt h i sm a p p i n gm e t h o d ，t h ec o m p l i c a t e dg e o m e t r i c e y e b a l lm o d e la n dt h en o n l i n e a rm a p p i n gb e t w e e nt h ep u p i lc e n t e rc o o r d i n a t e sa n d c o m p u t e rm o n i t o rs c r e e nc o o r d i n a t e sd on o tn e e dt ob et a k e ni n t oa c c o u n t m o r e o v e r , o u rs y s t e mi st h er e m o t ee y eg a z et r a c k i n gs y s t e m t h eu s e r sd on o tn e e dt ow e a r a n yd e v i c e ，w h i c hm a k et h eu s e r sf e e lm o r ec o m f o r t a b l e f i n a l l y , t h ep r o b l e m s t ob es o l v e dr e l a t e dt os rr e c o n s t r u c t i o na n df u t u r e r e s e a r c ht o p i c sa b o u ta p p l i c a t i o no fs rr e c o n s t r u c t i o ni ne y et r a c k i n gs y s t e ma l e s u m m a r i z e d f u r t h e r m o r e ，t h ep r o s p e c to f t h ed e v e l o p m e n ta n da p p l i c a t i o nt e n d e n c y i sa n a l y z e da sw e l l k e y w o r d s ：s u p e r - r e s l u t i o nr e c o n s t r u c t i o n ，g r a d i e n t b a s e da d a p t i v ei n t e r p o l a t i o n ，g a z e t r a c k i n g ，n o n u n i f o r mi n t e r p o l a t i o n ，e l l i p s ef i t t i n g 8 j 1 1 课题背景 数字图像处理技术源于二十世纪二十年代【lj ，英国伦敦和美国纽约之间通 过海底电缆传输数字化新闻图片，由于采用了数字压缩技术，使得跨大西洋传 送一幅图片的时间从一个多星期减少到少于三个小时。其后，随着计算机技术 的发展，数字图像处理技术得到了进一步发展。美国喷气推进实验室( j p l ) 对 航天探测器“旅行者7 号 在1 9 6 4 年发回的几千张月球照片使用了几何校正、灰 度变换、去除噪声等图像处理技术，并考虑了太阳位置和月球环境的影响，由 计算机成功地绘制出月球表面地图，获得了巨大的成功，为人类登月创举奠定 了坚实的基础。数字图像处理这门学科也随之诞生。 图像采集是数字图像处理系统中必不可少的环节，也是连续图像变成数字 图像进入计算机的重要步骤。然而数字化采集过程中有很多因素会导致图像分 辨率的下降。例如，目前应用最为广泛的图像传感器是电荷耦合器件( c h a r g e c o u p l ed e v i c e c c d ) 和互补金属氧化物半导体( c o m p l e m e n t a r ym e t a lo x i d e s e m i c o n d u c t o r , c m o s ) 。就图像采集设备而言，无论采用c c d 还是c m o s 传感 器，成像系统都是通过起内部的传感器阵列进行采样，产生数字图像。为了避 免“混叠”现象，要求采样频率必须满足n y q u i s t 采样准则。在成像过程中，由 于采样频率的影响会产生欠采样效应，使获取的图像发生降质。其次，传感器 的形状和尺寸、光学系统的像差、离焦以及相机和被拍摄物体之间的相对运动 等因素也会造成图像的模糊。另外，在成像、传输和存储过程中，会引入不同 类型的噪声，如高斯噪声、椒盐噪声等，而且噪声的引入方式也不同，或为加 性噪声、或为乘性噪声，这些都会直接影响到图像的质量和分辨率。 为了获得高分辨率图像，最直接的方式就是采用硬件工业技术。第一种方 法是通过传感器工艺技术减少每个像素点的面积，如图1 1 【2 1 。然而，在输入光 源强度有限的情况下，由于像素点的增加，每点像素的可用光源强度会下降而 产生散粒噪声而破坏图像的质量。在0 3 5um 规格的c m o s 工艺流程中，最小允 许的像元尺寸为4 0 l im 2 。第二种方法是增加传感器的面积，如图1 2 。然而，由 于电容大小与面积大小成正比，增加芯片的面积会导致电容效应，从而很难加 9 1 2 研究意义 图l - 2 增加图像传感器的面积 超分辨率图像重建技术改善了由于图像数字化引起的空间分辨的下降，同时 发掘了现有图像数据的潜力，如多角度、多时相、多平台遥感图像，序列图像等。 i 0 一 j 因此，超分辨率图像 像以及视频多媒体处 1 公共安全领域。由于成本及技术条件限制，现在使用的摄像记录设备其分 辨率和帧率不高，同时由于成像环境的不断变化又导致了图像质量和分辨率的降 低。利用超分辨率重建技术可以对监控录像进行超分辨率处理，提高目标图像如 车牌、人物特征、场景特征等的分辨率，从而在突发事件的侦破、维护社会治安 等方面发挥重要作用。 2 军事遥感侦查领域。由于成像设备的硬件技术原因以及复杂多变的成像条 件，我们往往得不到希望的更高分辨率的图像。同时，由于高分辨率相机造价昂 贵，体积和重量都很大，携带不方便。因此，我们可以利用超分辨率图像重建技 术，对低分辨率图像数据进行复原，生成高分辨率图像。这样便能够降低风险和 成本，提高侦查精度，从而提高对军事目标的识别和预警能力。 3 计算机视觉领域。超分辨率技术有可能使图像实现从检出水平的空间分辨 率向粗识水平的空间分辨率的转化，或更进一步实现向细辨水平的空间分辨率的 - - 转化。超分辨率技术可提高对图像的识别能力和识别精度。 4 医学成像( c t 、超声波成像等1 领域。医学检测中往往需要通过层析成像技 术识别并确定出病体( 如肿瘤) 的精确位置及详细情况：如阴影的边缘、异物占位 的大小及位置等。由于硬件设备及现有的成像技术的限制，我们还不能够获取满 足高要求的高清晰图像。由于层析成像技术的特殊机理，可以用超分辨率技术来 提高图像质量，对病变目标进行仔细地检测。 5 视频和多媒体处理领域。随着各种显示设备的增多，不同视频格式的图像 及视频的转换，可以通过超分辨率重建技术得以快速实现。再比如，对视频中的 某个画面进行超分辨率，对低分辨率视频压缩码流进行超分辨率重建。 在国外，美国e a r t h s a t 公司采用超分辨率技术，利用多个卫星同时成像重 建出高分辨率图像。美 雪d a y t o n 大学和w r i g h t 实验室在美国空军的支持下，对 红夕b c c d 相机进行了载机试验，利用2 0 幅低分辨率的红外图像，取得了分辨率 提高近5 倍的试验结果。在国内，由哈工大李金宗教授带领课题组完成的“卫星 图像复原及超分辨率处理技术研究 于2 0 0 6 年在北京通过鉴定【3 l 。目前，此项 目已在科学考察、环境检测等领域得到广泛应用，并产生了巨大的经济效益和 山东大学硕士学位论文 社会效益。 1 3 论文的研究内容和主要贡献 本论文首先概述了低分辨率图像的成像过程，建立了相应的数学模型。 在此基础上，对超分辨率重建技术已有的算法进行了总结，重点介绍了算法 的基本原理、理论依据以及优缺点。其次，论文主要围绕基于梯度自适应插 值的超分辨率重建算法和超分辨率重建思想在视线跟踪系统中的应用两方面 展开了研究，并取得了一些有意义的结果。具体的研究内容和主要贡献如下。 1 3 1 基于梯度自适应插值技术的超分辨率重建方法 已有的超分辨率重建算法大致可以分为两类：基于学习的算法和基于重构 的算法。基于学习的算法需要大量的样本库，且样本库的选择需要严格控制， 因此，该类算法的性能对样本库具有很强的依赖性，与之相比，基于重构的算 法则更具有普遍性。基于重构的算法又可以分为迭代算法和非迭代算法两类。 迭代算法运算量大，迭代收敛慢，且对配准误差较敏感，不适于实时应用。而非 迭代算法的复杂度小，运算复杂度低，适于实时应用。目前常见插值算法有最 近邻插值、双线性插值及三次样条插值等，这些插值算法不能得到满意的视觉 效果，在一定程度上会出现模糊，混叠或块效应等。 针对这个问题，本论文提出了一种基于梯度自适应插值的超分辨率重建算 法。该算法在融合了多帧低分辨率图像信息的基础上，结合基于梯度自适应插 值的思想，同时考虑了周围像素的距离和梯度对插值像素的影响，得到了较好 的图像重建效果。基于梯度自适应插值的超分辨率重建算法采用频域配准算法 进行运动估计，然后根据运动参数将多帧低分辨率图像映射到统一的高分辨率 栅格上，最后进行插值和滤波得到一帧高分辨率图像。 试验结果表明，与已有的插值超分辨率重建方案相比较，我们提出的重 建算法既能得到较好的主观视觉效果，又能得到较好的客观评价结果，尤其 是对边缘较多的图像，重建效果提高更加明显。因为基于梯度自适应插值算 法考虑了局部梯度对插值像素的影响，能更好的重建出图像的边缘信息。同 时，该算法对配准误差具有一定的鲁棒性，且计算复杂度低，适于实时应用。 1 2 l 一 一 一 j 1 3 2 超分辨率重建思想在视线跟踪系统中的应用 由于人类生活水平的提高，各种高科技家电设备也日渐普及。现有虚拟实 境系统、头配显示器或其他观赏、浏览设备也应用而生。目前，头配系统设计 者常期望能够获得有关使用者的眼球活动行为的材料，以作为整个系统架构改 进的参考。视线跟踪系统作为一种人机交互系统，已成为国内外有关学者关注 与研究的课题。眼睛图像和屏幕真实注视点之间的定标技术是视线跟踪系统中 的关键技术。定标技术直接影响到视线跟踪系统的精度。因此，如何找到更好 的定标方法也就成为视线跟踪系统研究的难点和重点。 针对已有视线跟踪系统精度较低问题，本论文提出了一种基于非均匀样本 插值的视线跟踪定标方法，该方法利用已有的定标点，通过非均匀样本插值的 超分辨率重建思想，计算出测试点的屏幕注视坐标，能够大大提高视线跟踪系 统的精度。通常采集的视频是彩色帧，先将r g b 格式转化为y u v 格式，选用y u v 格式中的y 分量进行处理。将视频中的每帧图像经过亮度变换、c a n n y 算子的边 缘提取、积分投影后，采用椭圆拟合的算法，提取出每帧图像的瞳孔中心坐标。 试验过程中，每个注视点采集1 0 0 帧图像，由于眼睛在注视点同一点时存在抖动 现象，采用中值滤波的方法去除抖动，最终确定每个注视点的瞳孔中心坐标。 将样本点的瞳孔中心坐标和屏幕真实的注视点坐标一一对应起来。由于注视点 行列坐标不相关，分别计算测试点的行列坐标。以列为例，首先在样本点中搜 索，找到列坐标最接近的三个样本点，然后按照非均匀样本插值思想，根据已 知的样本点插值出测试点的列坐标。同理，计算出测试点的行坐标。 试验结果表明，与已有的视线跟踪定标方案相比，我们提出的非均匀样 本插值定标方法，能更准确地实现视线跟踪系统的视线跟踪，而且避免了考 虑眼球物理模型和瞳孔中心和注视点的非线性关系理论难点。本发明的定标 方法简单、高效、准确度高，且该系统使用者无须配戴任何头配设备，可以 在全自然的状态下使用。 1 4 论文的结构安排 本文针对图像超分辨率重建技术及其应用进行了探讨研究，主要从问题的 1 3 山东大学硕士学位论文 1 4 介绍了一些基本理论和经典算法，并重点研究了基于自适应插 建和超分辨率思想在视线跟踪系统中的应用等问题。论文的章 论，主要介绍了超分辨率技术的研究背景、意义以及研究现状， 文的主要工作和内容安排。 从超分辨率重建技术的数学模型入手，分析了超分辨率重建技 域，并着重对超分辨率重建的经典算法进行了总结介绍。 了基于自适应插值的超分辨率重建方案，介绍了单帧自适应插 在此基础上，将单帧自适应插值算法引入到多帧超分辨率图像 出基于自适应插值算法的超分辨率图像重建方案。 了超分辨率重建思想在视线跟踪系统中的应用。针对传统的视 低，且需使用者配戴头配设备而带来的不便等缺点，提出了基 值的视线跟踪定标算法，先在屏幕上选取定标点，利用非均匀 辨率重建思想，构建出眼睛图像坐标和屏幕坐标之i 日j 的映射关 线的跟踪定位。 论文的主要内容进行了总结，并对研究方向进行了展望，提 究重点。 o 一 山东大学硕士学位论文 2 1 引言 第二章超分辨率重建技术的技术基础 为了能够在计算机平台上对图像进行处理，需要把连续的图像离散化，离 散化了的图像就是数字图像。数字图像处理技术在军事遥感、公共安全、医学 成像以及计算机视觉等多个领域得到了广泛应用，人们越来越需要高分辨率的 图像，从而获得图像中目标的更多信息。然后数字图像在采集与处理过程中， 有许多因素会导致图像分辨率的下降，其主要表现为模糊、变形和噪声。造成 模糊的因素也很多，如传感器的形状和尺寸、光学部件的性能引起的光学模糊 以及采集对象的运动带来的运动模糊。另外，在成像、传输、存储过程中，会 引入不同类型的噪声。这些都会直接影响到图像的分辨率。 提高图像分辨率最直接的方法是提高采集设备的传感器密度，然后高密度 的图像传感器如c c d 、c m o s 等，价格相对昂贵，在一般应用中难以承受；另一 方面，成像系统受其固有传感器阵列排列密度的限制，目前已接近极限。提高 分辨率的另一个方法是增加芯片尺寸，但这将导致电容增大和电荷转移速度下 降。因而一种有效提高图像分辨率的途径是采用信号处理的方法，超分辨率图 像重建技术就是其中之一。超分辨率图像重建技术是指从多幅退化的低分辨率 图像重建出一幅清晰的高分辨率图像。这种方法的优点是不涉及硬件、成本低， 而且现有的图像系统仍可以使用，是一种比较经济的方案。 本章主要介绍了超分辨率重建技术的数学模型，并对超分辨率重建技术 的可行性进行了分析，最后重点介绍了与超分辨率相关的技术领域和已有的 超分辨率的经典算法。 2 2 数学模型 为了实现对未知高分辨率图像的重建，首先需要对图像获取的退化过程进 行分析和建模。在图像的获取过程中，很多因素都会导致图像质量的下降，具 体表现为模糊、噪声和变形。图2 1 表示了一帧低分辨率图像的采集过程【4 1 。 1 5 1 6 高分辨率图像低分辨率图像 图2 2 高分辨率图像和低分辨率图像的关系 引起 从而 图2 2 清楚地表达了高分辨率图像和低分辨率图像序列之间的关系。我 们把低分辨率图像模型化为一个受噪声干扰的、高分辨率图像的下采样图 像，且此高分辨率图像是已发生偏移且被模糊的原高分辨率图像。 图2 3 低分辨率图像的成像过程 2 3 超分辨率重建的可行性分析 在介绍超分辨率重建的基本算法之前，我们将首先阐明一个基本问题：什 么是实现超分辨率的基础，即超分辨率重建的可行性分析【6 】。图2 4 ( a ) 表示一 个含有4x4 - f 像素单元的具有一定物理尺寸的c c d ，图2 4 ( b ) 表示一个具有同 样物理尺寸的但含有8 8 个像素单元的c c d 。显然，第二个c c d 可以产生较高分 辨率的图像。现在我们考虑用两个同样的4 4 像素的c c d 对同一场景进行成像。 两个c c d 排列如图2 4 ( c ) 所示，即具有整数像素的偏移，显然，这种情况下是 无法提高空间分辨率的。但是，如果按照图2 4 ( d ) 所示进行排列，即具有亚象 素的位移，则两幅图像可以提供关于同一场景的不同的额外信息，从而具有提 高分辨率的潜能力。直观上讲，每一个低分辨率观测图像代表一个原始场景的 1 7 其中磊= 0 。对五采样进行离散化，得到： 厶= f ( n t + 瓯) ( 2 3 ) 其中n = 0 ，一l ，t 为采样周期。从超分辨率技术的角度讲，即有k 个低分辨 率观测图像，每个列向量表示的图像的大小为。 1 8 对式( 2 2 ) 两边取连续傅立叶变换，利用移位特性，我们有： 一 母 其中e ) 和f 0 ) 令r 表示第k 个采样图像厶的n 点离散傅立叶变换，则 死= 篓厶e x 一2 刀考 ，= 。，一 。2 5 ， 由采样定理，五g ) 的连续傅立叶变换和其采样图像的离散傅立叶变换的关 系为： 凡= ；兰五( 寺+ 聊专) = 墨b 弦啦“屺型n ) 6 ， 丁急l 丁 r ，小 其中，= 0 一l 。 下面分析要恢复原始带限信号厂，需要多少个不同的采样周期为丁的观测 信号。由于厂带限，给定采样周期丁，我们总可以找到一个，满足当川l r 时，【缈) = 0 。 为了防止混叠，采样间隔应该满足t = 州2 l 。因而，当l = l 时，应以t 2 周期采样；当l = 2 时，采样间隔应为t 4 。 根据方程( 2 6 ) 可知，每个死，k = o ，k - 1 ，疗= o ，一l 可以由2 个e 表 示。当一固定，同样一组凡可以经不同组合产生k 个凡，k = o ，一k l 。由以上 讨论可知，我们有k n 个线性方程，其中有2 l n 个未知数。当k 2 l 时， 线性方程有解。计算得到的2 lxn 个凡用来估计f ( x ) ，工= o ，( 一i ) t 。其中 k = 0 时，采样周期为r 2 l ，即方程( 2 6 ) 中，用2 l n 代替，用r 2 代替r 。 此时，分辨率增强因子为2 l 。 上述举例及其理论证明只考虑了理想情况。在实际中还有很多问题需要考 虑。首先，低分辨率观测图像间的位移并不是精确已知。因而需要运动估计； 其次，图像间的运动更为复杂，可能不仅仅是全局运动，而是同时具有局部和 全局运动；另外，观测过程需要考虑模糊、噪声和下采样等因素。同时，在压 缩情况下，观测数据是压缩比特流，那么还需要考虑如何利用运动矢量、量化 步长等进行超分辨率。 1 9 山东大学硕士学位论文 2 4 超分辨率相关的技术领域 整个超分辨率重建技术的研究领域主要涉及以下三个部分：图像配准( 运 动估计) 、模糊函数( 降晰函数) 辨识和图像复原，如图2 5 所示。 r、 厂、 厂、 斗 _ 配准 模糊函数 复原算法 斗 或 辨识 斗运动估计 斗 图2 5 超分辨率重建技术的研究领域 在这三个部分中，图像配准或者运动参数估计是图像超分辨率重建中的一 项重要工作，其为低分辨率图像像素内插到高分辨率栅格的对应位置提供必要 的位移信息，直接关系到重建图像质量的好坏。它