（计算机应用技术专业论文）基于渐进链式模型的三维人脸超分辨率算法研究.pdf

浙江人学顺1 学位论史摘要 摘要 随着计算机性能与网络传输能力的不断发展，人们在享受多媒体所带来的便 利与乐趣的同时，正逐渐提升对多媒体数据的品质要求。超分辨率 ( s u p e r r e s o l u t i o n ) 技术征是针对图像、视频等多媒体形式，通过挖掘和融合多帧 输入数据所包含的信息，或把基于学习过程所获得的先验知识补充到单帧输入数 据上等方法，束达到增加细节信息、提高清晰程度的效果，从而实现对输入数据 的品质提升。 然而，目前超分辨率方法集中于二维域上的数据形式，极少有面向三维几何 模型的方法。三维几何模型已成为一种重要的多媒体数据形式，因此解决三维几 何模型的超分辨率问题，从完善理论和推广应用的角度都具有重要的意义。 本文从研究和比较已有的二维超分辨率算法入手，在分橱超分辨率本质问题 的基础j ! 二，给出了三维几何模型超分辨率问题的定义；进而提出了基于学习的三 维几何模型的超分辨率算法框架；并搭建了实验平台f t k ( f a c et o o l k i t ) ，通过在 二三维人脸模型t 的应用，证明了框架的可行性和算法的有效性。主要工作包括： 1 提出了基于学习的三维几何模型超分谫率算法框架； 2 提出了三维几何数据的渐进分辨率链式模型，建立了表征不同分辨率模 型之间内在联系的有效工具； 3 通过分析三维j l 何模型与二维图像的数据表示形式之间的联系，借助曲 面映射方法，提出了基于本质参数化的两阶段映射方法，把三维超分辨 率这个三维域上的问题转化到二维平面域上； 4 借助渐进分辨率链式模型，提出了基于主元分析的j 维超分浃率算法， 给出了具体的求解过程。 本毕业论文研究得到以下资助：国家自然科学基金( 6 0 5 0 3 0 1 9 ) ，因家杰出青 年基金( 6 0 5 2 5 2 0 2 ) ，以及教育部“跨世纪”优秀人才计划( n c e t 0 4 - 0 5 4 5 ) 。 关键词：三维超分辨率，兰维数字几何处理，二维人脸识别 浙江大学缺卜学位论文a b s t r a c 【 a b s t r a c t a st h er a p i dd e v e l o p m e n to fc o m p u t a t i o n a la n dn e t w o r kt r a n s p o r t i n gc a p a b i l i t y ， p e o p l ea l er a i s i n gt h e i rr e q u i r e m e n tt ot h eq u a l i t yo f m u l t i m e d i ad a m ，t h et e c h n i q u e o fs u p e r - r e s o l u t i o na l m sa ti m p r o v i n gt h eq u a l i t yo ft h em u l t i m e d i ad a t as u c ha s i m a g e sa n dv i d e o s i tc o u l di n c r e a s ed e t a i l so rr e m o v eb l u re f f e c tb ye x t r a c t i n ga n d f u s i n gt h ei n f o r m a t i o no ft h em u l t i - f r a m ei n p u t so rb yc o m p e n s a t i n gl e a r n e dp r i o r i k n o w l e d g et ot h es i n g l ei n p u td a t a h o w e v e r ，t h ee x i s t i n gs u p e r - r e s o l u t i o nm e t h o d sf o c u so nt h ed a t ao f2 dd o m a i n ， w h i l et h ea l g o r i t h m sf o r3 dm o d e l sa l el i t t l ea d d r e s s e d s i n c e3 dm o d e l sh a v e b e c o m ea ni m p o r t a n td a t af o r mo fm u l t i m e d i a ，3 ds u p e r - r e s o l u t i o np r o b l e mi so f g r e a ts i g n i f i c a n c ef o rb o t ht h e o r ya n dp r a c t i c a la p p l i c a t i o n 。 i nt h i st h e s i sw es t a r tw i t ht h es u r v e ya n dc o m p a r i s o na m o n gt h ee x i s t i n g2 d s u p e r r e s o l u t i o na p p r o a c h e s t h e n ，w eg i v et h ed e f i n i t i o no f t h e3 ds u p e r r e s o l u t i o n p r o b l e m ，a n dp r o p o s eal e a r n i n gb a s e ds u p e r - r e s o l u t i o nf r a m e w o r kf o r3 dm o d e l s t h ee x p e r i m e n to nu s fh u m a n i d3 df a c ed a t a b a s ed e m o n s t r a t e st h ef e a s i b i l i t yo f t h e p r o p o s e df r a m e w o r ka n d t h ee f f e c t i v e n e s so fo u r a l g o r i t h m t h em a i n c o n t r i b u t i o n so f t h i st h e s i sa r ea sf o l l o w s ： 1 w ee s t a b l i s hal e a r n i n gb a s e ds u p e r r e s o l u t i o nf r a m e w o r kf o r3 dm o d e l s 2 w ep r o p o s et h ep r o g r e s s i v e r e s o l u t i o n c h a i n ( p r c ) m o d e l ，w h i c hc o n n e c t s t h e3 dm o d e l so f d i f f e r e n tr e s o l u t i o nu s i n gt h e i ri n 锰- i n s i cr e l a t i o n s h i p 3 at w o s t a g em a p p i n gu s i n gt h ei n t r i n s i cp a r a m e t e r i z a t i o ni se s t a b l i s h e d ，b y w h i c ht h e3 ds u p e r - r e s o l u t i o np r o b l e mi st r a n s f o r m e di n t ot h eo n eo f2 d d o m a i n 4 b a s e do nt h ep r cm o d e l ，w ep r o p o s et h ep c ab a s e d3 ds u p e r r e s o l u t i o n a l g o r i t h m ，a n dg i v et h ew h o l es o l u t i o nt ot h ep r o b l e m k e y w o r d s ：3 ds u p e r r e s o l u t i o n ，d i g i t a lg e o m e t r yp r o c e s s i n g ，3 dh u m a nf a c e r e c o g n i t i o n 1 l 浙江人学硕t 。学位论史 第1 帝绪论 第1 章绪论 上世纪后期，人类文明进入了信息时代。随着多媒体和互联网的出现和广泛 应用，人类的生活从此发生了巨大的改变，一时之间“海量”这个词被纷纷使用， 以毫不夸张的描述当时数据爆炸的情形。在计算能力、存储能力、传输能力还相 对有限的情况下，数据压缩、特别是多媒体数据的压缩便被广泛的研究与应用， 以节省存储空间、减少传输时间、满足实时应用的需要。最具代表性的标志就是 各种视频编码标准和硬件解码器的诞生。多媒体数据的压缩通常是信息有损的压 缩，其代价是媒体内容的品质损失。 随着技术的发展，计算能力、存储能力、传输能力的显著提升，人们对品质 的要求也相应提高，从高清晰数字电视( h d t v ) 的出现卜便可见斑。与以往技 术革命的情形相似，新的需求往往会开辟新的研究领域或提出新的研究课题，于 是在本世纪初期兴起了针对数字媒体的超分辨率技术。与数据压缩相对应，超分 辨率是指从低品质数据经过计算而获得相对高品质数据的过程。在现实生活中的 各个领域，超分辨率技术有着诸多的应用需求，因此在最近的五年内受到了，。泛 的关注。 与此同时，强大的计算能力推动了计算机图形学的迅速发展，对三维模型数 据的处理性能已经渐渐能够满足实时应用的需要，于是三维几何也自然而然的成 为了继声音、图像和视频之后又一新的主流数据媒体形式开始进入人们的视线。 然而这一新的媒体形式无论从表示形式还是展示方法卜，都与传统的媒体形式有 着较大的区别，同时其应用领域也相对有限。到强前为止，针对二维媒体数据舱 超分辨率技术已经被广泛的讨论和研究，而针对三维模型的超分辨率按术却仅仅 处于起步阶段。 本文对二维数字图像和二三维网格模型的超分辨率技术进行了初步的探讨，提 f _ _ 了一个针对三维网格模翟的超分辨率算法框架并通过其在三维人脸模型上的 应用来证明其有效性。 浙江大学钡j 岸位论文 1 1 超分辨率的定义 超分辨率( s u p e r r e s o l u t i o n ) ，是指在相同的数据表示形式下，根据已有的具 有较低分辨率、或包含较少有效信息的输入，得到具有较高分辨率、包含较多有 效信息、更加接近真实目标的输出的过程。这里有几点需要说明： a ) 相同的数据表示形式：不同的数据表示形式可能具有表达能力j ：的 差别，比如把矢量图像中的条线段表示成点阵图像中的个点列， 虽然数据量可能有所增加，但其表达的信息量反而少了，因此这不 是超分辨率的过程。超分辨率问题所针对的数据，通常是按照某种 拓扑结构排列的离散的元数据的集合。每一个元数据都具有相同的 表达能力，因此更高的分辨率意味着包含更多的元数据，往往就能 表达更多的信息，但也不尽然。 b ) 分辨率和有效信息：分辨率的高低往往关系着有效信息的多少，而 并不仅仅是元数据的数量。举个简单的例子，一幅被马赛克风格 化后的位图，尽管像素的数量可以不变，但其包含的有效信息却变 少了。把这样的一幅位图恢复成原样或接近原来的样子，是超分辨 率的过程。 c ) 接近真实目标：把真实目标用较低分辨率数据来表达，往往是个 不可逆的信息有损压缩过程。如果仅根据有限的低分辨率数据，通 过超分辨率过程来恢复获得完整的真实目标，这是一个理论 ：刁i 可 解的问题。但要求超分辨率的结果尽量接近真实目标，则具有实际 意义和应用价值。这也是超分辨率算法的重要评价指标和难点所在。 1 2 超分辨率的典型应用 在现实生活中遇到的很多问题，都可以借助超分辨率技术来帮助解决。典型 的问题包括： a ) 由_ 】= ； 镜头或感光元件的限制，只能拍摄到系列分辨率较低的图像。 是否可以据此得到一幅分辨率较高的图像? b ) 资料库中只有段很久以前、分辨率较低的视频记录，能甭据此复 2 浙y 工人掌坝1 学位论文 第1 章绪i = = 原出一幅比较清晰的当时的场景图像? c ) 天文爱好者拍摄到几张天空中的不明飞行物，但由于距离太远，每 一张中的目标都不是1 分清楚，能否据此合成出一张比较清楚的匕 行物原貌? d ) 网络即时消息上的头像足个尺寸较小的位图，能否日j 以得到张 清晰的、尺寸较大的位图? e ) 安全系统的实时监控摄像中拍到了可疑人的一张脸，但由于运动原 因图像有些模糊能否复原出可疑人的较清晰的脸部图像? j 1 ) 恐怖分子发来了恐吓视频，但他们把视频中自己的面部做了马赛觅 处理，能否据此尽量恢复出恐怖分子的原貌? 不难看出，以上几种情况中的前三种( a 、b 、c ) 和后面三种( d 、e 、f ) 分别属于 不同的两大类问题： 【 输入为多帧低分辨率图像，输出为尊帧或多帧高分辨率图像。岍j 图像的含义未知，因此所有信息全部从输入的图像序列中获得。 i i 输入为单帧低分辨率图像，输出为单帧高分辨率图像。但已知图像 的含义，因此输入的图像提供r 一部分信息，另部分信息以先验知 识的形式，从具有相同含义的包含大量图像样本的训练集中得到。 针对以上两类不同问题的超分辨率算法分别是基于重建的方法和基于学习 的方法。我们将在下一节进行具体阐述。 1 3 二维图像超分辨率的研究现状 1 3 1 基于应用的分类 在现实应用中，二维图像超分辨率问题通常归结为两种类型。 1 )一种是针对仅有小尺寸图像的情况，为了得到更好的表达效果，我们需 要对陶像尺寸进行放大，时还要避免或减小由此带米的模糊效果。 个典型的例子是在w e b 浏览时，为了在有限的网络传输能力卜_ 提高页 面的可理解性和友好性，作者经常只把图像的缩略效果放到页曲上。而 我们有时想依据这仅有的资源来进行些展示和说明，于是就提出了上 浙江人学硕卜学位论文 述的超分辨率需求。针对这一类问题，已有的经效方法包括基于树型算 法 a t k i n s 9 9 】、基于l e v e l s e t 的i m o r s e o l 】、基于隐马尔司夫模型的 f r e e m a n 0 2 以及基于邻域嵌入法的【c h a j l 9 0 4 等。 2 ) 另+ 类情况是，我们已经拥有一系列质量著不高的图像，我们希颦通过 它们得到具有更多细节或更加清晰的图像。针对这类问题，最常用的方 法是基j 二贝叶斯框架的方法，如 c h e e s e m a n 9 4 】、 s m e l y a n s k i y 0 0 】和 【s u n 0 3 等。特别的，【s h i m i z u 0 4 j 丕给出了针对扭曲过的图像的重建超分 辨率算法。 1 3 2 基于算法的分类 从解决问题的途径来看，二维图像的超分辨率算法主要有两类：基于重建的 方法和基于学习的方法。 1 ) 基于重建的方法是指所有的可用信息都从输入数据中得到，没有任何附 加的背景知识。这类问题类似于上一小节中的第二类问题，整个解决过 程相当于一个信息提取和信息融合的问题，典型的方法有 c h e e s e m a n 9 4 、【e l a d 9 7 、 s m e l y a n s k i y 0 0 和 e l a d 0 1 。然而， b a k e d ) 1 、 【b a k e r 0 2 和 l i n 0 4 分别阐述了基于重建的超分辨率算法的局限性，即随 蔫放大系数的增加，需要提供的输入图像样本数量急剧增加；直到达到 放火系数的卜限后，无论增加多少输入图像样本，都无法再改善重建结 果。 2 ) 基于学习的方法似乎更适合于肇帧输入图像的情况，正如上节中讨论 的第4 种问题。基于学习的方法从大量的训练样本集中获取先验知识作 为超分辨率的依据。训练样本都是与输入图像包含列类信息的图像，以 输入图像为依据，用学习过程中获得的知识对输入图像中的信息进行补 充，典型的方法有 a t k i n s 9 9 和 f r e e m a n 0 2 】。基r 学习的方法特别适用 于具有固定特征的模型，比如人脸模型，由于不同的人脸具有基本相剐 的全局特征，只是细节上存在个体差异，因此较适合于采用基于学列的 方法，女t l b a k e r 0 0 、【b a k e r o l 】、【b a k e r 0 2 和 l i u 0 1 】。 4 第毋绪睦 1 4 三维超分辨率问题 相对r 二维图像，三维几何模型的超分辨率是个新问题。因为三维几何模 型的表示形式的特殊性使已有的各种二维域l 的超分辨率方法根难直接应用在 兰维模型数据上。为了寻找新问题的解决方案一种很自然的思路是探求这个新 问题向某个或某螳已解决的问题转化的途径，并通过按已知的方法解决转化后的 问题来实现对新问题的彻底解决。 l 司日j ，三维几何模型的表示形式与传统的二维数字图像有较人的区别，二维 几何模型的分辨率也与具体的表示形式密切相关。因此本甫我们从研究三维几何 数据的表示形式入手，并针对其中虽具代表性的三角形嗍格提出相应的二维域上 的分辨率定义以及超分辨率问题。 1 4 1 三维几何数据的表示形式 存计算机图形学中，三维几何模型丰要由两部分信息组成：几何形状年u 外观 属性。 描述物体几何形状的方法有很多种，如体素表示法( v o x c l ) 、c s g 树表示法 以及边界表示法等等。而在计算机视觉领域，我们往往只关注三维几何模型的边 界信息，吲为三维几何模型的视觉效果主受由其边界决定。这里我们重点考察三 维几何模型的边界表示法。边界表示法有隐函数曲面、参数曲丽、细分曲面、r 多 边形嘲格( m e s h ) h 点几何表示等。 几何模型的外观属性描述了物体表面上入射光线和出射) 匕线2 问的相互作 川关系，是物体本身固有的一种物蹦l 性质。在计算机中通常用4 蝗直观的属性来 描述这种相互作用关系所产生的视觉效果，如颜色( c o l o r ) 、光泽度( s h i n i n e s s ) 和 透明度( t r a n s p a r e n c y ) 等等。外观属性结合儿何彤状，可以完伞确定在指定环境巾 几何模型的视觉效果。然而对于具自1 分复杂的外观属性的几何模型米蜕，对外 观的表达和抽象变得十分困难，i 一日1 j 采用通用的方法柬进行绘制和渲染彳辛彳丰效率 很低。为此人们提出了多种复杂的外观表示方法，如取向反射函数( b r d f ： b i _ d i r e c t i o n a lr e f l e c t i o nd i s t r i b u t i o nf u n c t i o n ) 、纹理映射( t e x t u r em a p p i n g ) 、叫凸 纹理映射( b u m pt e x t u r em a p p i n g ) , 租l向纹理函数( h i f ：b i d i r e c t i o n a lt e x t u r e 纹理映射( b u m pt e x t u r em a p p i n g ) 和双阳纹理函数( b t f ：b i d i r e c t i o n a l t e x t u r e 浙江人掌颂i 学位沦文 笫l 爷绪论 1 4 三维超分辨率问题 相对丁 二维图像，三维几何模型的超分辨率是个新问题，因为三维几何模 型的表示形式的特殊性使已有的各种二维域巴的超分辨率方法很难直接应用在 三维模型数据上。为了寻找新问题的解决方案，一种很自然的思路是探求这个新 i u j 题向某个或某些已解决的问题转化的途径，并通过按已知的方法解决转化后的 问题来实现对新问题的彻底解决。 同时，三维几何模型的表示形式与传统的二二维数字图像有较大的区别一二维 几何模型的分辨率也与具体的表示形式密切相关。因此本节我们从研究三维几何 数据的表示形式入手，并针对其中最具代表性的三角形网格提出相应的三维域上 的分辨率定义以及超分辨率问题。 1 4 1 三维几何数据的表示形式 在计算机图形学中，三维几何模型丰要由两部分信息组成：几何形状和外观 属性。 描述物体几何形状的方法有很多种，如体素表示法( v o x e l ) 、c s g 树表示法 以及边界表示法等等。而在计算机视觉领域，我们往往只关注三维几何模型的边 界信息，因为三维几何模型的视觉效果主要由箕边界决定。这里我们重点考察三 维几何模型的边界表示法。边界表示法有隐函数曲面、参数曲面、细分曲面、多 边形网格( m e s h ) 年d 点几何表示等。 几何模型的外观属性描述了物体表面上入射光线和出射光线之间的相互作 用关系，是物体本身固有的一种物理性质。在计算机中通常用4 些直观的属性来 描述这种相互作用关系所产生的视觉效果，如颜色( c o l o r ) 、光泽度( s h i n i n e s s ) 和 透明度( t r a n s p a r e n c y ) 等等。外观属性结合几何形状，可以完全确定在指定环境中 几何模型的视觉效果。然而对于具有十分复杂的外观属性的几何模型来说，对外 观的表达和抽象变得十分困难，同时采用通用的方法来进行绘制和渲染往往效率 很低。为此人们提出了多种复杂的外观表示方法，如双向反射函数( b r d f ： b i d i r e c t i o n a lr e f l e c t i o nd i s t r i b u t i o nf u n c t i o n ) 、纹理映射( t e x t u r em a p p i n g ) 、凹凸 纹理映射( b u m pt e x t u r em a p p i n g ) 稠2 向纹理函数( b t f ：b i - d i r e c t i o n a lt e x t u r e 浙汀人学顾上学位论文 f u n c t i o n ) 等。 从三维计算机图形学发展的初期开始，多边形网格就是最通用的表示物体形 状的方法，因为其具有以下优点： a ) 多边形形状简单，便于计算和处理 b ) 任意物体的表面曲面可由多边形集合以任意精度逼近 c ) 多边形网格可以表示拓扑非常复杂的物体 d ) 物体表面曲面的形状和外观属性完全由各多边形顶点的位置、属性 及相互间的拓扑关系所确定。物体表面上顶点以外的位置的属性可 由所在多边形的顶点的信息插值得到，这使得对多边形网格的绘制 可采用硬件加速技术来实现。 多边形网格模型可以由各种商用动两软件如a l i a s ，w a v e f r o n t ，s o f t i m a g e ， m a y a 和3 d m a x 生成，或者通过三维激光扫描仪在物体表面测得一系列离散点 后由表面重构算法生成，或者由曲面模型离散缳到。多边形网格模型中最常用的 是三角形网格表示法，任意多边形可以很方便地被剖分为三角形集合，而三角形 的顶点所固有的共面性免去了对多边形顶点共面性的检验。 综合以上讨论，我们选择三角形网格表示的三维几何模型来作为研究对象， 以展开对三维几何数据的超分辨率问题的讨泛。 1 4 2 三角形网格的分辨率 传统的二维位图图像具有简单的逻辑构成：像素作为元数据，元数据问的拓 扑结构表现在图像中是由m 行”列像素构成的二维阵列。我们通常用m x 来表 示一幅位图的分辨率。 三维几何模型的边界表示法中的三角形网格，其元数据为三角形的顶点，i 角形网格中顶点之间的连接关系构成了元数据间的拓扑结构。关于三角形网格的 规范的形式化定义，我们将在下一章中详细给出。二三角形网格的个重要性质， 就是可以通过三角形的无限细分来任意精确的逼近目标啦面。由此我们不难给出 衡量三角形网格分辨率的指标：假设三角形网格的顶点集合三角形集合f ， l 和| 用分别是顶点数g u 兰- _ - 角形数，那么该三角肜网格一定可以通过下述两种操作 中的某一种转化为顶点数和二三角形面片数更少的三角形网格 6 浙江大学硕 _ 学位论文 第【章绪论 ( b ) 例i 1 三角形喇格的两种简化操作：( a ) 1 年川2 ：( b ) v ii 和| f 卜1 如图1 1 所示，带有边界的任意三角形网格可以通过两种简化操作的交替迭 代最终简化为个三角形，即y i = 3 和t f i = l 的状态，而每一步简化操作分别对应 l v l l 和i 用一2 或者l 明一1 和旧一l 。由归纳法我们不难得出，符合流形约束的连通三 角形网格的顶点数与三角形数之间存在如下关系： v i 一2 lf | 2 l vl 一5 因此我们可以只选取三角形数旧来作为二- = ：二危形网格分辨率的一个衡量指标。 从而提出三维网格的超分辨率问题： 三维网格超分辨率问题：根据给定的具有顶点数矿，三角形数一 的网格砰，计算出包含更多顶点数和三角形数一的网格，使 在f c 4 可# l - 形上更加接近 一所表示的原始几何模型的问题，称为三维 网格的超分辨率问题。 7 沲江大学坝 j 学位沦文笫l 章维论 1 4 3 与二维超分辨率的关系 经过前面的讨论，现在我们来考虑将j 角形网格的超分辨率问题向- 维图像 超分辨率问题的转化的可行性。为此，我们首先按照三角形网格表示形式的模式 来重新审视二维位图的构成。 二维位图的每一个像素可以作为一个顶点，顶点的位置属性不足其存物理世 界的实际坐标，而是像素所在行和列的整数逻辑嫩标( i j ) ：顶点的外观属性就是 像素的自身属性，通常为数值或数值向量表示的颜色值。顶点之间的拓扑结构表 现为网格上顶点之间的连接关系，二维阵列中具有连接关系n 的顶点n ( f ，j ，) 和 v 2 ( i e j 2 ) 满足关系： 州j “霸：。或镰稿 但此时网格内的多边形都是正方形，我们通过增加如下连接关系使网格转化 为三角形嘲格： 4 ( k ，屹) jj ( _ ，) 或i i ：= ，。一，：= 1 此时我们已经得到了一个用二i 角形网格表示法表示的二维位图了，唯一特别 之处在于这是一个平面内的、规则采样的网格。这为我们提出了一条解决三角形 网格超分辨率问题的思路： 1 ) 首先建立原始模型表面曲面，与这样一个平面内的、规则采样的网 格之间的对应关系 2 1 借助已有的或改进的二维域上i 的超分辨率技术进行求解 3 1 按照对应关系还原成高分辨率的三维模型表面曲面 那么是否所有的三维模型表面都能与平c 6 j 网格模型建立起这样的对应关系 呢? 回答是否定的。因此我们只着重研究符合二维流形约束的有边界的连通的二三 角形网格表示的三维j l 何模型。所谓流形，是指具有局部欧氏特性的拓扑空间。 j ，维流形曲嘶，是指曲面内任何一一点，都存在一个邻域，这个邻域与一维平面上 的单位圆面是同态的。于足符合二：维流形约束的有边界的连通的三角形网格，都 l q 以分段连续的映射到平面三角形网格上。通过这样的映射，我们把三维几何模 型的超分辨率问题转化到：维域卜来处理。 8 浙江人学硕士学位论文第i 尊结论 1 5 基于多帧输入的重建算法的局限性 从空域的角度看，基于多帧输入的重建相当于个有损压缩的求逆过程。从 频域的角度看，基于多帧输入的重建相当于一个高频信号的融合过程。典璎的重 建算法流程如下： 多帧输入图 像的配准 确定分辨率损失模型 ( 模糊、低采样率等) 建立约束系 统并求解 但基于重建的算法有很大的局限性，主要表现在以f j l 个方面： a ) 需要确定分辨率损失的模型，在分辨率损失的原因未知的情况卜， 比较难以建立约束系统进行求解： b ) 所有信息均由输入图像提供，因此分辨率提高的倍数肼与输入低分 辨率图像的数量i 之间存在一定的依赖关系。根据 b a k e r 0 2 j 和 l i n 0 4 中的分析，随着吖的增加，m 需要随之迅速增大，而当们 超过一定数值( 依赖于分辨率损失模型) 后，j 无论怎样增大都无法 提高重建的品质； c ) 随着m 的增长，所建立的约束系统的解宅间迅速膨胀，为了求得噪 声较小或更接近真实目标的解，依然需要提供先验知识。 而对于三维儿何模型的超分辨率问题，如果我们采用映射到二维平面域来求 解的途径，那么依然有如下眄个因素限制基于重建方法的性能： a ) 三角形网格的压缩过程往往是| 1 分复杂的，基于此模型建立的约束 系统具有难以想象的复杂度，基本不可解； b ) l 自于存在三维几何模型表面曲面到二维平面的映射，那么在二维域 内规则采样的信息，在原始模型表面上却未必是规则的，这限制了 频域方法的应用。 本文暂不讨论针对三维几何模型的基于重建的超分辨率技术，而集t p 研究并 提出种基于学习的超分辨率算法框架。 9 浙江夫学硕l 学位论文 第1 审绪论 1 6 本文工作 本文从分析：维图像的超分辨率问题、比较已有的二维超分辨率算法入手， 总结了超分辨率的本质问题，并根据多媒体数据形式发展的需要，将二维超分辨 率问题推广到三维网格域上，定义了三维j l 何模型的超分辨率问题。 通过分析= i 维超分辨率问题与二维域情况之间的联系，本文寻找出一种将= 维问题转化为二维问题的途径，并调整已有的二维域上的方法对转化后的问题进 行求解，进而给出一个完整的统一的三维几何模型超分辨率算法框架。最后通过 该框架在三维人脸模型上的应用，证明算法框架的有效性。 在随后的第2 章，我们将给出基于学习的三维几何模型超分辨率的算法框 架，明确问题的解决流程。框架中的关键问题和解决方法，将分别在后续章节进 行详细阐明。其中第3 章主要介绍网格的渐进分辨率链式模型及其构造算法；第 4 章主要介绍三维几何模型表征空间的建立过程，包括基于f a s t m a r c h i n g 的曲面 分割算法以及基于本质参数化的两阶段映射算法；第5 章进行实验结果的分析： 第6 章对本文工作以及三维超分辨率问题的前景进行讨论和展攀。 0 浙江人学颂l 学位论文 第2 章基于学习的二维几何模型趔分辫率框架 第2 章基于学习的三维几何模型超分瓣率框架 通过第1 章1 4 节的讨论，我们已经形成了一种解决三维几何模型超分辨率 问题的思路。在问题解决的过程中，我们或通过选择、转化和改进已有算法，或 提出新模型、构造新方法，来对每一个关键的子问题提出相应的解决方案，进瓶 构成一整套完整的方法。本章提出了基于学习的三维几何模型超分辨率的算法框 架，从宏观上介绍问题解决的流程。其中，框架中的几个关键子问题，包括渐进 分辨率链式模型、三维几何模型表征空间的建立、以及基于主元分析的超分辨率 算法，将在后续章节依次详细阐述。 2 1 基本定义 2 1 1 三角形网格 具有小个点的三角形网格模型m 表不为三兀组： m = ( ，k 。，匕) 其中是肘的顶点集合： = v 1 ，v2 ，v ，l v ，r 3 k u 是个表示m 拓扑关系的复杂的集合，其中包含三种类型的非空子集用 来表示m 中的几何元素：顶点 f ) ，边p = 0 ) 和面户 i d ，q 。如果 j 力k m ，则 项点 i 和价被称为邻居。顶点 f 的1 环邻居被定义为j ( f ) = ，悖，力k 。 ，顶 点 i 的度被定义为( ) 中元素的个数iu i ) l ，边p = i j ) 的1 环邻居被定义为 j v ( p ) = n ( i ) u n ( j ) 一 f ，d 。依此类推，设共享顶点 f ) 的所有二三角形集合为 7 _ ( f ) = f l i f 厂k 。 ，则，( p ) = t ( i ) u7 u ) 。顶点 f 的星形邻域被定义为 s t a r ( i ) = u j 。“，s ，s t a r ( p ) = s t a r ( i ) u s t a r ( j ) 。 j p m 为m 中所有顶点的属性向量集合： = 矽( 圳f e 浙江大学硕【1 学位论文 第2 章犟于学习的二蛑几何模犁超分辨率框架 其中臼( ，) = ( i ) ，j 2 ( i ) ，l ( f ) ) 表示顶点 j 的n 个褐性值，包括法向量和颜 色等。 确定了m 的位置信息，k u 确定了m 的拓扑关系，因此和k m 可以完 全确定m 的几何信息，我们把这个过程形式化如f 。首先构造拓扑关系集合k m 在空间r “上的实现，用r ”上的标准正交基集合 e 。，e ：，e 。 来表示顶点元素集 1 ，2 ，m ) ，于是我们得到了空洲r i ：的+ 个网格，该网格与m 具有完全相同 的拓扑结构，只是顶点的位置不同。于是我们定义映射a = r ”斗r 3 为把第i 个标准正交基向量岛映射到第f 个顶点的空间坐标v r 3 上的分段线性映射。同 时对于拓扑关系集合酶f 中的每个几何元素5 ，我们用表示s 的凸包，并定义 l k 。i = u 。h 。因此九，0 j i ) 构成了m 所表示的网格表面。当屯，为一对。的 映射时，对于叽如oj ) 上的任意点p ，我们可以找到其在空间r 中的原像点b ， 那么b 一定是空问r “中至多三个标准【e 交基的凸组合：当1 在三角面片内n , l 是 三个；当p 在边上时是两个：当p 在顶点处时为一个。我们称b 为点p 的重心 参数坐标。 2 1 , 2 平面参数化的元映射 p j + p 图21 三维二角形喇格f 商参数化的元映射 1 2 浙江大学硕卜学位论文鬻2 幸蝽t 学习的二维几何模型超分辨率框架 如图2 1 所示的是i 维三角形网格平面参数化的元映射操作。元映射是指顺 点 f 的星形邻域肋一) 向平面区域的映射。p 、p l p j 和p j + 跫i 维三角形网格 m 的顶点 f ) 、u 一1 ) 、 ， 和o _ p 1 ) 所对应的空间点，相应的空间坐标为l i 、x j - 1 、 和x j + l 。e 、p j i + 、p j + 和p j + l 。则是p i 、p j _ 1 、p j 和p j + l 所对应的平面参数域l 的点， 相应的平面参数域坐标为u i 、u j mu j 和u j + l 。 2 2 三维几何模型超分辨率框架 2 2 1 渐进分辨率的链式棱型 当给定一个低分辨率的三维几何模型的网格，要求恢复出一个高分辨率的网 格时，我们往往要采取基于学习的方法。但其主要困难在于： 1 1 单一网格提供的信息原本就有限，而其中很大一部分信息是隐式的， 难以真接提取并加以抽缀； 2 ) 输入网格与训练集中的样本嘲格在分辨率上存在较大差异，难以进 行共同分析； 3 ) 难以赢接找到单一低分辨率阙格与其商分辨率形式之间的联系。 沿着分辨率从低到高的方向我们感到寸步难行，但沿蔫相反的方向有一些现 象是十分重要的，却由于它们过于显然而被我们忽视或被认为没有价值。其中就 包括如卜_ 假设： 可重复性假设 b a k e r 0 2 ：对于给定的低分辨率网格肘，如果m 是由高分辨率网格m ”经过某种分辨率损失的过程d ( ，) 得到的，即 d ”) = m7 ，那么对于我们计算出的高分辨率网格m ”，也应当有 d ”) 兰m 。 一般而言，可重复性假设中的分辨率损失过程d ( ) 是末知的。向即便d ( ，) 已 知，我们也很难通过m ”= d 一) 的方式计算出m ”，因为在绝大多数情况 下，d 1 ( ) 的求解是不可计算的。 t 3 浙江大学颤i 学位论文 第2 辛肇于学爿的三维儿何摸型超分辨率框梨 根据以e 分析，我们基于可重复性假设，提出三维网格的渐进分辨率链式模 型。渐进分辨率链式模型理论由以下几部分构成： 1 ) d ( - ) 的离散化：分辨率损失过程d ( ) 是由若_ f i _ 1 次元操作d 1 ( ) 迭代实 现的，我们汜为 f d o 似) = m l d ”1 ) = d j ”) ) ，胛2 0 2 ) 渐进链：对于任意给定的高分辨率网格m “，我们通过分辨率损失 元操作d 1 ) 的迭代，可以得到分辨率逐渐降低的网格构成的序列 d 。( m l d l ( m l d 2 ( m l ，d ”( m ) 我们称之为渐进链 3 ) m 的可定位性：在由m 所对应的高分辨率网格m ”起始的渐进链 d o ”ld 】”l d 2 “卜，d ”) 中，一定存在o k 月，使得d f m ”1 兰m ， 4 ) 渐进链的一致性：如果有d l “) 兰m ，则 ( d o 池。ld 1 。l 1 ，d ”似7 ) ) 兰( d 8 l “似”1 d 8 似“) ) 通过渐进分辨率链式模型，我们建立了连接高分辨率网格与低分辨率网格的 个纽带，不仅r 叮以通过将不同分辨率的网格定位到渐进链的不同位置来建立起 相互之问的联系，也可通过以低分辨率网格m 1 起始的渐进链片断将m 。巾更多 的隐式信息暴露出来。 本文中我们基于 h o p p e 9 6 提出的基于边退化的渐进网格算法，通过调整和 改进已有算法建立起三角形网格的渐进分辨率链式模型，从而为基于学习的二维 网格超分辨率算法提供了有力的工具。 2 2 2 三维网格袭征空问的建立 基j 二学习的疗法往往需要大量的数据进行训练，而训练集中的数据所包含的 有用知识又通常是隐性的复杂关联的特征。对于判别或分类等问题，训练集中需 浙江人学硕 j 学位论文第2 章基于学习的三维几何模型超分辨率梃架 要包含大量的同类数据和负例样本，主要提取类内的共性与类间的差异。而我们 所讨论的基于学习的超分辨率【_ j 题，则卡要提取某种高频信息与低频信息之间的 相关性知识，训练集由大量的同类样本构成。 直观一些讲，通过学习所获得的知识，就相当于我们所称作的规律。然而规 律有复杂程度的不同，也有表现形式的不同。以三维人脸模型为例，我们人类通 过自身的观察也许会发现人的相貌特 ：【 ! 中存在的某些规律，比如鼻粱高的人往往 脸形狭长，或者鼻子宽的人多数嘴唇较厚等等。这些虽然可能称得上是规律，但 所覆盖的知识不完全，同时表达形式的有效性较差，因此根据这些零零散敖的信 息足无法完成超分辨率过程的。 我们首先建立三维几何模型的统一表征空间，再进行空间分析。空问分析是 一种有效的学习手段，但我们在建立统一的表征空间之前，必须建立起几何模型 表面之间的对应关系。以人脸模型为例，我们需要建立起眼睛与眼睛、鼻子t i j 鼻 子、嘴唇与嘴唇等对应区域间的对应关系。 三角形网格的平面参数化方法可以将三角形网格映射到平面区域，我们采用 基于f a s tm a r c h i n g 的曲面区域分割算法，建立起募于本质参数化的两阶段映射， 将三角形网格之间的对应关系建立起来。 2 2 3 基于主元分析的训练和超分辨率过程 在基于学习的方法中，对于学习得到的知识的利用呵以有多种途径。 b a k e r 0 0 提出了类似于金字塔模型的p s 结构，对于二维图像上每一个象素点进 行独立的基于知识的信息获取，由此产生一个在商分辨率空问内的约束系统，最 后通过迭代法求解这样个非线性系统而得到恢复后的高分辨率图像。这个过程 在低频部分没有样本之间的相互关联，更像是 个知识的纵向利用过程；而只往 高频空间内产生约束，由于忽略了低频部分样本之问的相互联系，难免造成噪声。 我们受至1 w a n 9 0 5 的启发，基于渐进分辨率的链式模型，通过空间j 蔓元分析 的方法，建立起各个分辨率级别i ：所有样本的特征空间，从而构成了一个网状的 知识传递结构：单个样本的信息通过渐进链模型纵向传递，样本之间的特征分却 通过特定分辨率级别所对应的特征空间提供。这样训练过程可以充分提取样本中 蕴含的知识，同时在超分辨率过程中可以充分的把知识应用起来。 堑堡厶兰堡苎堂篁鎏墨 玺i 塞苎! ：兰曼塑三堡丛塑堡型垄坌塑兰! ! 鳖 2 2 4 基于学习的三维超分辨率算法流程 从渐进分辨率链式模型的建立，到基于空间主元分析的训练和超分辨率，我 们已经建立起个完整的基于学习的三维几何模型超分辨率算法框架。其算法流 程如图2 - 2 所示。 训练算法流程 i 基于f t m a r c h i n g 的区域分割 i 表面区域分割后的渐进 链式模犁 、 圈匡习，匡习匹 i 窀间主成分分析0i 超分辨率算法流程 i 厂、丽磊一 【一 点采样、：角化 。_ 。1 。1 。 竺竺竺! 竺竺 太征窄问k 内的球标 向特征空1 1 q k 投影 坐标修正和逆魄射 臣巫亘 图2 2 摹于学习的- 维几何模型超分辨率算法流程 1 6 浙江人学硕l 学位沦文 第3 章州格的渐进分辨率链式模型 第3 章网格的渐进分辨率链式模型 在前面章节2 2 1 的讨论中，我们已经给出了i 维渐进分辨率链式模型的概 念。本章进一步给出渐进链式模型的形式化定义，并详细说明任意给定的三维j l 何模型所对应的渐进链的建立过程。在 h o p p e 9 6 所提出的基于边退化的渐进刚 格算法基础上，我们通过简化边退化能量函数的形式，提出了特别针对几何属性 的简化算法，提高了算法的效率；并通过构造分区域的弹性系数函数，提出了分 区域的网格简化模型，便算法更加灵活。 3 1 三角形网格优化 在渐进网格模型提出之前， h o p p e 9 3 提出了三角形网格的优化算法。最初 的问题是以如下形式提出的： 网格优化问题：给定三维空间中一个散列的点集，以及表示点之间 连接关系