（机械电子工程专业论文）基于单幅图像的三维形貌恢复研究.pdf

山东科技大学硕士学位论文 摘要 摘要 三维形貌恢复研究是计算机视觉的一个重要领域。目前，国内外已经发展了各种各 样的三维形貌恢复技术。其中，从阴影恢复形状( s h a p ef r o ms h a d in g ，简称s f s ) 是计 算机视觉三维形貌恢复的关键技术之一，其利用单幅图像中物体表面的明暗变化来恢复 表面各点的相对高度和表面法向等参数值，为进一步对物体进行三维重构奠定基础。该 技术简单易于实现，可用于各种其他方法难以应用的场合。 本文研究的三维形貌恢复方法，根据单幅图像上物体的灰度变化恢复出物体0 1 8 0 。 范围内的三维尺寸。本文从s f s 问题的研究背景出发，介绍了这方面的一些重要进展， 并对各种三维形貌恢复方法进行了比较分析。在此基础上，汲取己有算法的优势，设计 出一种基于单幅图像进行三维形貌恢复的方法，其更为简单实用。硬件系统仅包括摄像 系统和计算机，工作方式利用简单的透镜成像原理。本研究的核心思想是利用二维图像 中留下的3 d 线索灰度信息，在光源坐标系下计算与每个象素点对应的表面法向矢量 信息，通过坐标旋转到图像坐标系中，得到与物体相关的三维尺寸。本文采用多种实验 对象，对算法进行了可行性验证，并用m a t l a b 将三维恢复结果进行了模拟。论文对恢复 精度进行了分析。 本文介绍的三维恢复方法可应用于不同领域，如医学、气象、遥感，模型制造及快 速原型领域及一些人所不能及的特殊领域。本方法还可用作于其他三维恢复方法的辅助 分析法，帮助进行局部三维信息分析。 关键词：s f s ，朗伯体光照模型，三维形貌恢复，图像处理，表面法向矢量，精度分析 山东科技大学硕士学位论文摘要 a b s t i 己a c t t h er e s e a r c ho n3 ds u r f a c es h a p er e c o v e r yo fo b j e c t si sa ni m p o r t a n tf i e l d i nc o m p u t e rv i s i o n a tp r e s e n t ，m a n yr e c o v e r yt e c h n i q u e sh a v eb e e nd e v e l o p e d ， i nw h i c ht h em e t h o dn a m e ds h a p ef r o ms h a d i n g ( s f s ) m a k e su s eo ft h ec h a n g eo f i m a g eb r i g h t n e s st or e c o v e rs u c hp a r a m e t e r sa st h er e l a t i v eh e i g h ta n ds u r f a c e n o r m a l i ti so n eo ft h ek e yt e c h n i q u e so f3 ds h a p er e c o v e r yi nc o m p u t e rv i s i o n f i e l d t h i sm e t h o di sn o t i c e a b l eb e c a u s ei ti sn o to n lye a s i l yr e a l i z e db u ta l s o a p p l i c a b l ef o rt h ec o n d i t i o ni nw h i c ho t h e rm e t h o d sa r en o ts u i t a b l e t h em e t h o do f3 ds h a p er e c o v e r ym e n t i o n e di nt h i sp a p e rc a ng a i n3 dd i m e n s i o n s o fo b j e c t si no 1 8 0 。o n l yu s i n gas i n g l ei m a g eo nt h eb a s i so fb r i g h t n e s sc h a n g e i nt h i sp a p e r ，t h eb a c k g r o u n dk n o w l e d g ea n dt h em e t h o d sr e l a t e dt os f sa r eb r i e f l y i n t r o d u c e d b a s e do nt h ea n a l y s i sa n dc o m p a r i s o no fv a r i o u sr e c o n s t r u c t i o n a l g o r i t h m s ，t h i sp a p e rg i v e san e wm e t h o do f3 bs u r f a c es h a p er e c o v e r yo fo b j e c t s f r o mas i n g l ei m a g e i ti sm o r es i m p l ea n d a p p l i c a h l e u s i n gt h i sm e t h o d ，h a r d w a r e e q u i p m e n t so n l yi n c l u d ei m a g ep i c k u ps y s t e ma n dac o m p u t e r t h eo p e r a t i o nm o d e i st h eu n c o m p l i c a t e dp r i n c i p l eo fo p t i c a ll e n si m a g i n g t h ec o r ei d e ao ft h i s r e s e a r c hi su s i n gi m a g es h a d i n gt or e c o v e r3 dd i m e n s i o n so fo b j e c t s t h es h a d i n g i st h e3 dc u e sl e f ti n2 di m a g e i nt h ec o o r d i n a t e so fl i g h ts o u r c e ，t h es u r f a c e n o r m a lv e c t o r sc o r r e s p o n d i n gt oe v e r yp i x e la r ec a l c u l a t e d t h e nt h e s ev e c t o r s a r ec o n v e r t e dt ot h ec o o r d i n a t e so fi m a g et h r o u g ht h ec o o r d i n a t ec o n v e r s i o n ，s o 3 dd i m e n s i o n so fo b j e c t sa r eg a i n e d t h i sp a p e ru s e ss e v e r a le x p e r i m e n zo b j e c t s t ov a l i d a t et h e f e a s i b i l i t yo ft h i sm e t h o da n dt h er e s u l t so f3 dr e c o v e r va r e s i m u l a t e di nm a t l a b t h i sp a p e ra l s oa n a l y z e dt h ep r e c is i o no ft h e3 dr e c o v e r y f e s u lt s t h em e t h o di n t r o d u c e di nt h i sp a p e rc a nb eu s e di nd i f f e r e n tf i e i d s i th a s af a v o r a b l e a p p l i c a t i o np r o s p e c ti n i a t r o l o g y ，w e a t h e r ，r e m o t es e n s i n g ， e s p e c i a l l yi nn a t i o n a ld e f e n s ea n dm i l i t a r ya f f a i r s i ta l s oc a nb eu s e df o ra n a s s i s t a n ta n a l y s i sm e t h o do fo t h e r3 dr e c o n s t r u c t i o nm e t h o d sa n dh e l pa n a l y z e 山东科技大学硕士学位论文摘要 l o c a l3 di n f o r m a t i o n k e y w o r d s ：s f s ，l a m b e r t i a ni l l u m i n a t i o nm o d e l ，3 dr e c o v e r y ，i m a g ep r o c e s s i n g s u r f a c en o r m a l ，p r e c i s i o na n a l y s i s 山东科技大学硕士学位论文 l 绪论 1 1 引言 人们对产品个性化的追求和科技进步使产品制造的形貌特征趋于个性化、多样化和 复杂化，传统的以工件上规定的检测点近似评价工件全貌的测量方法，已不能满足评价 工件形貌的要求，三维形貌的全面测量已经成为测量领域一个新的目标。 目前已经出现的三维测量方法主要分为接触式和非接触式两类，常见的几种测量方 式如图l 所示： 攮置机罐兰坐标涌出机 声掌：坷声艘楂褂靛 厂- g c - - 刊- 阍挂 i 千涉器量r 胡彰 ij 娥建 ，a g 光 田曩中的3 d 战童 立铆 ll 【器 光学持勘j 圭：蕾光扫描技木 l lr 缸触 、不可见光 l x 埘哇 皂磁 图1 1 三维测量方法综述 f i g 1 1s u a a n a r yo f 3 dm e a s 啪e n tm e t h o d s 接触式测量方式的主要产品是机械式三坐标测量机。其三维测量原理是：将被测物 体置于三坐标测量机的测量空间，可获得被测物体上各测点的坐标位置，根据这些点的 空间坐标值，经过数学运算，求出被测物的几何尺寸、形状和位置。虽然该测量方法精 度高，但由于需要大量数学运算，所以速度较慢。测量时，探针与被测物体接触，因此 不能测量软质或易划伤的物体。 非接触测量方式较多，本文关注的是利用光学原理的计算机视觉处理方式。计算机 视觉检测方法利用视觉测量技术和图像处理方法得到与被测物体相关的几何信息。国内 的许多研究是利用激光或者其他可见光构成结构光点、结构光条、结构光面或结构光栅， 将结构光投射到被测物体上，利用双目或多目视觉传感器采集结构光信号，然后利用图 ，、i 搪舫删三 坐篓型垫查兰堡主兰竺堡塞 竺兰 像处理技术得到被测物体的几何信息m 。利用双目或多目图像获取被测物体几何信息时， 其关键的一步是确定场景中物体上同一点在不同图像中的对应关系。解决该问题的方法 之一是选择合适的图像特征并进行匹配，这是一个比较困难且容易产生误差传递的环节。 当三维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大的差异，而且 场景中的诸多因素变化，如光照条件、噪声干扰、景物几何形状和畸变、表面物理特性 以及摄像机特性等，都被综合到单一的图像灰度值中，如果仅由这一灰度值确定以上诸 因素是十分困难的，至今这个问题还没有得到很好的解决“。 为了避免对应点的匹配问题，也可以利用单幅图像中的各种3 d 线索来恢复场景的三 维形貌。在从3 d 场景获取2 d 图像的过程中，一些有用的信息由于投影而丢失了，但也 有些信息转化形式被保留下来，也就是说2 d 图像中还有3 d 线索m 1 。例如原来场景中一 些有关物体形状变化的信息会转换成2 d 图像上对应原物体不同形状的明暗度信息，因此 根据图像的亮度或者阴影情况可以设法把物体表面形状恢复出来：又如在透视投影下， 一些有关物体形状变化的信息保留在物体表面纹理变化之中，因此通过对纹理的分析可 以确定物体的表面取向，发现物体表面取向的线索，进而设法把物体表面形状恢复出来： 如果景物运动，则在图像序列中会产生像流，像流包含了场景结构的信息，因此可用来 帮助确定运动物体的3 d 结构；如果光源变换位置可得到不同光照条件下的图像，由于图 像亮度与目标本身的形状有关，因而可用来帮助确定场景中物体的3 d 形状。 由2 d 图像中的3 d 线索对物体进行三维形貌恢复的技术常称为“s h a p ef r o mx ”m 3 技术，其中x 可以代表立体光、阴影、轮廓、纹理、运动等。其中，光度立体学方法( s h a p e f r o ms t e r e o ) 需要变换光源位置，采集至少两幅图像，硬件结构复杂、昂贵；从运动求 取结构的方法( s h a p ef r o mm o t i o n ) ，利用目标在相机前的运动来获取场景中多个目标间 的位置关系，需要多幅图像，对于静态场景和不易变动的物体，不方便进行正确的三维 形貌恢复，适用性不够广泛；根据纹理与表面朝向的恢复方法( s h a p ef r o mt e x t u r e ) ， 只能针对形状和纹理规则的物体，对于一般物体不具有普遍性；从阴影恢复形状的方法 ( s h a p ef r o ms h a d i n g ) ，利用单幅图像中留下的阴影线索，获得物体的3 d 形状信息，因 其操作简单，适用范围广，目前已经成为国内外研究的热点。本文致力于研究种从单 幅图像恢复物体三维信息的方法，该方法可以应用到如下场合： 一、三维物体整体形貌尺寸的判定 目前由于测量手段的限制，三维物体整体形貌尺寸的判定一般是通过一些特征抽样 点的尺寸进行判断。这种判定方法容易出现抽样点尺寸合格而整体尺寸不合格的误判断。 2 些查型垫查堂堡主堂垡堡壅一! i 鱼 将s f s 三维形貌恢复方法应用于工业现场，可以获得整体形貌中的任意尺寸，从而对物 体整体形貌进行全面判定。 二、物体表面缺陷检测 在工业现场利用s f s 三维形貌恢复方法可以获得被测物体更加全面的表面形貌信 息，从而有利于分析工件表面是否合格，排除缺陷产品。 三、生物学、医学方面的应用 利用s f s 三维恢复技术得到的人体模型，可以进行模拟手术，并可对手术进行跟踪， 对手术结果进行预测。在牙科手术中，可利用牙齿的三维成像模型分析矫正方法，并可 监测牙齿发育情况。此外还可根据三维恢复方法，对服装、座椅、头盔、鞋帽等进行设 计。 四、多媒体应用 三维恢复技术可以应用于动画、影视特技、电脑游戏等多种场合。三维设计有助于 进行各种多媒体软件的设计。 五、人类文化遗产保护 人类文化遗产是宝贵的历史资源。对现有文字数字化，对历史文物通过照片进行三 维形貌恢复，是有效保护遗产的方法。 此外，该技术经过进一步研究完善后，还有望用于建筑及地理勘测、视觉导航以及 图像自动解释等。 1 2s h a p ef r o mx 技术综述 在计算机机视觉领域中，从2 d 图像恢复3 d 信息的技术可以归纳为：s h a p ef r o mx 技术。其中x 可以是：光度立体( s t e r e o ) 、运动( m o t i o n ) 、纹理( t e x t u r e ) 、轮廓( c o n t o u r ) 、 阴影( s h a d i n g ) ，其中光度立体学方法和运动方法属于从多幅图像进行三维形貌恢复的研 究，而纹理、轮廓和阴影方法，则属于从单幅图像进行三维形貌恢复的研究。 下面分别介绍“s h a p ef r o mx ”技术。 1 2 1 光度立体学 光度立体学( p h o t o m e t r i cs t e r e o ) 是一种恢复场景中目标表面朝向的方法。为达到 此目的，需要一系列不同光照条件下采集的图像。对一个3 d 目标成像后得到的图像亮度 3 生查型茎查兰堡主堂垡堕苎 丝堡 取决于许多因素，包括目标本身的形状、反射特性、在空间的姿态、目标与采集系统的 相对位置、采集装置的敏感度以及光源的分布等。光度立体学方法的特点是实现简单， 但需要控制照明。通过利用已知形状的校正目标建立一个查找表，可以确定与所给象素 对应的目标区表面的朝向。 由于此方法需要改变光照条件，所以硬件设计复杂，操作不便。 1 2 2 从运动求取结构 运动可用运动场描述，运动场是由图像中每个点的运动( 速度) 矢量构成的。当目标 在相机前运动或相机在一个固定的环境中运动时，所获得的对应图像的变化可用来恢复 相机和目标间的相对运动以及场景中多个目标间的相互关系。当相机与场景目标问有相 对运动时所观察到的亮度模式运动称为光流( o p t i c a lf l o w 或i m a g ef l o w ) ，或者说物体 带光学特征部位的移动投影到图像平面上就形成光流。光流表达了图像的变化，它包含 了目标运动的信息，可用来确定观察者相对目标的运动情况，并可根据像流解得物体的 表面朝向。 从运动求取结构适用于被测对象处于运动状态的情况，对于不易变动的物体不具有 适用性，且因运动造成采集图像数量较多，数据处理较复杂，不易应用到工业现场的在 线检i 奥0 领域。 1 2 3 纹理与表面朝向 利用物体表面纹理可以帮助确定表面取向并进而得到恢复表面形状。结构法纹理描 述的思想认为：纹理是由纹理元( t e x e l ) 组成的3 ，纹理元可看作是一个区域里带有重复 性和不变性的视觉基元。这种重复性是指在一定分辨率前提下，基元在不同位置和方向 反复出现，不变性是指组成同一基元的象素有一些基本相同的特性。 利用物体表面纹理确定其朝向要满足一定条件。在获取图像的透视投影过程中，原 始的纹理结构有可能发生变化，这种变化随纹理所在表面朝向的不同而不同，因而带有 物体表面取向信息。注意，这里不是说表面纹理本身带有3 d 信息，而是说纹理在成像过 程中产生的变化带有3 d 信息。 纹理恢复方法精度低，而且适用性窄，实际应用较少。 4 山东科技大学硕士学位论文绪论 1 2 4 从阴影恢复形状 1 9 世纪7 0 年代早期，h o r n 首先提出了根据单幅图像明暗变化恢复物体形状( s h a p e f r o ms h a d i n g ，简称s f s 方法) 的问题，其原理是利用成像表面亮度的变化，解析出物体 表面的矢量信息，从而转化为物体表面深度信息。该方法在理想光照条件下，即满足朗 伯体( l m m b e r t i a n ) 反射模型条件下，可咀从单幅图像重现0 】8 0 。范围内的三维彤貌。 该测量方法简单，无需进行标定和校准；但是现实的光源、物体材料及图像采集系统无 法满足朗伯体模型，冈此需要根据采集图像的特点，引入一些附加条件。据文献报道， 目前，国际上很多权威视觉研究机构都在研究如何引入恰当的附加条件，使得三维恢复 效果更好。如美国佛罗里达州计算机视觉研究实验室( c o m p u t e rv i s i o nl a b ，s c h o o lo f c o m p u t e rs c i e n c e ，u n i v e r s i t yo fc e n t r a lf l o r i d a ，o r l a n d o ) 近年来1 直进行s f s 方法的研究，并对特制的简单形状人造物体实现了三维恢复，但是尚未研究形状复杂且 表面粗糙的物体；美国纽约大学计算机科学系( d e p a r t m e n to fc o m p u t e rs c i e n c e u n i v e r s i t yo fn e wy o r k ) 利用雷达采集的单幅图像进行山肌i 河流及峡谷的形貌恢 复，但是恢复精度还有待于提高。国内西北工业大学计算机科学与工程系曾经对s f s 方 法进行过相关调研，认为是一种比较简便的方法，但仍存在一些亟待解决的问题，如对 具有分型特性的自然景物表面的三维恢复效果较差，求解范甬极值问题时，容易陷入局 部极小点的问题等；汕头大学机电系也瞀经进行过相关讨论，但不能摆脱特征点方法的 限制，操作复杂；哈尔滨工业大学现代焊接生产技术国家重点国家实验室利用线性化s f s 方法对焊点图像进行三维恢复，但是应用面狭窄，没有得到很好的扩展；大连理工大学 对s f s 算法也有一定的研究，对几种光照模型进行了分析，但是实验室只限于典型球面 的三维重构，精度也有待于提高。 1 3 1 课题研究的思路 本论文研究一种能够从单幅图像获取物体形貌特征的三维测量方法，基于s f s 基本 原理，利用二维图像中留下的3 d 线索一灰度信息，引入新的图像附加条件，在近似朗 伯体模型下，进行实验和图像分析，实现了对一些机械零部件、生活用品及历史照片的 伯体模型下，进行实验和图像分析，实现了对一些机械零部件、生活用品及历史照片的 山东科技大学硕士学位论文 竺丝 本方法可以应用到工业生产现场，进 三维形貌恢复，大大扩展了s f s 方法的应用范围。 行工件的三维缺陷检测。其操作简单，实用性强，对于提高制造质量，减少废品产生有 重要作用；还可以用于逆向工程、服装设计、文字识别等领域。 本论文的研究思路及主要内容如下： 一、介绍s f s 方法的理想光学系统及已有s f s 方法的研究，并对每种研究方法进行 理论分析。常用的s f s 算法可以分为四类；最小值方法( m i n i m i z a t i o n ) 、演化方法 ( p r o p a g a t i o n ) 、局部分析法( l o c a l ) 、线性化方法( l i n e a r ) 。每种方法都有一定的优势， 也有自己的缺陷。 二、介绍对测量精度有影响的图像处理技术。由于非理想工作状态的限制，使得采 集图片上或多或少的存在噪声斑点，这些斑点会在恢复结果上产生噪声尖峰，影响恢复 精度。介绍了本设计主要使用的图像处理技术平滑处理技术。其中着重介绍了线性 平滑滤波器( 也叫邻域平均) 和非线性平滑滤波器中的中值滤波。 三、汲取已有研究的精华，设计了一种基于单幅图像进行三维形貌恢复的方法，利 用多种物体的二维图像对该方法的恢复效果进行了验证，并将三维恢复结果在鼢t l a b 中进行了模拟。 四、对恢复精度及影响精度的因素进行分析。 1 3 2 主要创新点 一、传统的基于单幅图像三维形貌恢复方法的研究，都按照朗伯体光照模型要求对 光源进行了模拟。本论文进行了尝试，对室光下拍摄的物体进行恢复，并得到了较满意 的恢复效果。对于降低s f s 方法的使用条件，扩大该方法的应用范围提供了一定的实验 依据。 二、以往的基于单幅图像三维形貌恢复方法的研究主要侧重于“形似”，没有考虑三 维恢复结果的精度，本论文对测量精度进行了分析。 1 3 3 课题研究的意义 本课题的研究可以最大限度的节省硬件资源，减少软件运算工作量。虽然目前基于 单幅图像进行三维形貌恢复的精度还不能够达到很高的要求，但是专家预测该算法将是 未来三维领域中的应用主流。此算法模拟入眼的视觉原理，只对单幅图像进行分析处理， 6 些查型垫查兰堡兰兰堡堡苎 堑堡 对于不可能进行多幅图像采集的场合是一种非常实用的三维恢复技术。在登陆月球的计 划中，无人职守的太空船试图登上月球，需要知道月球上岩石、沟壑山峰的大体高度， 该计划就是使用s f s 算法进行月球形貌恢复的。有些特殊场合不适合仪器近距离接触， 如水下工作的工件没办法使用传统的三维检测方法检测，可透过水面对水下物体进行拍 摄，根据拍摄图像的灰度变化，恢复其三维形貌，进而实现检测。 本方法的优点如下所示： 一、本研究属于三维形貌恢复方法，可以获得0 1 8 0 。度范围内物体上各点的三维 形貌尺寸，与传统几何量测量工具的抽样检测相比，本研究方式可以尽可能全面的获得 物体三维尺寸信息。 二、本方法硬件只需要摄像系统和计算机系统，使用简单的透镜成像原理。硬件要 求少，成本低，适用的工作场合广，容易应用到国防及国民经济的各个领域。 三、本方法不需要考虑摄像机与被测物之间的几何距离关系，与需要进行坐标定位 及距离测量的三维恢复方法相比，可以避免由于距离测量不准造成的误差传递和累积。 四、对于已经存在的单幅照片，本方法可根据灰度变化重现其三维形貌。对于历史 资料的重现和保存有一定的贡献，是其他三维恢复方法望尘莫及的。 五、本方法扩展了三维形貌恢复的测量范围，可应用于大型物体的三维形貌恢复， 如应用于地球地形地貌恢复、月球表面山峦的恢复等。随着测量设备分辨率的提高，本 方法有望应用于微小型物体的三维形貌恢复，如分子、细胞等，可根据从显微镜或其他 成像设备获得的图像进行三维分析。 目前，本研究的三维恢复精度虽然还不是很高，但是已经可以实现较粗略的测量。 随着数码技术、光源技术、计算机技术的提高三维恢复精度会得到进一步的提高，有 望成为物体三维检测领域的主流方法。 1 3 4 论文结构安排 论文由7 章组成，各章内容及组织结构如下： 第一章主要介绍了各种三维测量方法、s h a p ef r o mx 技术综述及本文的研究思路、 内容及主要创新点。 第二章各种s f s 方法的理论分析及研究现状。常用的s f s 方法可以分为最小值方法、 演化方法、局部方法和线性化方法。每一种方法都有一定的优势，也有自己的缺陷。 些查型垫查堂堡堂垡丝塞 堕堡 第三章介绍了对测量精度有影响的图像处理技术。由于非理想工作状态的限制使得 采集图像上或多或少的存在噪声斑点，这些斑点会在恢复结果上产生噪声尖峰，影响恢 复精度。介绍了本方法主要使用的图像处理技术一图像平滑处理技术。 第四章算法设计。汲取已有研究的精华，设计了一种基于单幅图像进行三维形貌恢 复的方法，并多种物体的二维图像对该方法的恢复效果进行验证。 第丘章测量精度分析。主要对测量误差进行分析，检验本方法的测量精度。 第六章应用及前景。本研究有着广泛的市场应用前景，为部分三维检测难题提供了 一种解决方案。 第七章全文总结和展望。 山东科技大学硕士学位论文 s f s 方法理论分析及研究现状 2 1 1s f s 问题的起源 2s f s 方法理论分析及研究现状 2 1 引言 在人类视觉感知过程中，阴影发挥着重耍作用。人类通过眼睛和大脑能够准确地由 阴影恢复出三维信息。多年来，人类视觉研究工作者们直尝试着理解和模拟这一机理。 1 9 世纪7 0 年代早期，h o r n 首先提出了根据单幅图像恢复物体形状( s h a p ef r o ms h a d i n g ) 的问题。对实际图像而言，其表面点图像亮度受到了许多因素，如光源、物体表面材料 性质和形状以及摄像机( 或观察者) 位置和参数等的影响。为简化问题，传统的s f s 方法 都进行了如下假设： 1 光源为无限远处的点光源，或者均匀照明的平行光； 2 成像几何关系为正交投影； 3 反射模型为朗伯体表面反射模型( 1 a m b e r t i a ns u r f a c er e f l e c t i o nm o d e l ) 。 朗伯体表面反射模型即物体表面为理想散射表面，该表面从所有观察方向看都是同 样亮的，并且完全反射所有入射光。这样物体表面点的图像亮度e 仅由该点光源入射角 的余弦决定。若以摄像机坐标系为参照系，并将物体表面高度表示为z ( x ，y ) ，则物体表 面法向矢量可由其表面各点的法向量( 露，n ：，嘞) 、表面梯度( p ，g ) 、表面倾角( s l a n t ) 妒、 表面偏角( t i n ) 0 表示。深度既可以看作是摄像机到表面点的相对距离也可以看作是相 对于石一y 平面的表面高度。表面法向矢量是与物体表面切平面垂直的向量所指的方向。 表面梯度是深度在x 、y 方向的变化率。表面倾角毋和偏角0 是与表面法向矢量有关的量。 它们之间的关系如下： p p = 譬，g = 妾 ( 2 1 ) 2 面g5 瓦 1 p = 一生，q = 一生 ( 2 2 ) 玎3n 3 ，1 1 = l s i n b c o s o ，n 2 = l s i n s i n o ，n 3 = j c o s b ( 2 3 ) 当查型垫奎兰堡主兰竺笙塞 ! 竖立鲨堡堡坌堑墨竺塞墨鲨 其中，为表面点法向量的模。这样朗伯体表面反射模型就可以表示为 以卜尚2 丽嚣岽精 q 4 或 e ( x ，y ) = r ( p ( x ，y ) ，q ( x ，y ) ) ： ! ；星圣竺兰兰：( 2 5 ) p ，2 + q ，2 + 1 4 p 2 + q 2 + 1 其中，n ，= ( n 。 。月，) 或( - p ；，一吼，1 ) 表示光源的方向( 显然由式( 2 2 ) 有 n ：一堑，吼= 一堑) ，e ( x ，y ) 为归一化的图像亮度，r ( p ，g ) 为反射函数。式( 2 5 ) 是 n j 3 n 53 含有两个未知量( p ，q ) 的非线性方程，如果不引入附加约束，仅由该模型所确定的s f s 问题是病态的( 没有唯一解) ”3 。因此为消除其病态性，并建立相应的正则化模型，必 须对其表面形状进行约束。现有的s f s 算法基本上是假设所研究的对象均为表面光滑的物 体“”。，即认为物体表面高度函数是连续的。实际上，通过建立物体的光滑表面模型， 已经对物体表面形状进行了约束。这样，将上述物体表面反射模型与物体的光滑表面模 型相结合，再利用一些已知条件( 如关于物体表面形状的初边值条件) ，就构成了s f s 问题 的正则化模型。根据建立正则化模型方式的不同，现有的s f s 方法大致可分为四类：最小 值方法、演化方法、局部分析法和线性化方法。最小值方法通过最小化能量函数得到问 题的解：演化方法从一系列表面点( 比如奇点) 推出物体的形状信息；局部分析法从表面 形状假设得出物体形状；线性化方法基于对反射图线性化得到问题的解。 在介绍典型s f s 算法之前，先介绍一下s f s 问题中引入的各种约束。 2 1 2 约束条件 为了解决s f s 问题中待求参数比方程个数多的问题，必须引入其他约束条件，如：亮 度约束( b r i g h t n e s sc o n s t r a i n t ) 、光滑性约束( s m o o t h n e s sc o n s t r a i n t ) 、可积性约束 ( i n t e g r a b i l i t yc o n s t r a i n t ) 、亮度梯度约束( i n t e n s i t yg r a d i e n tc o n s t r a i n t ) 和单位 法向矢量约束( u n i tn o r m a lc o n s t r a i n t ) 等。下面介绍各种约束的能量函数。 一、亮度约束 坐查型垫奎兰堡主兰垡丝苎! 墅互堡里兰竺堑丝竺圣些坚 亮度约束是假设反射函数的亮度与实际拍摄的图像亮度相等。即： ( ，一月) 2 d x a y = o ( 2 6 ) 其中，是测量亮度，r 是估计反射图亮度。 二、光滑性约束 假设物体是光滑的，那么相邻点法向量方向接近。 ( 见2 + 以2 + 吼2 + g ，2 ) d x d y = 0 ( 2 7 ) 这里，以，p 。和吼，q ，分别为函数p 和q 关于工，y 的偏导数，在不太严格的情况下，光滑 性约束只要求在x 和y 方向上高度的改变为常量： j j ( 九2 + g ，2 ) d x d y = 0 ( 2 8 ) 光滑性约束也可表述成表面法向矢量席的形式： 删删2 + 1 2 ) d x d y = 0 ( 2 9 ) 这意味着表面法向矢量应逐渐变化。 三、可积性约束 可积性约束也就是z 。= z 。，可用下面两种形式表述： ( 马- q ，) 2 d x d y = 0 ( 2 1 0 ) 或 ( ( 乙一p ) 2 + ( 勺一g ) 2 ) d x d y = o ( 2 1 1 ) 四、亮度梯度约束 前面所述的“亮度约束”是保证理论亮度r 与实际拍得图像亮度，尽量接近，而亮 度梯度约束对理论亮度r 及实际亮度1 分别求x 方向和y 方向的导数，即要求恢复图像 的亮度梯度与输入图像的亮度梯度相等。 ( ( r ，- i 。) 2 + ( 只，一l y ) 2 ) d x d y = o ( 2 1 2 ) 五、单位法向矢量约束 要求恢复表面法向矢量为单位法向量。 俐厅卜1 ) d x d y = 0 ( 2 1 3 ) 山东科技大学硕士学位论文 s f s 方法理论分析及研究现状 2 2 1 最小值方法 2 2 典型算法 早期的最小值方法是由i k e u c h i 和h o r n ”。提出的，用来恢复表面梯度。因为一个平面 点的梯度中含有两个未知量，而图像中每个象素只提供一个灰度值，所以系统是不定的。 为了解决这个问题，引入了两个约束：亮度约束和光滑性约束。亮度约束要求每个表面 点的恢复图像亮度和输入图像亮度相同，而光滑性约束保证光滑表面的恢复。s f s 问题最 小值方法就是将由物体表面反射模型所确定的亮度方程式( 2 5 ) 和光滑表面模型均表示 为能量函数的形式，然后再将它们联合表示为一个泛函极值问题或最优化控制问题，并 使得相应问题取得最小值的解，即为原s f s 问题的解。下面以h o r n 、z h e n g 和c h e l l a p p a 、 l e e 和k u o 的算法“2 8 川为例，来介绍这类方法的基本思想及求解方法。 2 2 1 1h o r n 的方法 h o r n 在连续域讨论s f s 问题时，首先将其归结为一个泛函极值问题，然后通过求泛函 的变分，其所得到的问题极小解即为原s f s 问题的解。考虑已知图像数据与由反射模型所 确定的物体表面图像亮度之问可能存在的误差，该方法先将亮度方程式( 2 5 ) 转化为误差 函数的形式，即 ，i = 儿( e ( 工，y ) 一尺( p ( z ，y ) ，q ( 工，y ) ) ) 2d x d y ( 2 1 4 ) 其中，q 为( 五y ) 的取值范围，然后将光滑表面模型表示为 ，：= 扛( 几2 + 以2 圯2 + g ) d x d y ( 2 1 5 ) 其中，p ，p 。和吼，q 。分别为函数p 和g 关于z ，y 的偏导数，h o r n 称之为光滑性约束条件 ( s m o o t h n e s sc o n s t r a i n t ) 。该约束条件指出光滑物体表面相邻各点的表面法方向是相似 的，即物体表面高度函数z ( x ，y ) 连续，且关于x 和y 的二阶偏导数存在。h o r n 进一步利 用p ，g 与z 之间的关系，又加上了一个可积性约束条件( in t e g r a b i l i t yc o n s t r a i n t ) ， 以= 儿( ( 。一p ) 2 + ( z ，- q ) 2 ) d x d y ( 2 1 6 ) 山东科技大学硕士学位论文 s f s 方法理论分析及研究现状 其中，2 。，z ，是函数2 关于x ，y 的偏导数，从而得到如下新的泛函极值问题： j = j l4 - a j 2 + 3 = n ( ( x ，y ) 一只( p ( z ，y ) ，g ( 上，y ) ) ) 2 + a ( p 。2 + p y 2 + g ，2 + q ，2 ) + ( ( z 。一p ) 2 + ( z ，一q ) 2 ) d x d y ( 2 + 1 7 ) 其中， 和为拉格朗日常数， ，j ：，j ，均为泛函。 h o r n 首先通过对上述泛函求变分，得到其极值存在的必要条件： 2 7 2 p = 一( 一r ) r 。一u ( z ，一p ) 胛2 q = 一( e - r ) r 。- u ( z ，一p ) ( 2 1 8 ) v 2 z = p ，+ g ， 其中，v 2 表示拉普拉斯算子，r ，r 。是函数r 关于p 和g 的偏导数；然后应用交错网格 方法。”将p ，g ，z ，p ，以，z ，z ，及v 2 算子离散化，即得到式( 2 1 8 ) 的离散形式方程组，再利 用g a u s s s e i d e l 迭代方法，同时求解得到物体表面梯度p ，q 和表面高度z 的网格点值。 2 2 1 2z h e n g 和c h e ll a p p a 的方法 z h e n g 和c h e l l a p p a 用图像梯度约束条件取代了h o r n 的光滑性约束条件，即使得表面 恢复结果图像与原图像数据更接近，其泛函数值表示形式为： j j ( ( e r ) 2 + x f ( r ，一e x ) 2 + ( r y - e ，) 2 ) + p ( ( 2 ，一p ) 2 + ( z ，一q ) 2 ) ) d x d y ( 2 1 9 ) 在求解该泛函极值问题时，z h e n g 和c h e l l a p p a 对其相应的欧拉方程作了一些变化， 即首先对反射函数r 作t a l o r 级数展开，并保留其线性项，然后将高度函数和表面梯度及 其各阶导数离散化，就得到了一个线性收敛的迭代格式，并应用多网格方法快速实现了 该算法。 2 2 1 3l e e 和k u o 的方法 l e e 和k u o 只使用了亮度约束条件和光滑性约束条件，没用显式表示的可积性约束条 件，而是直接将表面高度函数用有限元方法离散化，即应用三角形小面元来逼近表面， 1 3 山东科技大学硕士学位论文s f s 方法理论分析及研究现状 其表面高度函数在这些三角形顶点的值即称为格点值，只有这些格点值直接通过上述约 束恢复得到，而非格点值则要通过插值得到，从而构成了一个离散化的极值问题，即一 个最优化控制问题。l e e 和k u o 在求解这个最优化控制问题时，也对反射函数作了线性化， 同时应用多网格方法实现了这个最优化问题的求解。 2 2 2 演化方法 所谓演化方法，实际上是一类求解动力系统( d a n a m i cs y s t e m ) 问题的方法。 0 li e n s i s ，b r u c k s t e i n ，t o u r i n 和o s h e r 等人均指出，从动力学的角度而言，s f s 基本问 题( 式2 5 ) 可以看作是一个h a m o l t o n 系统问题，求解该问题就是求解如下 h a m o l t o n j a c o b i 方程： 以训卜丽警淼1p 1 - o q 2 0 ) 、，p o + q o + 、。+ g 。+ 其中h a m o l t o n 函数日为： h = e ( ) 一了笔竺笔兰i ( 2 2 1 ) 、，p o + 口o + l p 2 + g 。+ 1 由于p = z ，q = z 。，因此式( 2 2 0 ) 是一个一阶非线性偏微分方程。当给定初值或边界条 件时，该偏微分方程就构成了一个c a u c h y 问题( 初值问题) 或d i r i c h l e t 问题( 边界问题) 。 这类问题大致有如下3 种求解方法，即特征线。“”1 ( c h a r a c t e r i s t i cs t r i p s ) 方法、 v i s c o s i t ys o l u t i o n j 受相关方法“5 ”“1 以及l e v e ls e t s 方法“。这些算法的关键步骤是 找到图像中可唯一确定形状的某一点或某些点，从这些点出发进而求得整个表面的解。 由于演化过程是关于时间可微的伽，故应用演化方法来求解s f s 问题，实际上也隐含地 利用了光滑物体表面模型。下面仅介绍其中一个较为简单的算法，g p b i c h s e l 和p e n t l a n d 的最小下山法( m i n i m u md o w nh il la p p r o a c h ) “。 b i c h s e l 和p e n t l a n d 基于d u p u i s 和0 1 i e n s i s 的方法“，提出了一种称为最小下山法的 算法来求解s f s 演化问题。该方法指出演化过程就是从图像奇点( 图像灰度最大值点， 在一定条件下该点所对应的表面形状可唯一确定”) 出发，然后搜索当前点的邻点，并找 出其中远离光源方向的所有点，同时从这些远离光源的点中，选择离光源方向最近的点， 再沿着这样构成的演化路径来计算图像中每一点的高度值，从而等到整个表面的高度。 计算过程中，首先将图像旋转一个角度，使得图像中的z 轴与光源方向在图像平面上的 1 4 坐查型垫查堂堡主兰垡丝苎 ! 竖查堡墨堡坌堑墨旦窒堡些 投影方向一致，当计算完高度后，再将图像逆方向旋转至原来的位置，即得到原位置上 与图像点所对应的表面点的高度。该算法的原理和步骤可简述为：设表面某点沿偏角为妒 方向的切向量为( a x = c o s d s ，咖= s i n q 】d s ，d z ) ，其中( 出，砂，出) 为表面某点( z ，y ，2 ) 沿妒切 线方向的无穷小增量s 为路径参数。若该点对应的表面法向量为n ( n 、，n ：，”，) ，则它们 之应满足如下关系： d x 一以1 + d y 刀2 + d z n 3 = 0 ( 2 2 2 ) 令表面斜率为盯( 仍胛) = 车( 伊，刀) ，则有盯( 妒，盯) = c o s ( 6 p ) n , + s i n ( 6 p ) n 2 ，对每一个方向妒的 d jh ， 邻点，在由该邻域点亮度决定的等亮度线( 即式( 2 5 ) 的最左端为常数) 上寻找最快上升斜 率仃( 伊) ，并利用表面梯度( 肛