（机械制造及其自动化专业论文）基于单目多幅图像的三维曲面重构研究.pdf

摘要 由单目多幅二维图像重构曲面的三维几何形状近年来一直是图像领域研 究的难点和热点，本文在分析多种曲面测量方法的基础上，根据在不同照明情 况下获得的多幅图像，以l a m b e r t a i n 、p h o n 9 、t o r r a n c e s p a r r o w 、 v c o o k t o r r a n c e 多种光照模型为依据，提出一种三维曲面重构方法。 首先，以典型曲面上各点的理论灰度值与实测灰度值的误差平方和最小为 目标建立非线性方程组，以非线性最小二乘理论为基础，通过解非线性方程组 确定光照模型各个参数值。再根据多幅图像上固定位置一点的灰度值变化列多 个非线性方程，以g a u s s - n e w t o n 算法和l e v e n b e r g m a r q u a r d t 算法为基础求非 线性方程组的最优近似解，将选取点的法向量确定下来。然后通过复化积分确 定选取点的高度值，再利用变分和有限差分思想对所得拟合表面进行进一步的 迭代和修正，从而减小误差，获得最佳再建表面。通过实验和算例结果分析， 表明该算法具有一定的准确性和适用性。 在w i n d o w s 9 8 操作平台上，采用v c + + 编程技术，开发了基于二维图像 的三维重构软件。本软件界面友好，功能丰富，具有一定的应用价值。最后对 球体进行二维实际拍摄和三维重构实验，取得了较为满意的结果。 关键词：光照模型由阴影恢复形状复化积分变分法有限差分方法 a b s t r a c t t h e3 ds u r f a c er e c o n s t r u c t i o nf r o mm o n o c u l a rm u l t i p l ei m a g i n e si sh o t s p o ti n t h er e s e a r c hd o m a i no fi m a g e si nr e c e n ty e a r s b a s e do nt h ea n a l y s i so fl a m b e r t a i n ， p h o n g t o r r a n c e s p a r r o wa n dc o o k - t o i t a n c ci l l u m i n a t i o nm o d e l s ，am e t h o df o r 3 ds u r f a c er e c o n s t r u c t i o nf r o mm u l t i p l es h a d e di m a g e sw i t hd i f i e r e n ti l l u m i n a t i o n i sp r e s e n t e di nt h ep a p e r w j mt h eb a s i so ft h es y s t e mo fn o n l i n e a re q u a t i o n sw h i c hi se s t a b l i s h e db y m i n i m i 。z i 。n gt h ee r r o rq u a d r a t i cs l u d o ft h e o r e t i c a ta n da c t u a ls h a d e dv a t u co ft h e p o i n t so nt h et y p i c a ls i l l f a c c ，t h ep a r a m e t e r so ft h ei l l u m i n a t i o nm o d e l sc a nb e f i r s t l yd e t e r m i n e db ym e a n so ft h ei c a s t s q u a r ep r o c e d u r e t h e l lan e ws y s t e mo f n o n l i n e a re q u a t i o n sc a nb ef o r m e d 矗o mt h ev a r i a t i o ng r a yo fs a m ep o i n ti n m u l t i p l ei m a g e sa n dt h eo p t i m u ms o l u t i o no ft h es y s t e mc a nb eo b t a i n e df r o m g a u s s - n e w t o na n dl e v e n b e r g - m a r q u a r d ta l g o r i t h m s s ot h a tt h en o r r r l a lv e c t o ra t t h a tp o i n to ft h es u r f a c ec a nb ed e f i n e d t h i r d l y , m es u r f a c eh e i g h ta tt h ep o i n tc a r l b eg o t t e nb ya p p l y i n gc o m p o s i t en u m e r i c a li n t e g r a t i o n a c c o r d i n gt ov a r i a t i o n a l c a t c u l u sa n df i n i t ed i l y e r e n c em e t h o d ，t h ef i t t e ds u r f a c ei sf u r t h e ri t e r a t e da n d m o d i f i e d s ot 1 1 eb e s tr e c o n s t r u c t i o ns u r f a c ec a nb ef i n a l l yo b t a i n e d t h ea n a l y s i s f r o mt h ec a l c u l a t i o na n dt e s tr e s u l t ss h o w st h a tt h ea t g o r i t h r np r e s e n t e di np a d e ri s e f f e c t i v ei nu s ea n dh i g hi nc a l c u l a t i n go c c u r a c v t h es u r f a c er e c o n s t r u c t i o np r o g r a mb a s e do nm u l t i p i e2 di m a g e sh a sb e e n d e v e l o p e dw i t hv i s u a lc + + p r o g r a m m i n gl a n g u a g eo i lt h ep l a t f o r mo fw i n d o w s 9 8 o p e r a t i o ns y s t e m t h ei n t e r f a c eo ft h ep r o g r a mi sf r i e n d l ya n di t sf i m c t i o ni s a b u n d a n c e ，t h e3 ds u r f a c er e c o n s t r u c t i o ne x a m p l e sf r o map r a c t i c a l2 di m a g e so f am e t a ls p h e r et a k e nf r o mad i g i t a lc a m e r a ，b a s e do na b o v em o d e l s ，s h o wa s a r i s f y i n gr e s u l t k e yw o r d s ：i l l u m i n a t i o nm o d e l ，s h a d ef r 6 ms h a d i n g ，c o m p o s i t en u m e r i c a l i n t e g r a t i o n ，v a r i a t i o n a lc a l c u l u s ，f i n i t ed i f f e r e n c em e t h o d 大连理工大学硕士学位论文 第一章绪论 第一章绪论 1 1 概述 自由蓝面广泛应用于汽车、飞机、船舶、家电及办公设备中，其设计加工 质量及开发周期对提高产品的性能和市场响应速度起到了关键作用。由于自由 曲面形状复杂，加之款式、人机工程学和空气动力学等因素的影响，直接由c a d 系统生成满足功能要求并且光顺的曲面模型十分困难，般需先制作物理模型， 通过实验并反复修改，满足设计要求后，再由该物理模型生成c a d 模型。这种 由物理模型直接生成产品c a d 模型的方法称为反求工程方法，或逆向工程方法。 图1 1 快速测量所得c a d 模型图1 2 激光扫描仪 随着逆向工程、快速制造技术的发展，如何高效率、高精度的提取零件的 三维信息成为实现曲面重构的关键问题。只有获得零件的三维信息，才能实现 自由曲面的重构与制造。三维数据的采集有很多种方法，传统的接触式方法虽 然可以达到很高的测量精度，但是由于测量过程中容易损伤测头和划伤被测表 面，自动化程度低，价格昂贵，测量速度慢，对使用环境要求高等缺点使其应 用范围受到限制。 随着计算机技术和光电技术的发展，基于光学原理的以计算机图像处理为 主要手段的非接触测量技术得到了飞速的发展和应用。它包括很多种方法，如 相位测量法、立体视觉法、由阴影恢复形状法等，其分类如图1 _ 3 所示。这些 方法都有各自的优缺点和适用范围，但一般情况下，它们一次采集的信息量大， 测量速度快，适应性强，测量范匿宽，对环境要求低，并特别适合于弹性模量 低的易变形材料制成零件的测量，因此比接触测量方法具有很大的优势。 本文的研究属于非接触测量方法中的由阴影恢复形状这一范畴，即由s h a p e f r o ms h a d i n g ( s f s ) 发展而来，该方法以光照模型为基础，根据物体在光源照 大连理工大学硕士学位论文第一章绪论 射下灰度值的变化，通过解算光照模型来确定物体表面选取点的法向量，或梯 度值，再由法向量确定表面选取点的深度值，最后通过曲面拟合获得重建表面。 为了使研究的问题更有针对性，我们进行下列假设【1 ： ( 1 ) 照明光源为无限远点光源，产生的是平行光。 ( 2 ) 物体到观察者的距离远大于物体的外形尺寸，观察向量矿对整个物。 体来说为常量。 这是因为通常考虑的光源为太阳光，太阳光对物体无疑可认为是无限远点 光源，它产生的是平行光。对于后者，假设也基本成立，因为目标一般情况下 均为可成像的景物。即使是近景时，也可以用满足第二个假设的多个目标逼近。 由灰度图像重建自由曲面的物理基础是光度学理论。一般而言，实际物体 的图像灰度取决于包括物体的几何形状、光的入射角和强度、物体的反射系数 及观察方向等多种因素，并呈现出多种反光类型的混合，通常不符合简单的朗 伯余旋反射定律，各种不同复杂程度的光照模型已由p h o n g 、b 1 i n n 、c o o k 和 t o r r a n c e 等人相继提出【】j 。其中t o r r a n c e s p a r r o w 光照模型与实验结果十分吻 合，但需要确定的参数亦较多；p h o n g 模型比较简单，又可获得相对满意的视 觉效果，被认为是计算机图像领域进行图形渲染的标准模型。总之，随着虚拟 现实技术的飞速发展，光度学原理得到了深入的研究，为我们开展由灰度图像 重建自由曲面的研究奠定了光学物理基础。 1 2 测量方法的分类及非接触测量方法应用前景 1 2 1 测量方法的分类 如图1 3 所示，一般将测量方法分为接触测量方法和非接触测量方法两 大类 2 2 】，这些方法都有各自的优缺点和不同的适用范围。 图1 3 测量方法的分类 - 2 一 大连理工大学硕士学位论文第一章绪论 一接触测量方法 接触测量方法【2 z j 是一类被广泛用来获取物体形状数据的方法。接触测量 方法通常使用机械手来接触物体表面，然后安装在手关节上的传感设备就可以 确定相关点的坐标位置。这些方法大多由于检测设备的局限性而受到限制。例 如，给三轴磨床安装探针，将其作为一个接触式测量系统使用，则它对凹曲面 就不太有效。目前可用于接触式测量的机械手种类很多，其中包括最先进的机 械手( 更少的噪声干扰，更高的精确性和更好的重复性等) ，但它们是一种读 取数据最慢的方法。 三坐标钡9 量机( c m m ) 是另一种使用较广泛的接触测量方法，尽管该方法 可以达到很高的测量精度，但是由于容易损伤测头和划伤被测表面，测量过程 需要人工干预，自动化程度低，价格昂贵，对使用环境要求高等特点使其应用 范围受到限制，又由于测量是采用逐点扫描的方法，测量时间长，因此不太适 用于快速制造等对测量时间有要求的场合。 二非接触测量方法 一般按照物体被照明方式的不同大致可以分为被动测量法和主动测量法 两大类。主动测量法是指用特殊的光源照明，并用相应的接收器件接收由被照 射物体所反射的光线，从中得到目标物体的三维空间坐标。主动光学距离传感 器是获得距离图像的主要手段。由于光束投射方式、方法的灵活性，提取距离 信息手段的多样性，及所利用光学原理的不同，可以分为很多种，如：基于时 间测量的雷达测距、三角形法测距、莫尔等高法测距、全息相干术测距、以及 衍射法、聚焦法测距等等。 被动测量法不用特殊的光源照明被测物体，直接在自然光照明的条件下， 从一个或多个摄像系统获取的二维图像中提取距离信息，形成三维面型数据。 从一个摄像系统获取的二维图像中确定信息时，必须依赖物体的大致形态，光 照条件等先验知识。典型的被动三维传感系统是双摄像机传感系统，它与人的 双目体视原理相似。但当被测物体上各点没有明显差异时，这种运算变得更加 困难。另外，s h a p ef r o ms h a d i n g ( s f s ) 也是一种被动测量方法，它利用图像 灰度信息获取物体表面形状信息，这种方法能以最自然的方式高速提取物体的 几何形状信息，具有广阔的发展前景。以下简要阐述上述各种测量方法的原理 和特点。 1 主动测量法 ( 1 ) 主动三角测量法 主动三角测量法1 2 4 j 以正弦定理作为三角形法的出发点，光源、物体和观 察点( 摄像机) 构成基本的三角形框架，任何一种能确定三角形的方法都能得 到距离信息。这种方法中照射在物体上的光束形状可以是点、线或网格形的， 可以是编码光，也可以是非编码光。因此这种方法包括光点扫描法、光刀法和 大连理工大学硕士学位论文第一章绪论 编码图样投影法等。 光点法就是投影一个光点到待测物体表面，根据光源与基线之间的夹角以 及光源与探测器之间的距离，通过几何关系求得探测器达到物体表面的距离， 这种方法具有高信噪比，但由于是逐点测量，数据获得较慢。 光刀法是照明系统投影一个片状光束到待测物体表面，在物体表面产生一 光条，用距光源己知距离的面阵探测器接收，通过计算、分析该光条的数据， 可得到物体的三维坐标。这种方法的特点是每次能得到被测物体一个截面交线 上的三维坐标，只需附加一维的扫描就可以形成完整的三维面型数据，速度比 前者有很大提高，确定测量点比较容易，结构也比较简单，故应用比较广泛， 国际上早有商品出售，但这种方法数据获取速度仍然较慢。 编码图像投影法采用时间或空间编码的二维光学图投影，投影一个二维编 码图案到待测物体表面，形成面结构光。这种方法的原理与前两种方法相同， 能够提高测量速度，但这种方法的主要问题是寻找对应点，也就是确定投射点 和成像点的一一对应关系，因此，需要设计恰当的编码图案和解决相应的解码 算法问题。 以上几种方法共同的优点是信号的处理简单可靠，不需复杂的条纹分析就 能确定各测量点唯一的绝对几何坐标，自动分辨物体凹凸，即使物体的物理尖 端点( 台阶，孔) 使图像不连续，也不影响测量。他们共同的缺点是精度不高， 必须通过扫描系统才能实现全长测量。 ( 2 ) 相位测量法 相位测量法是用光栅图样投影到被测物体表面，变形栅像可以解释为相位 和振幅均被被测物体表面形状调制的空间载频信息。如果为正弦光栅投影，物 体上各点光强可表示为： z ( x ，y ) = 口( x ，y ) + b ( x ，y ) c o s 2 x f o + 妒( x ，_ y ) 】 ( 1 1 ) 其中a ( x ，y ) 和b ( x ，y ) 分别表示背景和表面反射率的变化，兀是投影到参 考表面的光栅图的空间频率，相位妒( t y ) 对应物体上各点的高度h ( x ，y ) ，虽 然在相位一高度转换中也使用三角形定理，但其技术的核心是相位的测量，因 此同直接三角形法有较大的区别。 由式( 1 1 ) 可以看出，投影条纹图样与干涉测量中的倾斜条纹是一样的。 事实上，条纹投影测量法可以看作一利，长波长的干涉测量法，因为其条纹处理 方法和干涉图的条纹分析是相同的。相位测量法可以分为以下几种： a 莫尔等高法 b 时域相位测量法 c 空域相位测量法 ( 3 ) 全息干涉法 这种方法是利用干涉条纹中的位相信息隐含有深度信息，也可以用类似于 相移法的技术通过求取位相而得到物体的深度分布，只是干涉条纹以波长量级 大连理工大学硕士学位论文第一章绪论 计，所以光学安排和计算方法上要复杂的多，但是，也带来测量精度最高的优 点。全息干涉法分外差式和准外差式。 2 被动测量法 ( 1 ) 立体视觉法 立体视觉的基本原理与人类双目视觉的立体感知过程类似，即从两个或两 个以上的视点观察同一物体，可以得到不同视角下的感知图像，通过计算分析 不同图像中同一像点的不同视差来获取物体表面的三维形状信息。主要的处理 步骤为预处理、建立对应和恢复深度。其中建立对应，即匹配，是立体视觉中 最重要、也是最困难的部分。 这种方法对应用场合要求宽松，也能克服结构光、编码光方法受物体表面 反射特性影响的缺点，但是其中对应点的匹配问题较难解决，算法复杂，耗时 较长，同时在物体形状复杂，基线距离较长时，会因各种遮挡而影响结果。因 此，该方法的实际应用也受到了很大的制约。 ( 2 ) 由阴影恢复形状的方法 s h a p ef r o ms h a d i n g ( s f s ) 方法是利用图像灰度反射方程，从图像中获得 物体表面的形状信息。由于该方程的求解是一个病态问题，必须添烟约束条件。 目前采用两种不同的途径去解这个病态问题。这就是数学途径和物理途径。 其中数学途径分成两大类型。其一：为迭代类型，它建立在整片松弛和正 则化处理的基础上；另一种为非迭代类型，它建立在局部推算的基础上。但是 这两种计算类型都必须对所计算的表面做出某种假设，以便取得第二个数学关 系以改变病态问题的性质。 物理途径是从设备上着手，通过主动的措施以增加方程式的数量，立体成 像法和光移成像法都属于这样的范畴。 1 2 2 非接触测量方法的应用前景 非接触测量是一种快速测量技术，能迅速获得物体的立体尺寸具有广阔 的应用前景，分别表现在以下几个方面1 1 3 】： 1 工业制造业 ( 1 ) 工业零件快速三维测量 对于形状复杂的物体，要测量其三维数据坐标是相当困难的。而非接触测 量技术能测量物体表面离散点的三维坐标，并可以实现在线测量，这是过去手 工测量无法做到的。现在，宝马公司和美国汽车城底特律的许多汽车公司都装 备了这样的设备用于汽车外形和零件的测量。在其它行业，非接触测量系统作 为一种快速测量设备，也因其独特的优点而得到广泛使用。 ( 2 ) 快速制造系统 这是目前国际机械行业研究热点之一，其中一个重要环节就是反求工程， 大连理工大学硕士学位论文第一章绪论 即从实物到数字模型，这正是非接触测量技术研究的内容。如果将非接触测量 系统与快速成型机结合，便可以构成快速制造系统。这必将大大促进r p 技术 的发展。 ( 3 ) 自动加工和质量控制 三维面形检测在自动加工方面有着广泛的应用 2 4 。如数控车床上安装三 维检测系统在加工工件时可根据设定的尺寸和测量的面形尺寸进行比较，操纵 车床进行工作，加工出高质量的零件。 1 9 8 8 年起，密西根大学汽车车体制造及车体尺寸质量研究中心使用三维 在线测量系统，对美国通用、福特和克莱斯勒三大汽车公司的多条汽车生产线 进行车体质量的百分之百在线测量及控制，其结果大大提高了汽车车体的生产 质量。1 9 9 1 年起，美国高科技技术研究基金及汽车制造业向密西根大学汽车 车体制造及车体尺寸质量研究中心提供大量的研究经费，以进行汽车生产线车 体质量的在线测量及工艺分析的研究。 近年来美国主要汽车公司的现代化生产线上均广泛的采用这种新型三维 在线测量系统。使用范围主要包括：车体前部结构，底部结构，车体构架等大 型构件的控制过程。三维在线测量系统可以使车体关键尺寸在线数据的采集、 处理、显示及预警自动化，可实现对产品百分之百的在线质量控制，与三坐标 测量机相比，它具有在线、省时、省人工、自动化程度高、测量成本低等优点。 ( 4 ) 对特殊物体的测量 对某些物品，比如特别柔软的物品，用传统的接触测量方法，可能接触时 使物体变形，而非接触测量不会损伤物体表面，即可快速获得物体的立体尺寸。 2 文物保护 非接触测量技术能以不损伤物体的手段，获得文物的三维信息，便于长期 保存、再现，这是传统手段所无法表达的。有了这些信息，也给文物复制带来 了很大的便利。英国自然历史博物馆利甩非接触测量技术将文物的立体色彩模 型扫描到虚拟现实系统中，建立了虚拟博物馆，令参观者犹如进入了远古时代。 3 艺术、雕塑 把非接触测量技术和数控雕刻机结合，可以很方便的雕刻雕像。只要对物 体进行一次测量，就能获得其表面的每个点的坐标数据，将数据送给数控雕刻 桃，很快就能雕刻出逼真的雕像，完成过去只有天才艺术家才能完成的工作。 在获得对象的立体模型后，还可以在计算机内进行随心所欲的加工、变形，并 直接观看其效果，满意后再送给数控雕刻机，这就能给艺术家的工作提供很大 的方便。 4 医学、整形、美容 非接触测量技术能快速测量人体各部分，包括牙齿、面部、肢体等的尺寸， 对美容、矫形、修复、口腔医学、假肢制作都非常有用。在考古、刑侦等工作 中，有时需要根据人或动物的骨骼来恢复形状，在这项工作中，已经开始引入 计算机，这时就需要非接触测量技术将骨骼的三维数据输入计算机。 6 大连理工大学硕士学位论文 第一章绪论 5 影视广告业 随着计算机图像图形技术的飞速发展，计算机影视特技越来越广泛的应用 于影视、广告业，实现了过去无法想象的特技效果，已经成为高质量影视、广 告制作不可缺少的手段。要在计算机上完成三维动画，必须有三维模型数据。 这只有两个渠道，一是在计算机内构造，二是设法获得实物的立体模型。对于 一些简单规则的物体，可以由人工在计算机内构造，对于一些复杂的物体，例 如人的头部、艺术品，是无法- 。荨中手段达到目的的。这时就必须使用三维坐 。，。文奇非援触快速? ：j 量仪i将演员、道具等的表面三维数据扫描入计算 机中，构成与现实物体完全一致的三维模型。有了这些模型，才能用计算机三 维软件对它们做进一步的特技处理，进行旋转、压缩、拉伸等各种变化，进行 切割、剪裁、拼接等处理，或融入特定的场景中，实现高难度的特技效果。甚 至可以将演员、动物的三维模型输入计算机内形成“虚拟演员”，赋予它不同 的表情和动作，这些将给影视特技制作带来革命性的变化。 总之，随着计算机视觉技术的发展，图形图像的研究领域逐渐从二维进入 三维，非接触测量技术作为一种高速获取三维图像信息的手段，为三维物体识 别及图形图像处理提供了方便，具有广阔的应用前景。 1 3国内外研究概况和发展趋势 1 3 1 国内外研究概况 复杂曲面重构的研究首先基于人们对立体视觉的研究和发展。立体视觉的 开创性工作是从6 0 年代中期开始的。美国m i t 的r o b e r t 完成的三维景物分析 工作，把过去的二维图像分析推广到了三维景物b 2 1 ，这标志着立体视觉技术 的诞生，并在随后的2 0 年中迅速发展成为一门新的学科。 1 9 7 0 年，h o r n 在他的论文中引入“s h a p ef r o ms h a d i n g ”这个名词【”】， 详细论述了各种因素对图像灰度的影响，提出了通过照度方程从阴影恢复表面 形状，并且用一种称为“c h a r a e t e r i s t i cs t r i p ”的方法进行求解。后来， h o r n 又引入反射图概念来完善照度方程。反射图表示表面方向与梯度空间的 图像亮度之间的关系。w o o d h a m 利用反射图研究出光度立体技术，他利用不同 光照条件下拍摄的多幅图像求出表面梯度f 2 ”。 1 9 9 8 年，m a r t i n 等人从逆向工程角度重新提出这一曲面重构技术口引，在 其研究中采用了p h o n g 光照模型并沿用迭代求解代数方程组的方法，即先求曲 面法矢后，再确定曲面的策略。由于其仍未能突破原有实验模型和数值算法的 限制，也没有充分利用图像中的大量冗余信息，相对误差较大。 大连理工大学硕士学位论文第一章绪论 如图1 4 所示，近期获悉德国“g o m ”公司出产了精密的光学仪器a t o s 3 ， 整个系统基于光学三角形定理，不需任何平台，自动摄取影像，几秒钟便可生 成三维数据，且可以随意移动测量头到任何位置做高速测量，所测数据会自动 拼合，测量范围l o m m l o m ，精度达到每张照片0 0 3 m m ，整体达到0 1 m m m 。 图1 4 德国“g o m ”公司出产了精密的光学仪器a t o s 如图1 5 所示，美国o g 技术公司最近也推出一种新型微观表面轮廓测量 仪f 3 剐，其测量精度已达亚微米量级，测量范围为2 8 5 m m x3 1 0 m m ，它也是采用 光度学原理，测量时将物体浸泡在液体中，通过数字相机测量与被测量表面相 接触一层液体的吸收光的强度来重构被测表面三维轮廓。 图1 5 美国“o g ”技术公司推出的新型微观表面轮廓测量仪 由于计算机视觉技术的广阔应用前景，国内学者也加强了这方面的研究， 但目前尚处于起步阶段。上海交通大学针对汽车车身开发的要求，利用立体视 觉，建立了一套适合于车身模型表面三维数字化的非接触测量系统i l “。北京 航空航天大学将结构光投影于物体表面，利用光条畸变，建立主动式的结构光 三维视觉系统【”j 。中科院自动化研究所开发了一种基于平面激光主动三角测 量的三维信息获取和重建系统，应用于口腔医学l l ”。西安交通大学将机器视 大连理工大学硕士学位论文 第一章绪论 觉与c a d 和c m m 进行系统集成，应用于逆向工程，提高了c m m 的智能化 和柔性【1 8 】。哈尔滨工业大学对一种由单幅图像恢复物体表面高度的算法进行 了详细分析，并应用于焊接熔池的图像分析【l 。汕头大学针对s f s ( s h a p e f r o ms h a d i n g ) 问题中的l a g r a n g e 乘子难题，利用b 样条插值，设计了s f s 问题变分格式的层次基变换共轭梯度加速算法【2 。 从国内外视觉技术的研究现状来看，非接触测量技术还是一个十分年轻的 领域，需要不断的发展和创新。而其中直接由物体的灰度图像恢复物体三维形 状技术己成为近年来研究的热点。 1 3 2 发展趋势 采用高分辨率的数字相机，对自由曲面进行三维测量，影响其精度的主要 因素是描述测量的数学物理模型是否准确，能否找到该模型稳定可靠的数值方 法，而不在于应用光度学原理本身。然而值得欣慰的是，近几年来图像重构理 论已获得突破性进展，使通过综合分析在不同角度拍摄的多幅图像，而获取曲 面三维几何形状信息的这一曲面重构技术成为可能。这一方法能以最自然的方 式高速提取物体的形状信息，工作距离远，对环境要求低，且易于实现系统间 的信息集成，尤其是其属于非接触测量范畴，并特别适合于弹性模量低的易变 形材料制成零件的测量，因此具有广泛的发展前景。 但是，直接由物体的灰度图像恢复物体三维形状技术目前仍未在精度上获 得较大突破。这是由于长期以来，描述这一物理问题的图像光照度方程的理论 和算法还不太成熟，其数值解法常是不稳定的，一般受表面的均匀性和连续性 的影响非常敏感，因此没能获得较高的测量精度，有待进一步的研究。 1 4 研究热点分析 近年来，随着计算机技术和光电技术的发展，立体视觉法，s h a p ef r o m s h a d i n g 都成为研究的热点。立体视觉研究的是如何从同一场景拍摄所得的左 右两幅图像来获取场景中的深度信息。其基本原理是利用同一特征点在两幅图 像上的偏差来估计特征点的深度，主要的处理步骤为预处理、建立对应和恢复深 度。其中建立对应，即匹配是立体视觉计算中最重要、也是最困难的部分，其 算法复杂，耗时较长。立体视觉虽然可以精确定位图像中灰度变化剧烈处场景 的绝对深度值，但无法得到其它灰度变化平缓部分的深度或形状信息【l 。而且， 为了构划出物体的基本形态，对立体匹配点的精度和数量要求都非常高，这在 实际处理中是不现实的。 s h a p ef r o ms h a d i n g ( s f s ) 方法则是以图像灰度反射方程为基础。利用单幅 兰垄里兰三盔堂堡圭! e 垡鎏塞 差= 童堑堡 图像来获取物体表面的形状信息，由于该方程的求解是一个病态问题，必须对 所计算的表面做出某种假设，添加约束条件，以便取得其它数学关系，改变问 题的病态性质。在求解过程中，还存在多解的问题，而且计算量大，误差也较 1 5 本文工作内容概述 大连理工大学硕士学位论文第二章光照模型分析 第二章光照模型分析 2 1 光照模型原理 光照模型是根据光学物理的有关定律，计算景物表面上任意一点投向观察 者眼中光亮度的大小和色彩组成的公式。一般把光照模型分为局部光照模型和 整体光照模型。 局部光照模型仅考虑光源直接照射在景物表面所产生的光照效果，景物表 面通常被假定为不透明，具有均匀的反射率。局部光照模型能表现由光源直接 照射在漫反射表面上形成的连续明暗色、镜面上的高光以及由于景物互相遮挡 而形成的阴影等，计算中不涉及环境中的其它物体。整体光照模型除了考虑上 述因素外，还要考虑周围环境对景物表面的影响【3 1 】，例如，出现在镜面上的 其它景物的映像、光的折射以及相邻景物表面之间的色彩辉映等较为精致的光 照效果。 来自光源和周围环境的入射光照射在景物表面，会出现以下三种情况【9 】： ( 1 ) 经景物体表面向外反射形成反射光； ( 2 ) 若景物透明，则入射光会穿透该景物，从而产生透射光： ( 3 )部分入射光将被景物吸收而转换成热。 显然，只有反射光和透射光能够刺激人眼产生视觉效果。若向视线方向辐 射的反射或透射光中所有波长的光含量相等，则物体表面将呈现白色或不同层 次的灰色。若辐射光中各种波长光具有不同的能量分布，则景物呈现出彩色， 其颜色决定于辐射光的主波长。由于颜色仅是可见光的一种视觉特性，因此， 光学中用光谱分布来描述光的组成，光谱分布唯一的决定了相应可见光的色 彩。景物表面的反射或透射光不仅决定于景物表面的材料、景物表面的朝向以 及它与光源之间的相对位置，还决定于向表面入射光能的光源的性质。光源属 性包括它向四周所辐射光的光谱分布。不同结构和形状的光源向外辐射的光能 具有不同的空间分布。从几何形状来看，光源可归结为四类：点光源、线光源、 面光源和体光源。我们通常假定点光源照明，因为采用点光源容易确定到达被 照射点的光能大小，阴影计算也较为简单。用其它光源时，要考虑光源上每一 点均向被照射点辐射光能，因而对它们的模拟比点光源复杂得多。 当已知入射光在每一波长上的强弱和物体表面在各波长上对光的吸收率， 即给出入射光的光谱分布以及物体表面的反射率和透射率的光谱分布，我们就 能根据环境的光源布置和景物表面的材料属性正确计算出景物表面反射光和 透射光的光强和颜色。但由于光谱采样和光谱至颜色转换的计算量相当大，通 常我们假定入射光仅由红、绿、蓝三种不同波长的光组成，这样，在光照模型 大连理工大学硕士学位论文第二章光照模型分析 中，我们仅需考虑景物表面对这三种不同波长光的反射和透射，从而大大简化 了光亮度的计算。 更进一步，若假定光源发出的光为白光，景物为不透明体，则景物表面呈 现的颜色仅由其反射光决定。物体表面的反射光可分为漫反射光和镜面反射 光。漫反射光可以认为是光穿过物体表面层被部分吸收后，重新发射出来的光。 因此，漫反射光均匀的散布在各个方向，观察者不论站在哪一方位上，它所观 察到的漫反射光的强度均相等。镜面反射光则是物体的外表面对入射光的直接 反射。镜面反射光亮度沿镜面反射主方向最强，在该方向四周则逐渐衰减，形 成一定的空间分布，因而，观察者只有位于一定方向上，才能看到明亮的镜面 反射光。 v 一# 图2 1 光照模型涉及到的方向向量 如图2 1 所示，采用笛卡尔坐标系，即遵循右手法则，各矢量方向定为远 离物体的方向，光照模型一般要涉及到的方向向量为： 1 法向量 2 光线向量三 3 视线向量v 4 镜面反射向量r 5 光源入射角i 6 视角0 2 2l a m b e r t 漫反射模型 自然界绝大数景物为理想漫反射体，l a m b e r t 余弦定理总结了一个理想漫 反射物体在点光源照射下的光的反射定律。根据l a m b e r t 定律，一个理想漫反 大连理工大学硕士学位论文 第二章光照模型分析 射物体表面上反射出来的漫反射光的强度同入射光与物体表面法向之间夹角 的余弦成正比，即 i = ，“c o s i( 2 i ) 其中， ，为景物表面在被照射点尸处的漫反射光的光亮度， ，。为光源垂直入射时反射光的光亮度， 意，为景物表面的漫反射系数， i 为入射光与表面法向之间的夹角。 若记景物表面在被照射点p 处的单位法向量为，尸到点光源的单位向量 为上，则式( 2 1 ) 可表示为如下的向量形式 i = k d ，“( 三)( 2 2 ) 显然，当点光源离被照射表面很远时，式( 2 2 ) 中的向量三变化很小，因而 可将上看作为一常向量，我们称此时的点光源为方向光，它由一向量完全确 定。 在数学上，两个矢量的点积等于它们模与夹角余弦的乘积，即 ( 上) = l + p ；+ g ；l + p2 + g 2c o s f ( x ，y ) ( 2 3 ) 而两个矢量的点积还可表示为 ( 工) = ( 1 + po p + go g )( 2 4 ) 由( 2 3 ) 及( 2 4 ) 式整理可得 c o s 啦2 万卷精 ( 2 s ) 其中， ( p 。，q o , - 1 ) 是光线的入射矢量， ( p ，q ，一1 ) 是物体表面各个点的法线矢量。 对于自然光，入射矢量也是一个定值；而对于物体的表面法线矢量，我们 可以根据高等数学知识，给出其显函数形式( z ，z y ) - - 1 ) ，也就是说 8 z p 2 瓦2 。， 9 2 面2 z y 从以上的讨论中，我们可以很方便的做出如下假设：在任一点( x 。，y 。) ， 反射函数，是在该( ，儿) 点的表面斜率和反射率的函数，那就是说，多次反 射被忽略了：反射率k 州和向量j 硝对整个图像来说均是已知的：，从空间上是 不变的。 大连理工大学硕士学位论文第二章光照模型分析 由此，我们总结式( 2 3 ) 一( 2 5 ) ，可以建立以p 、q 为自变量的非线性函数 t ( p ，q ) - “弘护。一万鬻精 心6 ) 其中， k 。，为景物表面的漫反射系数， ，。为光源垂直入射时反射光的光亮度， ( 风，q o ，一1 ) 为光线入射矢量， ( p ，g ，一1 ) 为物体表面各点法矢，p = z 。，q = z 。 式( 2 6 ) 即为l a m b e r t 光照模型的表达式。从实验结果来看，l a m b e r t 漫 反射模型用来模拟理想漫反射表面( 如石灰粉刷的墙壁、纸张等) 的光亮度分 布是可行的。但对表现诸如金属材料制成的物体表面的光亮度分布时，则显得 非常呆板，主要原因是该模型没有考虑这些表面的镜面反射效果。 2 3p h o n g 模型 镜面反射在日常生活中随处可见，当一个点光源照射一个金属球面时，会 在球面上形成一块特别亮的“高光”( h i g h l i g h t ) 区域，它是光源在金属球面 上产生的镜面反射光投射到观察者眼中的结果。与漫反射光不同，镜面反射光 在空间的分布就有一定方向性，他们朝空间一定方向汇聚，故表面上高光区域 的位置随着观察者的方位不同而变化。对于纯镜面，入射至表面上的光线严格 地遵循光的反射定律单向的反射出去，对于一般的景物表面，由于表面实际上 是由许多具有不同朝向的微小平面组成，其镜面反射光将分布于表面镜面反射 方向的周围。由于一般镜面反射光的计算较为复杂，实际应用时常作适当的简 化。一般采用余弦函数的幂次来模拟一般光滑表面的镜面反射光的空间分布。 i = k p , k c o s ”0( 2 7 ) 其中， ，为观察者接受到的镜面反射光亮度， ，。为镜面反射方向上的镜面反射光亮度， k 。为物体表面的镜面反射系数， 0 为镜面反射方向和视线方向的夹角， ”为镜面反射光的会聚指数。 在实际场景中，物体还会接收到从周围环境投射来的光，如房间的墙壁、 1 4 大连理工大学硕士学位论文 第二章光腭模型分祈 天空等。这部分光称为环境光或泛光。环境光是一种分布光源，在局部光照模 型中，我们常假定环境反射光是均匀入射的漫反射光，并用一常数来表示其强 度。 如前所述，表面反射光可认为是环境反射、漫反射、镜面反射三个分量的 组合。对于一特定的物体表面，这三种分量所占的比例具有一定的值。令t ， 屯和k ：分别表示环境反射、漫反射和镜面反射分量的比例系数，一个实用的 光照明模型( p h o n g 模型) 可表示如下 i = 虹，+ ( 尼d i p dc o s + t ；，c o s ”0 ) ( 2 8 ) 其中， ，为观察者接受到的反射光亮度， j 。为环境反射分量， ，。为光源垂直入射时反射光的光亮度， ，。为镜面反射方向上的镜面反射光亮度， 屯、以和t 分别为环境反射、漫反射和镜面反射分量的比例系数，且 + t = 1 ， 为镜面反射光的会聚指数， 符号表示对所有特定光源求和， i 为光源入射角，0 为视角。 p h o n g 模型实际上是纯几何模型。一旦反射光中三种分量的颜色以及它们 的比例系数吃，幻和t 得到确定，从景物表面上某点到达观察者的反射光亮 度就仅仅和光源入射角i 和视角0 相关。因此，在实际计算时，对表面的每 一点，我们仅需求出它的法向量，光线向量三，视线向量矿和镜面反射向 量r ，如图( 2 1 ) 所示。这是因为。 ( 厶o ) = c o s i ，( r k ) = c o s 0 其中，岛、0 、r 、是上、n 、r 、v 相应的单位向量。 在实际使用时，由于( 民) 的计算不方便，常用( 0 h 0 ) 来代替它，这 样，p h o n g 模型即为 i = k o k + 如白( 上d n o ) + t ( o 风) “ ( 2 9 ) 其中， 厶和0 分别是光线入射向量和被照物体表面法向量的单位向量， 峨为将入射光反射到观察者方向的理想镜面的法向量，显然日。即为 0 5 ( l o + v o ) 的单位向量。 大连理工大学硕士学位论文 第= 章光照模型分析 2 4 t o r r a n c e s p a r r o w 光照模型 p h o n g 用。，。( 。h 。) ”来模拟镜面反射分量，取得了较好的效果，但是 这种基于经验的模型在光源入射角( 和三的夹角) 大于7 0 度时不能很好的 反映客观情况。1 9 7 7 年b t i n n 将t o r r a n c e 和s p a r r o w 提出的光反射模型理论应 用于计算机图形学，这种光照模型和p h o n g 模型的主要不同之处是镜面反射 分量将随光源入射角的不同而异，即在光源入射角较大时，镜面反射分量不再 对称分布于镜面反射方向的周围，而更偏离曲面的法向方向。因此，所产生的 高光形状和位置有明显的差别。 t o r r a n c e s p a r r o w 模型假定被照明物体的表面是由无数微小平面镜组成， 且这些微平面的方向是随机分布的。如图2 2 所示微平面a ，b ，c 和d 中只有 b 是指向日方向的，由于微平面是镜面，故只有b 才能对被照明表面的镜面反 射分量做出贡献。这种假定使我们能够确定到达物体表面面元幽的光通量有 多少向外辐射形成镜面反射分量，以及这种辐射的分布是什么等关键问题。 t o r r a n c e s p a r r o w 提出了用以描述这些关系的三个量d k 、g 和f 。其中皿为 微平面的斜率分布函数，它是通过表面面元幽，中那些指向h 方向的微平面在 所有微平面中所占的比例来表示的。g 称几何衰减因子，它主要考虑由于微 平面相互遮挡使部分光线不能反射出去从而引起的镜面反射分量的衰减。f 是菲涅耳函数，它描述了随入射角( h 和上的夹角) 和材料折射率的不同而 引起的镜面反射率的不同。显然，豌表示了辐射的分布，g f 就是镜面反射 率_ j 。 ln 图2 2 景物表面的微观几何形状 面 t o r r a n c e - s p a r r o w 模型采用的微平面斜率分布函数是高斯分布 1 】 o k = b e 一。2 7 一 ( 2 1 0 ) 1 6 大连理工大学硕士学位论文 第二章光照模型分析 其中，b 和聊为常数，小的聊值将引起尖锐的高光。a 在应用时取为和 日的夹角，这表示随机微平面方向分布的均值是曲面法线方向。 ( a ) 图2 3 表面微平面假定为v 形分布 假设微平面都以图2 3 所示的形状组成实际曲面，那么入射光照射在微平