（机械制造及其自动化专业论文）反求工程中基于图像灰度信息的三维曲面重构研究.pdf

中文摘要 摘要 直接由物体的二维灰度图像恢复其三维几何形状( 由明暗恢复形状) 的曲面测量方 法和技术，能以自然方式提取物体表面的形状信息，且易于实现系统间的信息集成，尤 其是该方法属于非接触测量方法，特别适合于测量由弹性模量低的易变形材料制成的零 件，近年来一直是基于视觉的图像测量领域研究的难点和热点问题。本文以高分辨率的 数字相机为实验手段，以光度学原理及非线性偏微分方程理论和数值解法为基础，探讨 根据曲面的二维图像灰度信息获取曲面三维几何形状信息的理论和方法，并利用优化方 法确定光照模型的光照参数，减小了模型参数不准确带来的测量误差，为发展由明暗恢 复形状的复杂曲面( 又称自由曲面) 非接触测量方法和技术做一些初步的研究工作。 结合光度学原理，从实验研究入手，通过用数字相机实际拍摄的典型曲面( 球面) 的 二维灰度图像，应用非线性最小二乘优化方法研究确定了现有的l a m b e r t 、p h o n g 、 t o r r a n c e s p a r r o w 和c o o k t o r r a n c e 四种常用局部光照模型的光照参数，利用统计分析原 理分析了这四种光照模型在当前实验条件下对实际图像灰度数据的拟合精度，并对拟合 精度较高的t o r r a n c e s p a r r o w 光照模型加以完善和改进，发展出一种适合于曲面测量的 改进光照模型。 在针对理想朗伯漫反射模型所提出的由单幅灰度图像重构曲面的理论和计算方法 基础上，导出了基于改进光照模型的单幅灰度图像光照度方程，揭示出基于单幅灰度图 像的曲面重构问题实质是一个非线性偏微分方程的求解问题。考虑到该方程具有病态特 性，求得的解不唯一，具有一般数学物理反问题的特征，利用变分原理，将其转化为一 个泛函的极小化问题，通过正则化处理，使原问题具有唯一解；然后应用有限差分思想 和求解非线性最d , - - 乘问题的方法，将泛函中的变量离散化和线性化，进而转化为一个 标准最, j , - - 乘问题来求解。 为了提高曲面测量精度，本文还开展了基于单目多幅图像的曲面重构工作。以非线 性最小二乘理论为基础，以典型曲面上各点的理论灰度值与实测灰度值的误差平方和最 小为目标建立非线性方程组，通过求解非线性方程组来确定光照模型的各个光照参数。 根据多幅图像上固定位置一点灰度值的变化列多个非线性方程，通过求解该非线性方程 组，确定出各选取点的法向量：然后通过复化积分确定选取点的高度值，并利用变分和 有限差分思想对所得表面进行进一步的迭代和修正，以减小重构误差。 最后对一个典型曲面球体表面进行模拟计算和实际三维重构实验，实验和计算 结果表明，本文的算法具有一定的准确性和适用性。并在w i n d o w s 操作平台上，采用 v c + + 编程技术，开发研制了基于二维图像灰度信息的三维曲面重构软件。 关键词：反求工程曲面图像测量光照模型由明暗恢复形状 曲面重构 一 ，篓茎塑蓬 。 a b s t r a c t m e a s u r i n gm e t h o d a n d t e c h n i q u e t h a t3 ds u r f a c es h a p ei sr e c o v e r e df r o m2 d g r a yi m a g e ( s h a p ef r o ms h a d i n g ) c a r lo b t a i ns u r f a c es h a p eb yn a t u r a lw a ya n de a s i i yr e a l i z et h e i n f o r m a t i o ni n t e g r a t i o no fi n t e r s y s t e m 。p a r t i c u l a r l y , t h i st e c h n i q u eb e l o n g st on o n - c o n t a c t m e a s u r e m e n t , a n di th a sb e c o m eap u z z l ea n dh o t s p o tq u e s t i o ni ni m a g em e a s u r i n gd o m a i n b a s e do nv i s i o ni nr e c e n ty e a r s i nt h i s p a p e r , w i t hh i 醢r e s o l u t i o n 击蕊t a lc a l n e r aa s e x p e r i m e n t a lm e a r l s ，a n db a s e do np r i n c i p l eo f p h o t o m e t r ya n dt h e o r ya n dn u m e r i c a ls o l u t i o n f o rn o n l i n e a rp a r t i a ld i f f e r e n t i a l e q u a t i o n , r e s e a r c hi sd e v e l o p e da r o u n dt h et h e o r ya n d t e c h n i q u e t or e c o n s t r u c t3 ds u l 哦a c e s h a p e f r o m2 dg r a y i m a g e 瓢ep a r a m e t e r s o f i t l u m i n a t i o nm o d e l8 糟d e t e r m i n e db yo p t i m i z a t i o nm e t h o d ，s o 鑫s 轮r e d u c et h ee r l o rc a u s e d i n a c c u r a t ei l l u m i n a t i o np a r a m e t e r s i ti so u rp u r p o s et od os o m ei n i t i a lw o r ki no r d e rt o d e v e l o pn o n - c o n t a c tm e a s u r i n g m e t h o da n d t e c h n i q u ef o rc o m p l e xs u r f a c e ( f r e e - f o r ms u r f a c e ) b a s e do ns h a p ef r o m s h a d i n g f o rc o n s i d e r a t i o no f p r i n c i p l eo fp h o t o m e t r ya n de x p e r i m e n t a lr e s e a r c h ，w i t h2 d 辫a y i m a g eo f t y p i c a as u r f a c ef s p h e r i c a ls u r f a c e ) t a k e nw i t hd i g i t a lc a m e r a , m u db yu s e o f n o n l i n e a r l e a s ts q u a r eo p t i m i z i n gm e t h o d ，t h ei l i u m i n a t i o np a r a m e t e r so f f o u rl o c a li l l u m i n a t i o nm o d e l s 。 m 鲢a r el a m b e r t ，p h o n g ，t o r r a n c e s p a r r o wa n dc o o k - t o r r a n c em o d e l ，a r ed e t e r m i n e d a n d w i 搬s t a t i s t i c sa n a l y t i c a l p r i n c i p l e 。r e g r e s s i o na n a l y s e s a r em a d et o c o m p a r et h ef i t t i n g p r e c i s i o no ft h e s ei l l u m i n a t i o nm o d e l su n d e rt h ec u r r e n te x p e r i m e mc o n d i t i o n c o m p a r i n g t o r r a n c e - s p a r r o wm o d e lw i t ho t h e r s ，馘i m p r o v e di l l u m i n a t i o nm o d e lf o rm e a s u r e m e n to f s u r f a c ei sd e v e l o p e d ， w i t ht h eb a s i so ft h et h e o r ya n dn u m e r i c a ls o l u t i o no fi d e a ll a m b e r td i f f u s em o d e io n s h a p ef r o ms h a d k u g 。t h ei m a g e i r r a d i a n c ee q u a t i o nb a s e do ni m p r o v e di l l u m j n a t i o nm o d e li s d e r i v e d ，t h e r e b yt h ef a c ti s d i s c l o s e dt h a tt h eq u e s t i o no fr e c o n s t r u c t i o nf r o mas i n g l eg r a y l m a g e h o wt o s o l v ean o n l i n e a rp a r t i a ld i f f e r e n t i a l e q u a t i o n 。i n v i e wo fi l l - p o s e d c h a r a c t e r i s t i co ft h ee q u a t i o n ，w i t hv a r i a t i o n a lp r i n c i p l e ，s o l v i n go fan o 搽i n e a rh y p e r b o l i c e q u a t i o ni sa t t r i b u t e dt om i n i m i z a t i o no f af u n c t i o n a l s ot h ee q u a t i o nh a su n i q u es o l u t i o n t h r o u g hr e g u l a r i z a t i o nt h e o r y t h e nv a i l a b l e so f t h ef u n c t i o n a la r ed i s c r e t i z e da n dl i n e a r i z e d w i t hf i n i t ed i f f e r e n c ea n dn o n l i n e a rl c a s ts q u a r e s t e c h n i q u e s ，a c c o r d i n g l ym i n i m i z a t i o no f t h e f o n c t i o n a li sc o n v e r t e di m os t a n d a r dl e a s ts q u a r e q u e s t i o n w i t hav i e wt ot h ed i 颤c u l t ya n d p r e c i s i o no f s u r f a c er e c o n s t r u c t i o nf r o mas i n g l ei m a g e , t h er e c o n s t r u c t i o nf r o mm o n o c u l a rm u l t i p l ei m a g e si sd e v e l o p e di nt h ep a p e r , 黝t h eb a s i s o fn o 州i n e a rl e a s ts q u a i 罄s 谯e o r y , t h es y s t e mo fn o n l i n e a re q u a t i o n si se s t a b l i s h e db y m i n i m i z i n gt h ee r r o rq u a d r a t i cs u mo f t h e o r e t i c a la n da c t u a lg r a yl e v e lo ft h ep o i n t so nt h e t y p i c a ls u r f a c e ，a n dt h ep a r a m e t e r so f t h e i t l u m i n a t i o nm o d e l sc a nb ed e t e r m i n e d b y m e a r l so f t h el e a s t - s q u a r e sp r o c e d u r e 。an e ws y s t e mo fn o n l i n e a re q u a t i o i l se a 鞋b ef o r m e df r o mt h e v 嘶a t i o ng r a yo fs a m ep o i n ti nm u l t i p l ei m a g e sa n dt h eo p t i m u ms o i u t i o no ft h es y s t e mc a n 丈连理工夫学搏掌毽论文 b eo b t a l n e d ，s ot h a tt h en o r m a lv e c t o ra tt h a tp o i n t o ft h es u r f i c ee a l 3 _ b ed e f i n e d t h e nw e c a l l 9 0 tt h es u l r f a c eh e i g h ta tt h ep o i mb ya p p l y i n gc o m p o s i t e n u m e r i c a li n t e g r a t i o n a c c o r d i n gt o v a f i a t i o n a lc a l c u l u sa n df i n i t ed i f f e r e n c em e t h o d ，t h ef i t t e d s u r f a c ei s 翘t h e ri t e r a t e da n d m o d i f i e d ，s ot h er e c o n s t r u c t i o n e r r o rc a nb er e d u c e d - t h ea c c u r a c yo ft h ea l g o r i t h mi sv e r i f i e dw i t hs y n t h e t i ca n dr e a li m a g eo fs p h e r i c a l s u f f a c 。曩弛r e s u l to fe x p e r i m e n ta n d c a l c u l a t i o ns h o w st h a t 甑a l g u r i mi se f f e c t i v ea n d f e a s i b l ea n dh a ss t a t e da p p l i c a t i o nv a l u e 3 ds u r f a c er e c o n s t r u c t i o n s o f t w a r eb a s e do n2 d g r a yi m a g e sh a sb e e nd e v e l o p e d w i t hv i s u a lc + 十p r o g r a m m i n gl a n g u a g eo nt h ep l a t f o r mo f w i n d o w so p e r a t i o ns y s t e m k e yw o r d s ：r e v e r s ee n g i n e e r i n g ，s u r f a c e ，i m a g em e a s u r e m e n t ，i l l u m i n a t i o n m o d e l ， s h a p e f r o m s h a d i n g ，s u r f a c e r e c o n s t r u c t i o n 第一章绪论 第一章绪论 1 1 论文背景 复杂曲面( 又称自由曲面) 的测量技术广泛地应用于工业生产的各个部门，例如飞机、 汽车、船舶、模具制造业等工业部门，都经常要进行大量的复杂曲面的测量与加工工作。 所谓复杂曲面的测量就是利用各种测量方法，获得复杂曲面物体表面的三维几何尺寸数 据。利用这些数据，一方面可以对已知物体的制造误差进行检验和评定，另一方面还可 以与c a d 模型重构软件相结合，自动建立被测物三维模型，即从已有物体得到基于计算 机模型的创造过程实物反求，得到的模型将用于以后的分析和制造。 传统的复杂曲面测量方法是以三坐标测量机( c m m ) 为代表的接触式测量方法，尽管 采用该方法可以达到很高的测量精度，在许多场合仍被广泛应用，但也存在许多缺点， 如由于采用接触式测量，易于损伤测头和划伤被测表面：测量过程中需要人工干预，自 动化程度低；价格昂贵；对使用环境要求高：由于测量时采用逐点扫描，测量速度慢， 效率低。 进入八十年代后，随着计算机技术、光电技术和计算机视觉理论的发展，基于光学 原理、以计算机图像处理为主要手段的三维复杂曲面非接触式测量技术得到了飞速发 展，出现了各种各样的新测量方法“1 ，尤其是结构光照方法，如投影光栅曲面测量方法 1 2 5 j 、编码光投影曲面测量方法“。73 等等都达到了较高的测量精度。而直接由物体的二维 图像灰度信息恢复物体表面三维几何形状( 即由明暗恢复形状) 的曲面测量方法”1 ，虽 具有不受光源限制、便于现场操作、信息量大等优点，且一直倍受关注，但仍未在精度 上获得较大突破”1 。这是由于长期以来，描述这一物理问题的图像辐射度方程( i m a g e i r r a d i a n e ee q u a t i o n ) 的理论和算法没有很好地建立起来，其数值解法常是不稳定的，一般 对表面的均匀性和连续性非常敏感，因此没能获得较高的测量精度，限制了该方法的应 用。 然而，近年来，光度学理论和基于朗伯漫反射模型的图像重构理论获得了突破进展 “，这就使得由明暗恢复形状( s h a p ef r o ms h a d i n g ) 的图像测量技术成为可能。由明暗 恢复形状就是通过分析曲面的单幅或多幅二维灰度图像明暗关系，而获取曲面三维几何 形状信息的测量方法和技术。该方法能以自然方式提取物体表面的形状信息，且易于实 现系统间的信息集成，尤其是属于非接触测量方法，工作距离远，对环境要求低，特别 适合于测量由弹性模量低的易变形材料制成的零件，具有应用前景，近年来成为基于视 觉的图像测量领域研究的难点和热点问题。本论文的研究工作就是在这一背景下提出 的，并得到国家自然科学基金的资助。其主要工作是以高分辨率的数字相机为实验手段， 以光度学原理及非线性偏微分方程理论和数值解法为基础，探讨根据曲面的二维图像灰 度信息获取曲面三维几何形状信息的理论和方法，并利用优化方法确定光照模型的光照 参数，以减小模型参数不准确带来的测量误差，发展由明暗恢复形状的复杂曲面非接触 测量的理论方法和技术，为促进该方法的实用化做出贡献。 大连理工大学博士学位论文 1 2 1 测量方法分类 1 2 曲面测量方法综述 随着反求工程和快速原型制造技术的发展，如何高效率、高精度的提取物体表面的 三维信息已成为反求工程中的首要任务“”，只有获得三维坐标信息，才能实现曲面的重 构和制造。三维数据获取( 又称数字化) ，也就是指采用某种测量方法和装置测出物体表 面各点的三维几何坐标。目前工业中用于三维数据获取的方法有很多种，概括起来可分 为接触式测量方法和非接触式测量方法两大类，如图1 1 所示，每种方法都有各自的优 缺点和不同的适用范围。 图1 1 测量方法的分类 f i g 1 1c l a s s i f i c a t i o no f m e a s u r i n g m e t h o d 1 2 2 接触式测量方法 接触测量方法”“是一类被广泛用来获取物体形状数据的方法。接触测量方法通常使 用机械手来接触物体表面，通过安装在手关节上的传感设备确定相关点的坐标位置。这 些方法大多由于检测设备的局限性而受到限制。例如，给三轴磨床安装探针，将其作为 一个接触式测量系统使用，则它对凹曲面就不太有效。目前可用于接触式测量的机械手 种类很多，其中包括最先进的机械手( 更少的噪声干扰，更高的精确性和更好的重复性 等) ，但它们是一种读取数据最慢的方法。 三坐标测量机( c m m ) 是另一种使用较广泛的接触测量方法，尽管该方法可以达到 很高的测量精度，但是由于测量过程中容易损伤测头和划伤被测表面，测量过程需要人 工干预，自动化程度低，价格昂贵，对使用环境要求高等缺点，其应用范围受到限制。 此外，由于测量是采用逐点扫描的方法，测量时间较长，因此这种方法不太适用于快速 制造等对测量时间有要求的场合。 苎二童堕丝 一 -，_h_一一。 1 2 3 非接触式测量方法 随着计算机技术和光电技术的发展，基于光学原理、以计算机图像处理为主要手段 的三维复杂曲面非接触式快速测量技术得到了飞速发展，各种各样的新测量方法应运而 生。一般按照物体被照明方式的不同大致可以分为主动测量法和被动测量法两大类。前 者是使用一个特殊的光源装置产生一束光( 点、线或条纹) 照明物体，并用相应的接收器 件接收由被照射物体所反射的光线，从中得到目标物体的三维空间坐标，比较典型的有 主动三角测量法- ”和相位测量法。“。后者则是直接由自然光照明物体，从一个或多 个摄像系统获取的二维图像中提取距离信息，形成三维面型数据，如与人的双目体视原 理相似的立体视觉法”1 和直接由图像灰度信息恢复物体三维形状的s h a p ef r o m s h a d i n g ( 简称s f s ) 方法等等。下面简要阐述了上述各种测量方法的原理和特点。 一主动测量方法 ( 1 ) 三角测量法 三角测量法又称主动三角形法，是基于光学三角原理，根据光源、物体和检测器三 者之间的几何成像关系确定空间物体各点的三维坐标，实际测量过程中，常用激光作为 光源，c c d 摄像机作为检测器。三角形法的测量原理如图1 2 所示1 ，一个焦距为厂的 c c d 摄像机放在x 轴上，透镜中心在原点0 处，b 为发射光源和摄像机的水平距离， 称为基线距离，z 轴与基线重合。 目为发射光源发射的光束与z 轴的 夹角，( x ，y ，z ) 为空间中任一点的 坐标，( “，v ) 为空间点在摄像机成 像平面上的投影坐标。这样，根据 三角几何关系，就可由( ，y ，占) 计 算出被测物体空间坐标( x ，y ，z ) ， 关系如下所示： 6 厂 z = = 一 声t 9 8 一“ 凸v f c t 9 8 一u b u z = 一 弦t 9 0 一1 ( 1 1 ) ( 1 2 ) ( 1 3 ) j 3 d ( x , 功 j f 彳 r? 一。么 1 f u 摄像机 图1 - 2 主动三角形法测量原理图 f i g 1 2m e a s u r i n gp r i n c i p l eo fo p t i c a lt r i a n g u l a t i o n 主动三角测量法已有很长历史，理论成熟，结构简单，其中激光三角形法是目前最 成熟，也是应用最广的一种方法：它测量速度较快，准确度高，测量精度可以达到1um ， 已广泛应用于工业、测绘、航空、航天、军事等各个领域。但这种方法也存在不足之处， 当光束投射到物体表面上时，由于被测表面散射光含有正反射成分且被测表面倾斜引起 接收光功率的质心偏移，测量精度随入射角( 光束与被测点法线的夹角) 的增加而降低， 有时甚至使测量失效。 大连理工大学博士学位论文 ( 2 ) 相位测量法 相位测量法又称投影光栅法，是把光栅图样投影到被测物体表面，由于受到被测表 面高度的调制，光栅影线发生变形，通过解调变形光栅影线，就可得到被测表面高度信 息。原理如图1 3 所示。“，入射光线p 照射到参考平面上的4 点，放上被测物体后，p 照射到被测物体上的d 点，此时，从如图所示的方向观察，a 点就移到了新的位置c 点， 距离a c 就携带了表面高度信息h ( x ，y ) 。变形光栅影线可以理解为相位和振幅均被调制 的空间载频信号。如为正弦光栅投影，物体上各点光强可表示为： ，( x ，_ y ) = a ( x ，_ y ) + 6 ( x ，y ) c o c o x + 口( x ，y ) 】 ( 1 4 ) 式中，a ( x ，y ) 和b ( x ，y ) 分别表示背景和表面反射率的变化， 是投影到参考平面的光栅 图样的空间频率，相位函( z ，y ) 对应物体上各点的高度h ( x ，y ) 。尽管该方法在相位高 度转换中也使用三角原理，但与三角法有较大区别，其核心是相位的测量。 相位测量法的固有特征是对整 幅图像的数据进行处理，而不是逐 点式或局部的处理。在系统构成上 不需要扫描运动机构，照明光源可 以是相干光，也可以是非相干光， 因而测量范围大，速度快，成本低， 易于实现。测量表面起伏不大较平 坦的物体时，相位测量法的精度与 三角法相当，可达到lum 左右，其 应用领域主要是医学三维成像、工 业计量、检测及装配等方面。这种 方法测量的不足之处在于，对表面 变化剧烈的物体进行测量时，在陡 峭处往往会发生相位突变，从而使 测量准确度大大降低。 l 扩 被铡面 一彳贰7 l 义参 图1 3 相位测量法原理图 f i g 1 3p r i n c i p l eo f p h a s em e 跏e m e m 面 二被动测量方法 ( 1 ) 立体视觉法 立体视觉的研究工作是从6 0 年代中期开始的。美国m i t 的r o b e r t 完成的三维景物 分析工作，把过去的二维图像分析推广到了三维景物”“，这标志着立体视觉技术的诞生， 并在随后的2 0 年中迅速发展成为一门新的学科。特别是7 0 年代末，m a r t 创立的视觉计 算理论”。“3 对立体视觉的发展产生了巨大影响，现已形成了一个完整体系。 立体视觉测量是建立在计算机立体视觉理论上的三维测量方法，伴随着计算机图形 图像处理、光电技术和生理心理学等相关学科的发展而日趋成熟的。其基本原理与人类 双目视觉的立体感知过程类似：即从两个或两个以上的视点观察同一物体可以得到不同 视角下的感知图像，通过计算分析不同图像中同一像点的不同视差来获取物体表面的三 4 第一章绪论 维空间信息。 若不考虑各种成像误差对图像质量的影响，利用摄影空间中物、像一一对应的透视 几何关系，可以建立如图1 4 所示的成像透视模型”。 根据此模型，可以得到像点坐标与物点坐标之间的成像关系式，如下所示：( 以图 中左摄像机s 为例) x：，al(x-xs)+bl(y-ys)+cl(z-zs) 。口3 ( z 一j 0 ) + b 3 ( y r s ) + c 3 ( z z i ) v：，a：(x-xs)+b2(y-ys)+c2(g-2s) 。 。口3 ( x 一爿j 1 + b 3 ( y m 订+ c 3 ( z z n ( 1 5 ) ( 1 6 ) 式中，z ，y ，z 为像点坐标( 这里z = f ，厂为摄像机焦距) ；x ，】，z 为物点坐标：z 。，t ，z 。 为摄像机s 在物方空间坐标系中的坐 标；口，b ，c ，( i = 1 ，2 ，3 ) 为像方空间坐标 系0 一x y z 三轴与物方空间坐标系 0 一如 z 三轴之间的方向余弦，由摄像 时相片所处的空间状态( 偏角毋、倾角 、旋角k ) 来确定。 由上述成像关系式可知，若已知同 一图像上三个以上像点坐标 ( x ，y ，z 。) ( i = 1 ，2 ，3 ) 及与之对应的物 点坐标x ，j 】：，z ( i = 1 ，2 ，3 ) 组成六个方 程式，即可解算出待定的 z ，e ，z 。，办，k ( 称为“外方位元素”) 等系数，以确定左摄影机& 的成像模型。 当左、右摄像机成像模型均确定以后， 就可据此测量目标物表面在此模型范围 内任一可见点的物方空间三维坐标。 图1 4 立体视觉成像透视模型 f i g 1 4m e a s u r i n gp r i n c i p l eo f s t e r e o v i s i o n 被动立体视觉测量的原理源于近景摄影测量。”，硬件的实现与不断进步的光电、摄 像和计算机技术紧密相关，而软件实现的核心则是计算机视觉理论。这种方法对应用场 合要求较宽松，适应面宽，效率高，硬件成本低，高度计算机化，特别是测量时不受物 体表面反射特性的影响，因此广泛应用于机器人视觉、航空测绘、国防科技及工业自动 监测中。但这种方法中，对应点的立体匹配一直是很难解决的问题，对匹配点的精度和 数量要求较高，算法复杂，耗时较长。在物体形状复杂，基线距离较长时，由于受各种 遮挡或阴影的影响，被测点有可能不出现在所有图像中，因而无法进行匹配，如果缩短 基线长度，有可能减弱遮挡的影响，但匹配精度会下降，影响测量精度。 ( 2 ) 由明暗恢复形状法 大连理工大学博士学位论文 在前面讨论的三类测量方法中，基本上都是用图像点的位置与摄像机的几何模型之 间的关系来计算三维物体的几何形状，图像上各点的灰度值只是用来计算图像点的特 征。事实上，图像上各点的灰度值反映了三维物体对应点上反射光的强度，由物理光学 与几何光学的分析表明，反射光的强度与物体表面的几何形状有直接关系。因而，由图 像灰度来恢复三维物体几何形状( 由明暗恢复形状) 就成为计算机视觉中的一个重要研 究方向。 由明暗恢复形状方法的物理基础是电磁波理论中的辐射度学和光学中的光度学。物 体表面的光照模型，描述了物体表面在光源照射下入射光与反射光强度之间的关系，同 时还反映了在用摄像机或数字相机观察物体时，物体表面点反射光强度与它的图像点亮 度之间的关系，利用这些原理，在计算机视觉图像测量领域主要发展了两种由图像灰度 恢复三维物体形状的方法，即由单幅图像灰度恢复物体形状( s h a p ef r o ms h a d i n g ) 方法 和光度立体法( p h o t o m e t r i cs t e r e o ) 。 一般情况下，物体表面的灰度分布主要与以下因素有关：物体表面的几何形状、光 源的方向和强度、观察者的位置以及被光线照射物体表面的反射特性，其中物体表面形 状的逐渐变化引起图像的灰度平滑变化。对于表面反射均匀的漫反射体，在理想的成像 条件下( 光源和摄像机无穷远) ，根据朗伯光学定律，图像的灰度与物体表面方向满足以 下关系，称为图像辐射度方程 i ( x ，y ) = r ( p ，g ) ( 1 7 ) 式中，l ( x ，y ) 为图像在像素点( x ，y ) 的灰度；e ( p ，q ) 为物体表面方向( p ，q ) 的反射图。 由明暗恢复形状的方法就是如何在一定的约束条件下由图像的灰度i ( x ，y ) 计算出物体 的表面方向( p ，q ) 。 最初由明暗恢复形状方法就是利用该图像辐射度方程，从单幅图像的灰度信息中获 得物体表面的形状信息。但由于 该方程有病态特性，其解法一直 是很难解决的问题，尽管目前已 经有人用直接方法或间接迭代方 法进行求解，但都存在某些方面 的缺陷和局限性。因此，尽管该 光源s 方法一直受到关注，但并未在精、 度上获得较大突破，离实际应用 、 尚有一段距离。 光度立体法是由多幅图像灰 度与物体几何形状之间的关系来 恢复三维物体形状，原理如图1 5 所示“。与前面介绍的由多幅图像 点在图像中的几何位置来恢复三 维物体形状的立体视觉法相比， 光度立体法的一个突出优点是不 图1 5 光度立体法 f i g i 5p h o t o m e t r i cs t e l e o 一光源s 2 光源s 3 棼章绪论 需要做多幅图像之间对应点的匹配，这是因为，对于在不同光源照射下得到的多幅图像， 双察像置不变，图像中u 在图缘位置上静点都对应空阑阉一点，只是各点灰度姣不同。该 方法适用于光源位置可控制酶条件下测量三缭物体的形状。 l 。2 。蓬藏瑟溅爨方法毖较 尽管目前用于复杂曲面快速测量的方法有很多种，但在应用上都稀有优缺点，表1 1 主要对以上夯缨弱凡秘测量方法在精发、速度、成本及对表露载要求方嚣进行了篾单比 较。可以说，到目前为止，还没有一种在速度、精度蒋方面都十分完美的测量方法，鼹 待人们开发研究。 表i 1 各种测鬣方法的比较 t a b 1 1c o m p a r i s o no f m e a s u r e m e n t s 1分类精度速度成本表露限制 l三三坐标测鼗较高慢黼不易测量转体表面 变动三角形洼高较袂较商裘瑶不l 过于竞淆 相位测量法较高快低寝面变化币能过陡 立体褪觉法鞍高较抉较毹无 由明暗恢复形状法不高快低无 在这些测量方法中，三坐标测量仍然是一种通用的曲面测量方法，在某撼场合可阱 实现简单的非接触测攫，然耐，对予郧些流线型物体表面，如涡轮机叶片、汽车车身、 飞梳税翼等笺杂形体袋谣酶测量，涮存在着溯量速囊滢，可靠往较低，铡头探针容荔磨 损，软体表面不易测摄，测爨精度难以达到要求等缺点。随鬻计算机技术、光电技术和 诗舅专恁援觉磷究戆发嶷，采蠲棼接皴方式，敷主动测嶷法和被动测量法为主蚋三维复杂 曲面图像测熬技术应运而生，出现了各种各样的新测燕方法，并得到飞速发展，在某些 方面星现出逐步取代三坐标曲面测量方法的趋势，目前已成为基于计算机视觉的图像测 量领域中跑较活跃豹蓬要技零研究锈竣之一。 以上介绍的测量方法，如主动三角形法、相位测登法、立体视觉法以及由明暗恢复 形状法都属予图像测慧的范畴，作为龋的测擞方法，有各自的优点，也存在局限性。主 动三穗形法瑗论成熟、结构篱萃、测爱精度赢，涮营速度较茯，徨英测量精菠将睫免滋 入射角的增大而降低，甚至可能使测量失效，而且这种测量方法的成本也较商。相位测 量法测量范隧大、测整速度快、成本低，但这转测量方法当被测表磷变纯剧烈对，往往 会发生相位突变，从而使测量精度降低。立体视觉法对被测表面的要求较宽松、效率商、 硬件成本低，但该方法中对应点的立体匹配一直是很难的问题。由明暗恢复形状法的测 量精疫虽不楚缀毫，键这秘方法测量潜不受光源羧毒l 、蠖予骥弱操佟、测量遽疫茯、畿 本低，且易于实现系统间的惰息集成，是一种具有应用前景和研究价值的新测量方法。 总之，綦于视觉的图像测量技术作为一f 1 新兴的非接触测量技术，还有许多工作要 骰，黼内舞在这方蘸鄱开展了大量工作，亦联得了一定斡戒浆。 大连理工大学博士学位论文 1 3 基于视觉图像测量技术研究概况及应用前景 1 3 1 国内外研究概况 物体表面的三维测量是现代测试技术的一个重要分支，随着现代科学技术的发展和 现代制造业的进步，人们对物体表面的三维测量提出了越来越高的要求。二十多年来， 随着光电技术、计算机技术、计算机视觉以及图像处理等高新技术的发展，使得三维曲 面测量技术发展迅速，并在人体测量及医学诊断、生产过程监测及质量控制、交通监视 及航空管理、运动分析、三维物体测量及三维重构、以及复合材料变形研究等方面都得 到了初步应用。 图像测量技术是建立在计算机视觉研究基础上的一门新兴测量技术，是以现代光学 为基础，融光电子学、计算机图像学、信息处理、计算机视觉等科学技术为一体的现代 测量技术。物体表面三维几何尺寸和形状的图像测量是图像测量技术在计量领域中的新 应用。所谓图像测量就是在测量过程中，把图像作为检测和传递信息的手段或载体并加 以利用的测量方法，其目的就是从图像中提取有用的信息。对三维图像测量方法的研究， 日本、德国、美国、加拿大等发达国家开始得较早，大约从六十年代后期开始，提出了 许多新的测量原理和方法，如上节提到的主动三角形法、相位测量法及被动立体视觉法 等。已有利用该技术研制的仪器。图1 6 所示是德国“g o m ”公司出产的精密光学仪 器a t o s “，该系统基于光学三角形原理，不需任何平台，自动摄取图像，生成三维数 据，可以随意移动测头进行测量，所测数据会自动拼合，测量范围1 0 m m 1 0 m ，精度 达到每张照片0 0 3 m m ，整体达到0 1 m m m 。 图1 6 德国“g o m ”公司出产了精密的光学仪器a t 0 s f i g 1 6 a t o s o p t i c a li n s t r u m e n to f g o m c o m p a n y 国内在这方面也开展一些研究工作，如上海交通大学针对汽车车身开发的要求，利 用立体视觉，建立了一套适合于车身模型表面三维数字化的非接触测量系统。北京航 空航天大学将结构光投影于物体表面，利用光条畸变，建立主动式的结构光三维视觉系 统“。中科院自动化研究所开发了一种基于平面激光主动三角测量的三维信息获取和重 第一章绪论 建系统，应用于口腔医学”。此外，西安交通大学、天津大学等高校和科研院所也进行 了相关的研究“。 尽管国内外在基于视觉的图像测量技术方面都进行了大量的研究工作，但大都是围 绕激光三角形法和立体视觉法进行的。可以说这些方法的研究在某些方面已经比较成 熟，但任何一种测量方法都不是万能的，都有各自的优缺点和适用范围。主动三角形法 测量精度较高，但在某些场合测量速度不是很高，而且对被测量表面也有一定的要求。 立体视觉法尽管测量速度较快，但图像对应点的匹配一直是很难解决的理论和实践问 题。因此从研究现状来看，该技术还是一个十分年轻的领域，需要不断的发展和创新。 在诸多图像测量方法中，直接由物体的二维灰度图像恢复物体表面三维几何形状 ( 由明暗恢复形状) 的曲面测量技术，也一直倍受关注。该方法是h o r n 在1 9 7 0 年提出的， 在他的论文中引入“s h a p e f r o ms h a d i n g ( 由明暗恢复形状) ”这个名词”，并详细论述了 各种因素对图像灰度的影响，提出了通过照度方程从明暗恢复表面形状，并且用一种称 为“c h a r a c t e r i s t i cs t r i p ”的方法进行求解”“”1 。接着，h o r n 又引入反射图概念来完善照 度方程，反射图表示了表面方向或梯度空间与图像亮度之间的关系。后来，w o o d h a m 等人利用反射图研究出了光度立体技术“，他利用不同光照条件下拍摄的多幅图像求出 了表面梯度。“”3 。尽管这种方法由来已久，但由于描述这一物理问题的图像辐射度方 程的理论和算法没有很好地建立起来，其数值解法常是不稳定的，一般对表面的均匀性 和连续性非常敏感，因此没能获得较高的测量精度，限制了该方法的应用。1 9 9 8 年， m a r t i n 等人从逆向工程角度重新提出这一曲面测量技术。在其研究中采用了p h o n g 光照 模型并沿用迭代求解代数方程组的方法，先求睦面法矢后，再确定曲面“。由于其仍未 能突破原有实验模型和数值算法的限制“，也没有充分利用图像中的大量冗余信息，相 对误差较大。 由明暗恢复形状测量方法的物理基础是光度学理论。，近年来，随着虚拟现实技术 的飞速发展，光度学理论得到了深入研究，已提供各种精度的光照模型。“”1 ，如p h o n g “、 b l i n n 1 、t o r r a n c e s p a r r o w 和c o o k t o r r a n c e “。光照模型等。而且近年来发展起来的由 单幅灰度图像重构曲面的理论和方法也已趋于成熟，h o r n 针对图像辐射度方程的不确 定性，通过引入光强误差和表面光滑度误差，建立了计算表面方向的迭代算法“”3 ；通过 引入高斯球的概念，解决了在物体的遮挡边界上p 和q 之中的一个或全部会等于无穷大 的问题“1 ；为避免在采用表面方向积分法计算物体表面高度时，积分路径对其准确度的 影响，并考虑到迭代计算的初始边界条件以表面高度表示要比表面方向方便，进而提出 了高度约束条件“；后来人们又提出了快速恢复算法“”。哈尔滨工业大学对出单幅图 像恢复物体表面高度的算法进行了详细分析，并应用于实际焊接熔池的图像分析“3 。 尽管这些理论和方法是针对理想朗伯漫反射发光体而提出的，但已为解决其它光照模型 的图像重构曲面问题建好了理论框架，为开展由图像灰度信息重构曲面问题的研究奠定 了基础。 最近，美国o g 技术公司推出一种新型微观表面轮廓测量仪”( 图1 7 所示) ，其测 量精度已达亚微米量级，测量范围为2 8 5 m m 3 1 0 m m ，它也是采用光度学原理，测量 时将物体浸泡在液体中，通过数字相机测量与被测表面相接触一层液体的吸收光的强度 来重构被测表面三维轮廓。汕头大学对金属油漆的漆膜结构做出了简化假设