（机械电子工程专业论文）基于散焦显微图像的三维重构方法研究.pdf

渐扛工业大学硕士论文 基于散焦显微图像的三维重构方法研究 摘要 基于体视显微镜( s t e r e ol i g h tm i c r o s c o p e ，s l m ) 的显微立体视觉系 统已用于微操作、微装配等领域，作用之一是通过视觉反馈实现二维 或三维的高精度自动定位，引导机械手完成指定的操作；作用之二是 挖掘立体视觉中包含的三维深度信息，用于三维信息的测量。本文研 究了s l m 显微立体视觉的成像机理、图像预处理、图像配准和利用聚焦 评价函数进行深度恢复等主要内容。研究的结果可用于小尺度对象的 三维信息测量和微操作、微装配中的三维定位。 本文研究的内容是使用单目显微镜进行物体表面的三维重构。由 于显微镜景深有限，无法通过一幅图像得到完整清晰的物体表面信息， 所以通过物体在z 坐标上的移动，显微镜对物体表面进行层层扫描，得 到显微序列图像，同时得到每幅图像初步的z 坐标值；然后提取出每幅 图像中的清晰区域，融合成一幅图像，得到一幅全聚焦图像；另一方 面，将序列图像中的每幅图像清晰部分进行聚焦测度计算，通过对聚 焦测度计算结果进行高斯插值得到每一点的深度；最后使用深度信息 对显微样本进行三维重构，得到显微样本的三维模型。 本文采用了显著边界特征匹配法，对图像进行自动配准，经过分 析和实验表明此配准方法能够达到高精度图像融合的要求；其次，分 析了小波算法在图像分解与重构中的原理及其融合规则，并在此基础 上采用了一种全新的基于能量规则的小波融合序列图像的方法，在实 i 浙江工业大学硕士论文 验中表明了小波能量融合的方法能相当好的抑制图像融合失真问题； 然后，本文使用计算图像熵的方法对图像清晰度进行评定，效果良好， 同时加以均值和标准差两种评价标准对本文所有的融合实验结果进行 了综合的评价，避免单一参量的片面性；最后，采用高斯插值算法来 估计精确聚焦位置，从而得到显微样本的物体表面深度信息，进行图 像的三维重构。 本文提出了根据提取聚焦部分图像的小波参数，分析聚焦部分和 模糊区域在小波变换域内图像能量分布密度的差异，以其高频部分与 低频部分的比值为特征参照值，取其最大值为新的小波系数的融合规 则。此方法能很好的判断、剔除成像中散焦部分及解决一些融合中的 失真问题，比常规的基于区域的以像素点取最大值的小波融合方法有 明显的优势。根据单目显微三维重构的特性，采用了高斯插值算法来 估计精确聚焦位置，从而得到显微样本的物体表面上每一点的深度信 息，得到目标物体的三维模型。 关键字显微序列图像，小波能量融合，图像熵评价，高斯插值，三维 重构 浙江工业大学硕士论文 r e s e r c ho fd e f o u c e s c r o s c o p ylm a g e 3 - ds u r f a c er e c o n s t r u c t10 n a b s t r a c t m i c r os t e r e o v i s i o nb a s e do ns t e r e ol i g h tm i c r o s c o p e ( s l m ) i su s e di n s o m em i c r o d o m a i n ss u c ha sm i c r o m a n i p u l a t i o n , m i e r o a s s c m b l y , e t c t h e r ea l em a i n l yt w op u r p o s e so fm i c r os t e r e o v i s i o n ：t h ef i r s ti st h a ti ti s u s e dt oa u t op o s i t i o ni nm i c r o m a n i p u l a t i o na n dm i e r o a s s e m b l yb yt h e v i s i o nf e e d b a c ka n dh e l p st h em e c h a n i c a lh a n dt oc o m p l e t et h ee x p e c t e d o p e r a t i o n ；t h es e c o n di st h a ti tc o n t a i n st h e3 dd e p t hi n f o r m a t i o nw h i c hi s u s e di nt h em e a s u r e m e n to f3 da t t r i b u t e s i nt h i sp a p e r , s o m ei m p o r t a n t i s s u e sc o r r e s p o n d e n tw i mm i c r os t e r e o v i s i o nb a s e do ns l ma r es t u d i e df o r s o l v i n gp r o b l e m so f m i c r op o s i t i o n i n ga n d m i c r om e a s u r e m e n t ，s u c ha st h e m a t h e m a t i c a l d e s c r i p t i o no ft h ei m a g i n gp r o c e s so fs l m ，t h ei m a g e p r e v i o u s l yt r e a t m e n t ，t h ei m a g em a t c h i n ga l g o r i t h ma n d ad e p t he s t i m a t i o n a l g o r i t h mi n t e r p o l a t e sas m a l ln u m b e ro ff o c u sm e a s u r ev a l u e st oo b t a i n a c c u r a t ed e p t he s t i m a t e se t o r e s u l t s & r i v e df r o mt h i sp a p e rc a nb eu s e dt o 3 dm e a s u r e m e n t so fo b j e c t sw i t has m a l ls c a l ea n d3 dp o s i t i o n i n gi n m i c r o m a n i p u l a t i o n ，a n dm i c r o a s s e m b l y t h em a i nc o n t e n to ft h i sp a p e ri sr e c o n s t r u c t st h eo b j e c ts u r f a c et o3 d s u r f a c eu s e o n e e y em i c r o s c o p e w ec a n t o b t a i nt h ec l e a ra n da l l i n f o r m a t i o nf r o mo n ei m a g eb e c a u s eo ft h el i m i t a t i o no ft h em i c r o s c o p i c f o c a ll e n g t h w ed i s p l a c et h eo b j e c ti nt h eza x i a ls ow ec a no b t a i na m 浙江工业大学硕士论文 s e q u e n c eo fo b j e c ti m a g e s ，t h e nw ep i e k u pt h ef o c u sa r e ai ne v e r yi m a g e a n df u s i o nt h e mi nai m a g e t h es u m - m o d i f i e d - l a p l a c i a n ( s m l ) o p e r a t o r i sd e v e l o p e dt op r o v i d el o c a lm e a s u r e so ft h eq u a l i t yo fi m a g ef o c u s a d e p t he s t i m a t i o na l g o r i t h mi n t e r p o l a t e sas m a l ln u m b e ro ff o c u sm e a s u r e v a l u e st oo b t a i na c c u r a t ed e p t he s t i m a t e si n f o r m a t i o nt or e c o n s t r u c tt h e o b j e c ts u r f a c et o3 d s u r f a c e f i r s t l y ，t h ep a p e ra d o p t st h ee d g ec h a r a c t e r i s t i ci m a g er e g i s t r a t i o n ，a n d t h ep r a c t i c a le x p e r i m e n t sp r o v et h i sa u t o - m a t c h i n gm e t h o di se f f e c t i v e s e c o n d l 弘t h er e s e a r c ha n a l y s e st h ep r i n c i p l eo fi m a g ed e c o m p o s i t i o na n d r e c o n s t r u c t i o nb a s e do nw a v e l e t - p y r a m i dm e t h o d f r o mt h ef o r m e r w a yt h e p a p e rp r o p o s e san e ww a v e l e tt r a n s f o r ma l g o r i t h mb a s e do nt h ee n e r g y f u s i o nr u l e s a n dt h en e w w a yc a nr e m o v et h ed e f o c u s e da r e a ss h o w e db y t h ee x p e r i m e n t a lr e s u l t a n dt h r o u g ht h ee n t r o p ya n do t h e r se v a l u a t i o n , t h e c o m p r e h e n s i v ee v a l u a t i o nr e s u l tw a sa c h i e v e d t h i r d l y ，i no r d e rt oo b t a i n 3 ds t r u c t u r e so f t h eo b j e c tt or e c o n s t r u c t i o nt h eo b j e c ts u r f a c et o3 di m a g e ， g a u s s i a ni n t e r p o l a t i o na l g o r i t h mh a sb e e ns e l e c t e dt oi n t e r p o l a t eas m a l l n u m b e ro ff o c u sm e a s u r ev a l u e st oo b t a i na c c u r a t ed e p t he s t i m a t e s b a s e do nt h ed i f f e r e n te n e r g yd i s t r i b u t i o n so ft h el o w - f r e q u e n c y b a n da n dt h eh i g h - f r e q u e n c yb a n d ，w h i c ha r ea c h i e v e db yd i s c r e t ew a v e l e t s t r a n s f o r m , a l lo r i g i n a lm e t h o df o rw a v e l e tc o e f f i c i e n tc o m b i n a t i o ni s p r o p o s e di nt h i sp a p e r i tt a k e st h er a t i oo ft h et w ob a n d s a sac h a r a c t e r i s t i c v a l u ea n dt h em a x i m u mv a l u ei sc h o s e na sa ni n t e g r a t i o nr u l ef o r 浙江工业大学硕士论文 d e t e r m i n i n g n e ww a v e l e tc o e f f i c i e n t s t h i sm e t h o dc a nr e m o v et h e d e f o c u s e da r e a sa n dr e d u c et h ed i s t o r t i o no ft h ef u s e di m a g e s f i n a l l y , t h e a d v a n t a g eo ft h ep r o p o s e df u s i o na p p r o a c hi sd e m o n s t r a t e dc l e a r l yb y p r a c t i c a le x p e r i m e n t s ，b yc o m p a r i s o nw i t hc o n v e n t i o n a la r e ab a s e dp i x e l s e l e c t i o nm e t h o d b e c a u s eo ft h ec h a r a c t e r i s t i co fa c q u i r ei m a g e su s eo n e s e n s o r , g a u s s i a ni n t e r p o l a t i o na l g o r i t h mh a sb e e ns e l e c t e dt oi n t e r p o l a t ea s m a l ln u m b e ro ff o c n sm e a s u r ev a l u e st oo b t a i na c c u r a t ed e p t he s t i m a t e st o 3 dr e c o n s t r u c t i o n k e y w o r d s ：m i c r o s c o p ys e r i a li m a g e ，w a v e l e te n e r g yf u s i o n , i m a g e e n f f o p ye v a l u a t i o n ，g a u s s i a ni n t e r p o l a t i o na l g o r i t h m , 3 dr e c o n s t r u c t i o n v 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙 江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明 的法律责任。 储躲悯观 嘞口 年y 月国日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“”) 作者签名： 翩签名饧彤易 日期：年月 日 日期：文口萨，月驴日 浙江工业大学硕士论文 1 1 选题意义与目的 第一章绪论 显微镜是一种应用非常广泛且较为普及的光学仪器，它通过光学系统的作用 放大被观察的对象，对微观组织结构进行显示，从微观形态来认识和研究对象的 特性。目前，它已广泛应用于生物学、病理学、细胞组织学、药物化学、遗传基 因、临床诊断、材料检测、航空与空间技术、地质和考古、电子元件性能检测和 分析等各个领域n ，。 目前，随着成像设备和技术的多元化，以及观测物体的微观化和自动化，传 统的光学显微镜在某些场合( 例如在工件表面检测中) 已不能满足广大科研人员 的研究需要，于是出现了电子显微镜等设备，然而在一般的研究场所中普通的光 学显微镜占了绝对多数的份额，这就急需对传统显微镜实施自动化和数字化，把 传统显微镜从以往的主体工具转变为一个“显微图像处理系统”的分支平台。 在目前材料检测技术中，大多数视觉系统采用显微镜作为视觉传感器。传统 显微镜本身景深短，使得到的图像局部模糊不清，然而所需观测的范围往往较大， 需要测量的部分包含了模糊的局部，如此仅仅依靠操作者根据透镜上的标定来主 观测量模糊的局部，这就对操作者的要求非常高，而且其中会有很大的人为误差， 这对于严格要求测量精度的场合来说是致命的缺陷 因为物体表面的凹凸不平以及显微镜的景深不够，一般的显微镜得到的是二 维散焦图片，当显微目标是三维复杂表面时，一般显微镜就不堪重任了。而复杂 表面的三维重构在逆向工程、计算机视觉、虚拟现实等领域具有重要的应用。必 须对工件表面做平整处理或多次调节显微镜高度，才能达到对工件表面的完整认 识。为了重构三维物体表丽形状，必须事先得到物体表面的深度图像数据。其中， 生物医学及材料科学的发展要求显微镜不仅要有切片级重建或体素级重建的功 能，而且，在更多情况下对显微目标只能进行无损分析，在保证显微目标完好的 情况下，也能精确地重现显微样本的三维轮廓结构。而随着计算机技术的发展， 对大容量信息的处理变得现实可行，显微物体的二维图像三维化指日可待了 本课题针对物体表面的凹凸不平以及显微镜的景深不够，通过显微镜物镜在z 轴上的移动获得显微序列图像，使整个序列覆盖物体在显微镜中的全部z 轴方向 信息每幅图像有聚焦清晰区域和模糊区域，然后在序列图像中通过一定的融合规 浙缸工业大学硕士论文 则获取每一个像素对应的聚焦清晰位置从而重建出一幅每一部位均十分清晰的图 像再通过聚焦分析恢复深度信息最后对深度信息进行插值拟合恢复出比较精确的 物体深度信息从而通过二维图像序列进行三维重建。 综上所述，本文提出的基于散焦图像的显微三维重构方法，具有适用范围广， 实用性强，可靠性好等特点。对于节约社会资源以及提高社会整体的检测水平具 有重要的价值和意义。 1 2 显微立体视觉 1 2 1 立体视觉研究概况 1 2 1 1 立体视觉研究及分类 立体视觉是计算机视觉研究的重要分支，一直是计算机视觉研究中的重点和 热点，它直接模拟了人类视觉处理景物的方式，可以在多种情况下灵活的测量景 物盼三维信息，其作用是其它视觉方式所无法比拟的。对它的研究，无论从视觉 生理还是工程应用角度来看都有重要的意义【2 l ，立体视觉的开创性工作是从上世纪 6 0 年代中期开始的，美国m i t 的r o b e r t 3 完成的三维景物分析工作，把过去的二 维图象分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随后的2 0 年 中迅速发展成- - f - j 新的学科。特别是7 0 年代末，m a r t 4 1 创立的视觉计算理论对立 体视觉的发展产生了巨大影响，现已形成了从图像获取到最终的景物可视表面重 建的完整体系，在整个计算机视觉中占有越来越重要的地位。立体视觉根据其感 知方式可以分为主动视觉和被动视觉两大类f 5 】： 1 ) 主动视觉：使用专用的光源向被测物体发射可控制光束，拍摄光束在物体 表面上所形成的图像，通过几何关系计算出被测物体距离的方法。主要有结构光 法和激光自动聚焦法，机构光法又可以分成光点式、光条式、光面式机构光法等， 这种方法可以获取较高的重构精度，但对作业环境要求严格，且设备价格昂贵， 应用范围有限。 2 ) 被动视觉：是指不向被测物体发射可控制光束，而根据直接拍摄的物体图 像进行距离测量的方法，主要有光度体视测定法、s h a p ef r o mx 法、单、双、多 目视觉法等。由于这种方法具有成本的和适应性强的特点，因而得到了较广的应 用，但其重构精度不高且算法复杂，执行效率较低。 2 浙江工业大学硕士论文 按以上分类方法，本文研究内容隶属于被动视觉中的单目视觉研究范围。 1 2 1 2 立体视觉系统的组成 通常一个完整的立体视觉系统可以分为图像获取、摄像机标定、特征提取、 立体匹配、深度恢复及表面插值等六个组成部分1 6 。根据不同应用场合和目的，立 体图像的获取方式也不尽相同，大致可以分为单目、双目和多目立体成像三种类 型。其中单目立体视觉只使用一个摄像机，从单幅或者多幅图像中恢复三维信息 的方法。实际应用中基于双目成像原理的立体视觉体统使用的比较广泛，因为它 是最符合人类视觉机理的一种机器视觉系统【7 1 。多目立体视觉系统的研究主要集中 在三日视觉上，当摄像机的基线增大时，遮挡严重，能重建的空间点减少，为了 解决这些问题就出现了三目立体视觉，即采用三个摄像机同时摄取空间物体，通 过第三目图像信息来消除匹配的歧义性，o u r w i t z 【8 】等人在这方面做了深入的研究 不论通过那种方法来获取立体图像，倒要考虑视点差异、光照条件、摄像机性能 及景物特点等诸多因素的影响，以利于后期的匹配计算 摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以便确定 空间坐标系中物体点同它在图像平面上的图像点之间的对应关系。对于理想的平 行视点模型，其外极线与图像扫描线是重合的，这就大大降低了立体匹配的复杂 性。对于一般存在旋转和位移的成像系统，都可以通过投影交换等手段得至q 理想 模型。摄像机标定大致可分为两大类【9 】，第一类是直接估计摄像机位置，光轴方向、 焦距等参数；第二类是通过最小二乘法拟合，确定三维空间点映射为二维图像点 的变换矩阵。建立一个有效的摄像机模型，除了能够精确的恢复出空间景物的三 维信息外，还利于立体匹配问题的解决。 特征提取是为了获取能代表图像整体或局部特征的匹配基元，这些基元可以 是图像的颜色信息，也可以是点、线、面等几何和结构特征，虽然目前用于图像 特征提取的方法很多特征基元也多种多样，但是还没有一种能普遍使用的特征提 取方法和特征基元，这也导致了立体视觉研究中匹配特征的多样性【1 0 1 一般来说， 大尺度特征有较丰富的图像信息，在图像中出现的次数较少，比较容易得到快速 匹配，但其定位精度较差描述困难。小尺度的特征数目较多，所含信息较少，在 匹配是需要较强的约束准则和匹配策略以克服歧义匹配和提高运算效率因而， 对于不同的景物特点应该采用不同的特征提取方法。 浙江工业大学硕士论文 立体匹配是立体视觉中最重要，也是最困难的问题。当空间三维场景被投影 为二位图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多 因素，如光照条件、几何形状、物理特性、噪声干扰、图像畸变以及摄像机特性 等，都被综合成单一的图像灰度值。因此，要准确的对包含了如此之多不利因素 的图像进行无歧义的匹配，显然是十分困难的。对于任何一种立体匹配方法，其 有效性都有赖于一下几个问题的解决【1 ，即：( 1 ) 选择正确的匹配特征；( 2 ) 寻 找特征间的本质属性：( 3 ) 建立能正确匹配所选特征的稳定算法。立体匹配的研 究都是围绕着这三个方面在工作，并已提出了大量各具特色的匹配方法。但是， 由于立体视觉匹配所涉及的问题太多，至今仍未得到很好的解决，特别是在复杂 场景中，如何提高算法的去歧义和抗干扰能力，降低实现的复杂程度和计算量， 还需要进行更深入的探索和研究。 当通过立体匹配得到视差图像后，就可以获取匹配点的深度，然后利用获得 的匹配点进行深度插值，进一步得到其它各点的深度，即对离散数据进行插值以 得到不在匹配特征点处的视差值，通过得到的数据进行三维重建，从而达到恢复 场景3 d 信息的目的。插值的方法有很多，目前比较常用的方法有四边域的b e z i c r 、 b 样条、n u r b s 等曲面插值方法，以及基于三角域的三角b o m s t e i n - b c z i e r 曲面插 值1 2 1 3 1 方法。针对特征点重构数据的特点，一般先对三维散乱点进行预处理和 d e l a u n a y 三角剖分，形成空问三角网格，然后再在每个三角形上构造合适阶次的 三角b - b 曲面片，并使各曲面片问满足一定的连续性要求【1 4 】( 在工程中常要求达 到g 1 连续) 。 以上几个部分构成了立体视觉的完整体系，其中立体匹配是研究重点和难点。 由于实际景物和场景的复杂性和不确定性，应该根据场景特点，采用相应的特征 提取和匹配方法和策略，以获得满意的重构结果。 1 2 2 显微立体视觉研究概况 1 2 2 1 系统的组成及其特点 随着微纳米与m e m s 技术的发展，人们对微观世界的研究已经由观察和认识 阶段发展到了改造阶段，并已用各种复杂的技术，如光刻、l i g a 、化学腐蚀等方 法制造出了微型零件，研制出了多种微型机器人及微型传感器，但这些还停留在 4 浙扛工业大学硕士论文 实验室阶段，要实现产业化和大批量生产。必然要高效率的生产工具和装配线， 而视觉监测系统作为一种重要的自动化手段，自然而然的被引入到了微操作和微 装配领域中，这就是显微立体视觉技术。微纳米与m e m s 技术的一个显著特点就 是尺度小，人工直接操作不方便且效率低，常需借助于显微镜、s e m 、c c d 等观 察设备对微观物体进行放大，利用放大后的图像完成指定操作“忉。与宏观立体视 觉系统相比，显微立体视觉系统在成像环节上增加了放大环节，这同时也增加了 系统标定和立体匹配的难度。 随着对微观领域探索意识的不断加强，对微小零件和细胞等微小物体的操作 已经逐渐开展起来，然而，在现有基础上通过显微镜对微小物体进行微操作还有 一定困难。微操作系统是在无法确定的环境下完成自动化任务，因此，视觉系统 在微操作系统中是极为必要的，称为微操作显微视觉系统，如图l 一、所示，微操作 显微视觉系统主要有以下几部分组成：( 1 ) 完成对被操作物体精确移动、旋转、 抓取等操作的操作手。( 2 ) 有足够的分辨率、并能从多方向观察操作对象的显微 视觉系统。( 3 ) 能不失真地记录操作过程、对象及工具位置信息地图像采集系统。 ( 4 ) 图像信息处理系统。( 5 ) 微操作控制系统。 各研究机构根据自己地操作对象在原有微操作系统地基础上建立了各自地显 微视觉系统。各显微视觉系统地组成虽略有不同，但均是在上述系统结构基础上 构建地。 图1 1 微操作系统简图 1 2 2 2 国内外研究进展 根据操作对象不同，各自地视觉系统也略有不同，但大多数是在原有微操作 系统地基础上增加了视觉反馈环节，从而获得更好地控制效果以实现自动化、半 浙江工业大学硕士论文 自动化操作 美国麻省理工学院d e n n i sm f r m a n 教授在d a r p a 资助下，于1 9 9 9 年开展 了一项名为“计算机显微视觉在m s m s 中应用”的研究项目，其研究目的是研究 开发一套用于m e m s 器件的可视化定位与运动测量软件，并结合光学显微镜、视 频图像处理及机器视觉技术。最终形成一个可靠的廉价的m e m s 器件检验与禊j 试 系统，如图1 2 所示这套系统通过一台显微镜和c c d 并辅以相应的图像处理软 件，具有图像清晰自动调节，自动聚焦的功能，它实现了对m e m s 器件三维位移 和转角的测量，其精度分别达到了纳米和弧秒，在u c b 微陀螺仪转角和运动检测 以及i v f l t 的微马达扭矩测量等多个实际测量试验中取得了令人满意的结果。为了 扩大它的使用范围，该项目的研究人员还在u c b 、c m u 等多所大学的传感器及执 行器实验室都安装了这套系统。实现了远程和网络化的测量。图1 3 是他们开发的 一套名为m i r o u 干涉仪计算机显微视觉系统，利用频闪观测仪来摄取m e m s 器件 的运动图像，可以实现对m e m s 芯片的三维高精度测量，其监督可达到亚纳米级 t 睡嘲美国l a w r e n c el i v e r m o r e 国家实验室研制的一种用于微组装的立体视觉系 统中，使用两个c c d 和一个焦深很小的显微镜组成的立体视觉系统，通过载物台 的垂直移动，获取聚焦面的切片图像，以此来获取物体的深度信息，其横向分辨 率达到l 微米，纵向分辨率达到1 0 微米。 是羔：纛霎 图1 3 采用m 舢干涉仪的计算机显微视觉系统( m i t ) 东京大学研制了纳米机器人系统的纳米手眼系统。该系统由实时视觉跟踪处 理器、实时图像处理器、扫描电子显微镜( s e m ) 、光学显微镜和主从操作手构成。 s e m 作为主监视器对主从手平面信息进行跟踪测量，光学显微镜作为从监视器对 垂直方向的深度信息进行监控。在纳米手眼系统帮助下，已经实现了直径l o 微米 的微粒子摆放操作和3 微米宽直线刻线工作。日本通产省机械技术研究所与大阪 6 浙江工业大学硕士论文 大学合作在研究双指微操作机器人基础上增加了光学显微镜，通过c c d 摄像机获 得指尖和微操作物体的平面位置信息，将这一信息传给控制系统实现对细胞的自 动化操作。此外还构建了显微镜的自动聚焦装置，对图像质量进行优化。该系统 完成了直径2 微米的玻璃球的抓取和在任意位置的放置操作实验：欧洲各国在显 微视觉方面经行了深入研究德国卡尔鲁厄大学( k a r l s r u h c ) 研制了m i n i m a n 机 器人，原有的m i n i m f l l li 型机器人和m i n i m a n i i 型机器人是在压电陶瓷驱动下的五 自由度机器人，该机器人可以实现精密移动，再配以管状操作手，可以精确完成 微操作任务。s c r g f a t i k o n 教授等人择此基础上增加了视觉传感器和力传感器， 研制了m i n i m a n 型机器人，在视觉系统引导下，机器人可在光电显微镜或扫描 电子显微镜下完成1 0 纳米以下的高精度微操作。该研究小组将视觉系统分为全局 和局部传感器系统进行分别研究并在显微视觉系统下的目标识别和深度信息获取 方法方面进行了探讨。瑞士洛桑大学采用激光扫描显微镜作为监视装置，利用激 光直接测量高度信息。 相对国外，国内研究起步较晚，山东大学的测试计量技术研究所研究了显微 镜景深自动扩展技术，利用数字图像处理技术，对多幅各层面聚焦图像进行处理， 得到各点均清晰聚焦的整幅图像。哈尔滨工业大学以微机械零件装配微操作目标， 以体式显微镜微监视系统经行了显微视觉系统的研究。大连理工大学微系统( m s t ) 研究中心王立鼎院士等从1 9 9 5 年开始微操作系统的研究工作，2 0 0 0 年开发了面向 生物微操作的有自己特色的微操作系纠“- 2 2 ，系统中使用s l m 作为图像获取设备， 通过显微立体视觉系统实现微操作定位 长春光机所是国内较早使用s l m 研究显微立体成像的单位之一，他们使用g 型 s l m 建立视觉系统，用于细胞等生物操作。南开大学机器人与自动化研究所研制 了面向生物微操作的机器人，该系统使用显微视觉系统定位，定位精度可以达到 微米级。 1 2 2 3 显微视觉系统的关键问题 1 ) 显微镜的选用。显微镜是微操作视觉系统中不可缺少的工具，显微镜可分 为传统光学显微镜和体视显微镜两大类，区别主要体现在：( 1 ) 观察角度：传统 光学显微镜只提供了一个观察方向，因此智能获得平面信息，体视显微镜提供两 个略有差别的角度进行观察，由于两幅图像存在视差，因此能以类似人的双眼的 7 浙江工业大学硕士论文 方式获得物体的三维信息( 景深) 。而传统的光学显微镜即使提供两个观察1 3 ，由 于两幅图像完全相同，也只能获得平面投影信息。( 2 ) 光源：传统光学显微镜通 常使用背透光源，因此要求被观察对象是透明或半透明的，如细胞等；体视显微 镜一般采用反射光源，所以操作对象可以是不透明的微机械零件或物体表明等。 ( 3 ) 放大倍数：传统显微镜的放大倍数在5 0 到1 2 0 0 之问，因此观察对象可以是 细菌等人眼无法看到的微物体，体视显微镜的放大倍数在5 到1 0 0 倍之间，因此 观察对象不可以过于细小，一般是针对入眼可以观察但无法得到准确信息的对象， 如微机械零件等。( 4 ) 调整难度：传统光学显微镜观察时可以通过更换目镜、物 镜来调整放大倍数，如果通过c c d 获取图像，就只能通过更换物镜来调整，因此 通常放大倍数是固定的；而体视显微镜一般采用连续变倍系统，可以获取多倍率 下的图像。 2 ) 视觉系统的标定。对于微操作系统而言，他的操作对象、操作工具都是微 米级的，确定这些目标的尺寸及在操作空问中的实际位置将十分困难，因为这不 仅要求标定的精度非常高( 微米级、纳米级) 。操作过程中放大倍数的调整，操作 对象位置的改变，以及显微调焦时，都应重现对操作空间进行标定，避免因此造 成的误差。因此。快速、准确的标定算法对视觉系统的标定显得尤为重要 3 ) 目标识别和自动聚焦。由于微操作视觉系统采用显微镜作为监视传感器， 而显微镜本身有视野小、景深短的缺点，因此操作工具和操作对象的移动极有可 能移出视野，使得操作无法进行另外，显微镜景深小，使得图像聚焦面以外部 分变得模糊不清，如果仅仅靠操作人员的主观判断，对操作者的要求就较高，存 在很大的人为误差，对于严格要求测量精度的场合来说，将直接导致测量精度的 降低，这就要求对每一个被检对象进行目标识别和自动聚焦的调整。所谓自动聚 焦过程，就是找到合适的自动调焦评价函数，这一函数应具有较强的抗干扰能力， 在所需要的调焦范围内具有唯一性、无偏性。常用的评价函数有：有效像素数、 均方差函数、能量函数等，但这些算法都是根据特有图像进行选择的，因此对象 不同可选择不同的评价函数以实现最好的调焦效果。 1 3 三维重构结果立体显示和及其研究进展 立体深度计算结果主要有两种表达方式：深度图( d e p t hm a y ) 和三维模型。深 度图是以灰度图像即二维的形式，以灰度值的大小来表示场景中某点的深度值， 浙江工业大学硕士论文 它包含的不再是颜色信息，而是深度信息，因而称之为深度图。相比之下，三维 模型的表示形式则比深度图的表达形式直观得多。就三维显示环境而言，常用的 有o p c n g l ，a u t o c a d ，m a u a b 等：就数据的显示形式而言，可以是三维点云数据， 也可以是重构的曲面和网格总之，与深度图相比，它具有多视角、直观以及便 于三维测量和虚拟场景构造等优点 显微立体视觉的最终目的是为了恢复显微场景和微观物体可视表面的三维信 息，就目前立体深度算法研究水平而言，无论是哪种深度计算方法都不可能恢复 出所有图像点的深度因而，对于一个完整的立体视觉系统来讲，都必须进行最 终的表面插值处理，即根据匹配获得的离散三维信息，恢复出完整的三维表面形 状。在曲面插值过程中，最重要的问题就是如何有效地保护景物表面的不连续信 息。蕊m s o n 根据物体的表面物理性质和景物成像特性，提出了表面相容性原理， 建立了正则化重构算法 2 5 1 , t c r c o p u l o s 基于g r i m s o n 的重构原理，提出了由粗到细 的多通道重构技术，改善了重构精度，加速了收敛过程【瑚。m a i t r e 等根据空间景 物的结构特点，提出了一种基于模型的内插重建算法，其原理是将图像分割成不 同的结构区域，采用一次二次曲面对分割区域进行最佳拟合，从而重建出不同区 域的三维距离【2 7 l 。此方法较好地保护了景物的不连续信息，适合于人工景物的处 理。 对于以边缘和区域为匹配基元的立体匹配算法，根据其匹配结果可以比较容 易地将一些面和线组合起来，恢复物体的形状，但这只适合于那些具有规则几何 外形的物体。实际上，更多的物体所具有的是不规则表面，对于这类物体的重构 中，更多的是选用点特征基元，最终获得的是离散的三维点云数据。但是由于误 匹配的存在，必定会产生一些误匹配点，这就增加了表面重构的难度，通常来说， 这类问题可以归结为散乱数据曲面造型的研究领域。散乱数据插值( s c a t t e r e dd a t a i n t c r p o l a t i o n ) 是- - 个经典的研究领域，其历史可以追溯到上个世纪2 0 年代，迄今 为止，与其相关的论著多达三干余部。目前，散乱数据插值技术已广泛地应用于 各类科学研究和工程技术中，如气象、勘探、环保、医学、科学可视化以及测量 造型等。在c a d c a m 中，散乱数据插值主要研究根据给定散乱数据点构造光滑 曲面的理论与方法。国外对散乱数据的插值曲面的研究始于六、七十年代， s h c p a r d 2 8 1 等研究了非规则分布数据的二维插值函数，f a r i n 2 9 贝1 提出了构造c 1 连 续三角b l s t e i l l b c z i e r 曲面的方法和步骤，从八十年代到现在国外对该领域研究 9 浙缸工业大学硕士论文 一直没有中断，并涌现除了大批的文献。国内对散乱数据插值曲面的研究始于8 0 年代，十余年来，已取得许多成果，其中包括山东大学、西北工业大学、南京航 空航天大学、北京航空航天大学、浙江大学以及其他研究机构多从事的理论与应 用研究【蚓 一般来说，根据给定散乱数据构造插值曲面过程可分为如下几步【3 2 1 1 ) 散乱点的预处理，如排序和干扰点的滤除。 2 ) 给定的散乱点进行三角剖分，并作必要修正。 3 ) 计算三角网格边界条件，构造初始三角曲面。 4 ) 构造整体g 1 连续的散乱数据插值曲面 对散乱数据的参数化造型，常用的方法是三角b e z i o r 曲面模型法。三角b c z i o r 曲面模型法作为一种新颖的曲面造型技术，由于构造灵活，边界适应性好，一直 受到重视。它在实际应用中是由一系列的曲面片光滑拼接而成，每个曲面片有自 己独立的三角形参数域，而相邻三角曲面片间的拼接满足一定的联系条件。在构 造三角b e z i c r 曲面的研究中，边界点可以通过边界起始型值点处的斜率和位置推 算得知，中心控制点虽然对边界线的连续性无影响，但对复合曲面的光顺性影响 很大。它的选取由其它控制点得出，并在拟合的过程中渐进调整，方法有f a r i n 提 出的“九参三次法”【3 3 】和p i p e r 的“六参数法”0 4 。由三角b e z i o r 曲面构成的复合 曲面的边界跨界连续性要达到c 1 比较困难，虽然可以通过提高维数来解决，但在 实际中保持g 1 几何连续更为普遍。 近年来，小波分析在计算机图像学中获得了广泛的应用，涉及的领域包括辐 射度计算、曲线曲面编辑、体绘制、图像编辑、体变形等。国外学者对闭区间上 的小波多分辨率分析做了深入的研究，他们利用b 样条小波，研究了b 样条曲线 和张量积b 样条曲面的多分辨率分析以及其在多分辨率编辑中的应用，并将其拓 展到了任意拓扑类型的曲面。与此同时国内学者也积极开展了小波技术的研究。 研究领域己经从信号处理、图象压缩和多尺度边缘检测拓广到了计算机图形学领 域，清华大学计算机系研究课题“小波分析在大规模散数据可视化中的应用”， 中科院计算所c a d 开放实验室研究课题“小波分析在三维医学图象重建中的应 用”，浙江大学a 吣，c g 重点实验室研究课题“基于小波的三维数据场特征分析 和特征绘制技术的研究”和北京航空航天大学从事的研究课题“小波分析在c a d 及真实感图形生成中的应用”等国家自然科学基金赞助项目反映我国的这一研究 1 0 态势 1 4 本文主要内容 普通显微镜获取全焦图像 酱通显微镜都有固定的景深，在纵向变化范围较大的情况下，难以各个层面 都清晰显示，增大放大倍数时更加明显。对一些深度大的物体边缘模糊由于图 像产生了模糊，令人无法高精度的测量尺度，大景深的镜片，一般的显微镜景深 有限，而有大景深透镜的显微镜造价又高。利用数字图像处理技术，对多幅各层 面聚焦图像进行处理，可以得到备点均清晰聚焦的整幅图像。 算法和评估问题 融合算法研究到如今，涌现出多种多样的各式算法。其中基于特征的融合算 法较优，而基于特征的融合方法中又以小波算法为佼佼者。本文使用的基于能量 融合规则的小波融合算法，经实验中经过定性评价以及熵值比较等定量评价，表 明不但图像融合的精度高，而且能纠正融合图像的一些失真问题。 对融合算法的评价，至今已有多种定量的方法。采用图像熵的概念，使用它 检测图像的清晰度，并用熵值比较和均方根误差方法比较融合方法的优劣。经过 多个实例证明，熵值比较和均方根误差方法都能很好的表达图像的清晰度。 图像配准问题 不同传感器或同一传感器在不同时间、不同视点获得的图像往往会存在差异， 这在目标探测系统、计算机视觉系统及图像融合中都是非常不利的，会使系统产 生对目标的误信息，消除这个差异的过程就称为图像配准。图像融合的前期工作 就是图像配准，因此，配准效果将直接影响到其后续图像融合处理工作的效果。 目前图像配准方法通常可以分为三类：基于像素的配准方法、基于特征的配准方 法和基于模型的配准方法 3 6 -