（机械电子工程专业论文）显微立体匹配及非接触无损快速三维测量研究.pdf

大连理工大学博士学位论文 摘要 基于体视显微镜( s t e r e ol i g h t s c o p e ，s l m ) 的显微立体视觉系统通过视觉反 馈实现二维或三维的高精度自动定位、导航，挖掘微观领域的三维信息用于三维空间尺 度的测量，在视觉引导、微操作、微装配及生物工程等领域有着广阔的应用前景。 本文结合微流控芯片检测的科研任务，针对显微立体视觉测量中精度、速度、稳定 性三大关键问题，以光学理论和数字图像处理为基础，研究了立体成像规律，形成了以 基于非均匀有理b 样条( n o n - u r n f o r mr a t i o n a lb s p l m e ，n u r b s ) 的透视二次投影显 微立体匹配、s l m 显微立体视觉双重折射变折射率校正、邻域i 临界s l m 显微立体遮挡 校正为核心的新s l m 显微立体视觉算法。 在研究弱视差显微立体视觉模型非线性透视投影耦合关系的基础上，首次提出了用 具有透视投影不变性的m 瓜b s 曲线的二次投影作为匹配基元的立体匹配算法，该算法 消除了透视畸变对立体匹配的影响，在搜索范围从6 0 个像素缩小到1 0 个像素的同时提 高了系统的稳定性和鲁棒性。 由于微流控芯片盖片的双重折射效应和显微立体视觉系统的复杂性，使芯片的精确 测量面临新的挑战。鉴于此，研究了s l m 双光路的相关性，提出并建立了s l m 显微立 体视觉双重折射交折射率校正算法，量化了s l m 双光路和盖片对测量精度的影响，实 现了对透明封闭容腔的非接触无损快速三维精确测量。 邻域临界s l m 显微立体遮挡检测校正算法是一种在真三维空间中将遮挡检测、遮 挡校正、校正检验融于一体的算法。抓住了遮挡的本质特征及弱视差显微立体视觉的非 线性特征，采用变支撑域遮挡临界点定位、局域灰度正反向立体匹配、空间遮挡临界点 正交验位的迭代过程，在图像空间挖掘物空问的三维信息，尤其是遮挡部分的深度信息。 在理论研究的基础上，开发了s l m 显微立体视觉三维测量软件，实现了大视场同 步观察、动态显示、非接触无损快速三维测量、微流控芯片实时检测。在物镜倍率0 7 9 0 倍下，测量范围横向为3 1 4 3 3 4 9 m m ，深度方向为2 6 6 0 0 6 9 r a m 。放大倍率为 9 0 倍时，扩展不确定度( 【，。) 横向为3 a t u n ，深度方向为5 2 v a n ，测量时问小于2 0 秒。弥补了扫描电镜、原子力显微镜、轮廓仪等测量设备视场范围小、测量速度慢、有 损、高成本等不足。 本文的研究解决了微装配、微操作中的精确定位与三维测量的难题，为s u 蚺显微 立体视觉技术的广泛应用奠定了基础。 关键词：显微立体视觉；立体匹配；n u r b s ；遮挡；折射 显微立体匹配及非接触无损快速三维测量研究 s t u d yo nm i c r os t e r e om a t c h i n ga n dn o n - c o n t a e t n o n d e s t r u c t i v er a p i d 3 d p h o t o g r a m m e t r y a b s t r a c t 麟f e e d - b a c kv i s i o nt h eb i n o c u l a rm i c r os t e r e o v i s i o ns y s t e mb a s e do ns t e r e ot i g h t m i c r o s c o p e 侣l m ) n l a k e si tp o s s i b l et oa c h i e v e2 d 3 dh i g ha c e t t r a e ya u t o - p o s i t i o n i n g , 3 d i n f o r m a t i o ne x t r a c t i o n , 3 ds h a p er e c o n s t r u c t i o na n d3 dm e a s u r e m e n t t h e r e f o r e ，i ti s e x t e n s i v e l yu s e d i nm i e r o m a n i p u l a t i o n , m i c r oa s s e m b l y ，m i c r or o b o tn a v i g a t i o na n d b i o e n g i n e e r i n g ，e t c b a s e do no p t i c a lt h e o r ya n dd i g i t a li m a g ep r o c e s s i n g ，t h em i c r os t e r e oi m a 西n gp r i n c i p l e o fs l mi ss t u d i e da n dan o v e lm i c r os t e r e ov i s i o ns y s t e mt h e o r yi sf o u n d e dt oa c h i e v e m i c r o f l u i d i c c h i p sd e t e c t i o n t a s l l l l ec o r e p a r t s o f t h e t h e o r y a 咒c o m p r i s e d o f 孙瓜b s b a s e d t w i c es t e r e op e r s p e c t i v er m c os t e r e om m c h i n ga l g o r i t h m , s l mb a s e dm i c r os t e r e o v i s i o n b i r e f r i n g e n e ev a r i a b l en 矗i a c t i v ei n d e xd ) e c t i o na l g o r i t h ma n dn e i g h b o r h o o dc r i t i c a lm i c r o s t e l o do c c l u s i o nc o r r e c t i o na l g o r i t h m 礅i m p r o v e st h r e ek e yp r o b l e m si n c l u d i n ga c e l l r 暂y , s p e e da n ds t a b i l i t yi nm i c r os t g a x 沁v i s i o nm e a s m ：e m c n l c o m i d e r i n gt h ew e a kn o n l i n e a r 弘班删v cp r o j e c t i o nc o u p l i n gp h e n o m e n o no ft h e w e a k d i s p a r i t ym o d e lo f m i c r os t e r e ov i s i o n , as t e r e om a t c h i n ga l g o r i t h mb a s e do nn u r b s i s d e v e l o p e dw h i c hh e l p st oc o p ew i t ht h ef a l s em a t c h e sd u et 0d i s t o r t i o no ft h ep c 稻p c 蛾i v e p r o j e c t i o n , r e a u c e st h es c a r e hr a n g ef r o m6 0p i x c e l st o1 0p i x c e l sa sw e l la si m p r o v e st h e s t a b i l i t ya n dr o b u s t n e s so f t h em e a s u r e m e n ts y s t e m a st h em i c r oc h a n n e l so nm i c r o f l u i d i cc h i pa c o v e r e dw i t hap l a s t i cp l a t e d i o p t r i c i m a g i n gw i nh a p p e no nb o t ht h et o pa n dt h eb o t t o ms u r f a c eo ft h ep l a s t i cp l a t e i na d d i t i o n , t h ec o m p l e x i t yo fm i c r ob 畦f , t y o o v i s i o ns y s t e mb a s e do ns l mm a k e sm e a s u r e m e n ta c c u r a c y m u c hl o w e r t h e r e f o r e ，t h ec o r r e l a t i o nb c t w e f f no p d c a lp a t h so fs l mi sd e r i v e da n dm i c r o s t e r e o v i s i o nd o u b l er e f i a e t i o nv a r i a b l er e f r a c t i v ei n d e xc o r r e c t i o na l g o r i t h mb a s e do ns l mi s i m p l e m e n t e d i tq u a a t i z e si n f l u e n c eo fg o v e rp l a t ea n do p a e a lp a t h so nt h el e f r a e t i v e c o e f f i c i e n t , a n dr e a l i z e sr a p i dn o n d e s t r u c t i v en o b - c o n t a c - - t3 dp r e c i s i o nm e a s u r e m e n to f h y a l o i da n dc l o s e dc h a m b e r n e i g h b o r h o o dc r i t i c a lm i c r os t e r e oo c c l u s i o nc o r r e c t i o na l g o r i t h me a t lr e a l i z eo c c l u s i o n d e t e c t i o n , o c c l u s i o nc o r r e c t i o na n dc o r r e c t i o nv e r i f i c a t i o ni nr e a l3 ds p a c e n l i sm e t h o d d r a w se s s e n t i a lc h 却鼍c t c ro fo c c l u s i o na n dw e a kn o n l i n e a rc h a r a c t e ro ft h ew e a kd i s p a r i t y m i c r os t e r e o v i s i o nm o d e la d o p t so c c l u s i o nc r i t i c a lp o i n t si nv a r i a b l en e i g h b o r h o o dt o p o s i t i o n , m a t c h e st h eg r a yf e a t u r ep o i n t sf o r w a r da n d 柳e 雠l o c a la r e s sd e t e r m i n e db ye d g e s i i 大连理工大学博士学位论文 a n dv e r i f i e so r t h o g o n a l i l yo f 3 ds p a c eo c c l u s i o nc r i t i c a lp o i n t st oe x c a v a t ed e p t hi n f o r m a t i o n w h i c hi st r a n s f o r m e df r o m2 di m a g es p a c et o3 do b j e c ts p a c e m o r e o v e r , t h ed e p t h i n f o r m a t i o no f o c c l u d e dp a r tc a na l s ob er e c o v e r e ds u c c e s s f u l l y r e l a x e di t c r a f i v em e t h o dc a n i n c r e a s es t a b i l i t yo f t h i sa l g o r i t h ma n di m p r o v em a t c h i n ga n dm e a s u r e m e n ta c c u r a c y b a s e do nt h o s ea l g o r i t h m sm e n t i o n e da b o v e ，am i c r o - s t e r e om e a s u r e m e n s y s t e mi s d e v e l o p e d , w h i c hr e a l i z e ss y n c h r o n i z a t i o no b s e r v a t i o ni nl a r g e rf i e l do f v i e w , r e a lt i m e s t e r e o d i s p l a y ，r a p i dn o n d 删v en o n - c o n t a c t3 dm e a s u r m c n ta n dr e a lt i m ed e t e c t i o nf o r m i c r o f l u i d i cc h i p s t h em e a s 嘲c a l tr a n g eo ft h es y s t e mi s3 1 4 3 3 4 9 m mi np a r a l l e ld i r e c t i o na n d 2 6 6 o 0 6 8 m mi nv e r t i c a ld i r e c d o bo nt h em a g n i f i c a t i o no f0 7 母o t h em e a s u r e m e i i ：t e x p e r i m e n t ss h o wt h em e a s u r e m e n ts y s t e mh a se x p a n d e du n c 斌a i n t y3 4 p mi np a r a l l e l d i r e c t i o na n d5 2 t i mi nv e r t i c a ld i r e c l i o no nt h em a g n i f i c a t i o no f 9 0 1 莨ss y s t e mm a k e su pf o rs u c hs h o r t c o m i n g so fs e ma n da f me , ss m a l lf i e l do fv i e w , l o w e rs p e e d , l o s s ym e a s u r e m e n ta n dh i 吐盯c o s t , e t c i naw o r d , t h ed i f 珏c u l t i e so fa c c u r a t e p o s i t i o n i n ga n d3 dm e a s u e r m e n ti nm i c r oa s s e m b l ya n dm i e r om a n i p u l a t i o na 咒s o l v e d t h e r e s e a r c hl a y sa s t r o n gf o u n d a t i o nf o rs l m m i c r os t c r e o v i s i o n sf u t u r ed e v e l o p m e n t k e yw o r d s ：m i c r os t e r e o v i s i o ms t e r e om a t c h i n g ；n u r b s ；o c c l u s i o n ；r e f r a c t i o n 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导下进行的研究工 作及取锝研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名： 大连理工大学博士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，厨意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名： 导师签名； 夏菱班 盟年月上日 大连理工大学博士学位论文 1 绪论 1 1 研究背景 随着科学技术的不断发展，微纳技术已经成为当今科技发展的前沿科学之一。在工 程、医学、医疗和生物等各个领域中。操作对象越来越小，因而迫切要求开发出以微小 物体为对象的微细作业方法和手段，如：微操作、微装配、微注射、微手术、微测量等 等。这些技术的显著特点就是尺度小，不能由人直接操作，必须借助于显微镜、电子藕 合器件( c h a r g ec o u p l e dd e v i c e ，c c d ) 等设备对微观物体进行放大，以便于观察和操 作，于是显微视觉也就应运而生了。具有视觉反馈功能的显微视觉系统有助于改善作业 环境，提高定位精度和自动化程度，对微小对象的安全及操作的稳定、准确具有重要意 义，已经成为微观领域的热门研究内容。显微镜是显微视觉系统的标志性设备，显微镜 技术的发展推动和加快了显微视觉系统的发展及应用，尤其是现代显微镜具有高倍率、 高分辨率和高清晰度等卓越性能，可以提供高质量的图像，极大地提高了显微视觉系统 的分辨能力。显微视觉的发展带动了相关理论与技术的进步，为了适应和进一步促进显 微视觉的发展，图像分析、图像处理与测量技术等均在不断地发展并涌现了大量新方法。 显微视觉中的显微立体视觉能够实现立体成像功能，近年来越来越受到重视，在微 操作、微装配、微注射、微测量等领域得到了广泛的应用。显微立体视觉系统不同于宏 观立体视觉系统的显著特点就是在成像过程中加入了放大环节，因此，显微镜是实现显 微立体视觉系统不可或缺的组成部分。扫描电子显微镜( s c a n n i n ge l e 蚰o nm i c r o s c o p e ， s e m ) 具有放大倍率高、焦深大、分辨率高等特点，是这一领域应用较多的一种显微镜， 但其不足之处是操作复杂且设备昂贵。相对于扫描电子显微镜，体视显微镜( s t e r e ol i g h t m i c r o s c o p e ，s l m ) i t 7 1 在这方面的应用相对少些。s l m 具有工作空间大、工作距离大、 便于微观对象的操作、非接触式观测、对微观对象无损伤和实时性好等优点，它的应用 日益广泛。由于显微视觉系统使用的显微镜多种多样，视觉系统的结构以及相关的研究 内容存在差异，为了与其它视觉系统区分开，本文把基于s l m 的显微立体视觉称为s l m 显微立体视觉，相应的视觉系统称为s l m 显微立体视觉系统。 大连理工大学微系统研究中心王立鼎院士、刘冲教授等于1 9 9 9 年开始微操作系统 的研究工作，2 0 0 0 年开发了面向生物微操作的微操作系统，在系统中使用s l m 和c c d 摄像机作为图像获取设备，通过s l m 显微立体视觉系统的反馈信息实现微操作定位 3 - q 。 另外，基于徼操作系统分期开展了视觉系统定位控依4 和三维显微测量研究，相继申请了 大连市青年基金项目。显微注射系统中的立体视觉技术研究( n o 9 9 - 6 9 ) ”和国家自然科 显微立体匹配及非接触无损快速三维测量研究 学基金项目“弱视差显微立体视觉模型及快速三维测量( n o 5 0 2 7 5 0 2 3 ) ”。本文在它们 的资助下，开展了显微立体匹配及非接触无损快速三维测量研究工作。 1 2 微流控芯片检测概述 1 2 1 微流控芯片 2 0 世纪以来的科技史上有两项发明影响深远，一项是微电子芯片，它是计算机和诸 多电器的心脏，改变了人类经济和社会生活的方式；另一项是生物芯片，它革新了医学 诊断和治疗的准确性，改变了生命科学的研究方式。从某种意义上说，如果2 0 世纪属 于微电子芯片的话，2 1 世纪则是生物芯片的时代嘲。 微流控芯片是微系统技术在分析化学领域应用的产物，作为一个跨学科的新领域， 它的产生、发展得益于微全分析系统( m i c r ot o t a la n a l y s i ss y s t e m ，“1 a s ) 概念的提 出唧，现己成为全世界研究领域的热点。它以分析化学为基础，以微机电加工技术为依 托，以微管道网络为结构特怔，以生命科学为目前主要应用对象，是当前微全分系统领 域发展的重点。它的目标是把整个化验室的功能，包括采样、稀释、加试剂、反应、分 离、检测等集成在微芯片上，且可多次使用。利用微流体在电场下的运动特点，可以在 微升甚至纳升级的流量中分析生物样品或试剂，分析速度成十倍百倍地提高的同时费用 成十倍百倍地下降，从而为分析测试技术普及到千家万户创造了条件。从1 9 9 5 年美国 加州大学b e r k e l e y 分校的m a t h i e s 等人在微流控芯片上实现了高速d n a 测序开始，关 于微流控芯片的研究和商业化的活动方兴未艾，现在已经被广泛应用在药物检测、新药 品研发、食品和商品检验、环境监测、刑事科学、军事科学、生物化学及航天科学等领 域【1 舢1 4 1 。 大连理工大学微系统研究中心于2 0 0 4 年研制出了塑料微流控芯片的自动化生产线。 图1 1 是大连理工大学微系统研究中心研制的微流控芯片，微沟道几何尺寸在微米量级。 1 2 2 微流控芯片检测 所谓微流控芯片检测，一是指对微流控芯片的加工质量进行检测，二是指对芯片上 的分析样品进行检测。本文中未作特殊说明的微流控芯片检测都是指前者，而且是对塑 料微流控芯片的检测。 在公开发表的文献中，多采用轮廓仪测量微流控芯片上的微沟道横截面尺寸 1 s a q ， 也有采用s e m 进行测量的1 1 7 , 1 5 。为适应s e m 的检测要求，将芯片在检测区处锯断，横 截面用砂纸打磨后，超声清洗，烘干，制成受试截面。将带沟道的基片在检测区裁成适 当小片，清洗，烘干，制成受试片。将受试截面和受试片经离子溅射仪溅射金作为导电 大连理工大学博士学位论文 金属层后，在s e m 上迸行铡量。这两种方法所需的设备均较昂贵，测量费用高，测量 时闯长，尤其是后者。而且对于键合后的芯片，在进行测量前还需要将基片与盖片强制 性地分开，对于一批产品只能做抽样检测，无法满足快速批量化生产的要求。 目前对于微流控芯片非接触无损检测专项研究尚未发现，主要采用上述接触式破坏 性测量方法，其原因有以下几个方面： ( 1 ) 塑料透光性不好，键合后形成封闭容腔，给芯片的检测带来巨大困难。 ( 2 ) 塑料是绝缘体，导体半导体的测量方法不再适用或实现起来过于复杂。 ( 3 ) 微流控芯片的发展史较短，研究人员主要致力于芯片制作设备及工艺上。 图1 1 塑料微流控芯片( 大连理工大学) f i 晷1 1p l a s t i cm i c r o f l u i d i cc h i p ( d u t ) 1 3s l m 显微视觉系统研究现状 s l m 显微立体视觉的研究开始于2 0 世纪9 0 年代，以美国德克萨斯大学电子计算 机工程系k i m 等的研究为代表【1 9 】。他们首次建立了s l m 显微立体视觉系统，应用于微 观对象3 d 形状的观察，并描述了s l m 显微视觉模型和目标三维形状重构问题。他们的 研究打开了s l m 显微立体视觉研究的扉页。 1 9 9 4 年，瑞士联邦技术学院( 唧z ) 为了研制用于微机械装配的工具，开展了一 个以“微机器人”为主题的项目，目的是建立一个具有5 6 个自由度、在1 c m 3 的工作空 间内达到1 0 r i m 精度的微机器人系统，用于操作微小物体。c o d o u r e y 等在文献( 2 0 】中讨 论了两种3 自由度的微机器人设计，微蠕动机构和冲击驱动机构。并且，构建了基于微 蠕动机构的微机器人系统，如图1 2 所示，由一台s l m 、三台c c d 摄像机( 两台安装 在显微镜目镜上，一台安装在显微镜侧面提供侧面视觉信息) 、c r a l i l e o 图像卡、s g i 工 作站、r s 2 3 2 控制器和s u n 工作站组成。它的实时视觉反馈系统包括v m e 6 8 0 2 0 微处 理器和视觉卡，图像由安装在s l m 上的c c d 摄像机提供。操作者可以根据显示在屏幕 上的图像，用三维鼠标控制系统运作。如果实行视觉系统闭环控制，它可以实现半自动 显微立体匹配及非接触无损快速三维测量研究 化。操作者只要把指针放到屏幕的一个位置，3 d 蠕动机构就会朝这个目标移动。在显 微镜的视场内精度可达到5 1 t m 。p a p p a s 等在此基础上提出基于s l m 的视觉控制算法【2 1 】， 可实现3 个自由度的对象拾取和全自动放置，精度可达到亚微米级。为了获得对象的亚 像素级3 d 信息，在系统中采用高精度的模板匹配技术和显微镜标定技术，定位精度可 达到1 0 0 h m 左右。c o d o u r e y 在原有微机器人系统上，增加一系列可视控件和操作控件 组成图形用户界面。该界面可将操作工具、工作台和操作对象的当前位置和方向反馈给 用户，使用户可以进行快速、精确地操作。并且，通过在硅片上用1 0 0 1 n - n 的钻石排列 成e 1 耳验证系统的功能田盈j 。 ( 的微机器人系统框图 ( b ) s l m 显微立体视觉系统 ( c ) 视觉系统控制微夹钳夹取钻石 图1 2e t h z 的微机器人系统 f i g 1 2m i c r o r o b o ts y s t e mo f e t i - i z 日本冈山大学的s a n o 等从1 9 9 8 年开始研究一种以细胞微注射为目的的显微立体视 觉系统【蹦】，系统结构如图1 3 所示。该系统由两台c c d 摄像机、一台c m o 型s l m 、 一台计算机、一套图像处理系统和一个微操作针组成。两台c c d 摄像机分别安装在s l m 的两个成像接口上，采用透射光，获得左右两幅图像。在左右图像的基础上提出自己的 大连理工大学博士学位论文 算法计算操作针尖与操作物体间的工、y ，：距离，从而控制微操作针移动到目标位置或 刺穿目标对象，并可以控制微操作针刺入目标对象的深度。系统精度跟显微镜的放大倍 率有关。在图像分析和距离计算上花费的时问是影响该系统运行速度的主要因素，然而 微操作针运动的下一个位置的预测性大大减小了左右图像分析的区域，提高了处理速 度。以直径2 m m 的种子为操作对象，直径0 6 m m 、长2 0 m m 的微操作针为工具进行了 微操作的模拟试验。冈山大学的s a k i y a m a 等还利用相同的系统，通过立体视觉技术计 算玻璃电极和目标的3 d 距离，然后借助玻璃电极将荧光物质注射入老鼠大脑切片，从 而可以对不同部分的神经元形态学特性进行分析研究【2 7 j 。 ( b ) 实物图 图1 3 冈山大学的s l m 显微立体视觉系统 f i g 1 3s l mm i c r os t e r e o v i s i o ns y s t e mo f o k a y a m au n i v e r s i t y 2 0 0 0 年，韩国科学技术院( s t ) 的l e e 等搭建了一台用于微小零件装配的操作 系统，该系统的显微立体视觉系统如图1 4 ( b ) 所示。该系统由一台s l ，m ( l e i e a m z1 2 5 ) 、 三台c c d 摄像机( s o n y 公司的x c 5 5 ) 、d s p 图像卡( m a t r o x 公司的g e n e s i s ) 构 成。视觉数据从安装在s l m 上的c c d 摄像机得到，传送给图像卡。视场狭小会限制操 作工具的工作空间，视场广阔虽然可以提供足够的工作空问，但是却降低了分辨率，导 致视觉反馈控制精度下降。为了避免这一点，该视觉系统采用多重视觉，即在同一视点 用三个c c d 摄像机采集不同放大倍率和不同视场大小的视觉数据。既能提供足够大的 视场，又提高了分辨率，克服了光学显徼镜的局限性。在图像处理部分提出了微零件识 别、跟踪算法，包括去噪声、模板匹配等技术。为了减少计算量和提高反馈速度，引入 一种称为分级搜索的方法，在低放大倍率的情况下，通过模板匹配对操作对象进行实时 跟踪，然后根据得到的信息调整工作台使操作对象始终位于视场中心。这样不但可以避 免在高放大倍率时操作对象离开视场，还可以缩小目标识别的搜索范围。以程序控制式 显微立体匹配及非接触无损快速三维测量研究 振荡器i c 为操作对象进行了试验，验证了系统的可靠性，可以用于微装配系统啷l 。k i m 等在此基础上，利用遥控技术提出了一种基于可触摸可视界面的灵敏微操作系统，可以 处理灵活、复杂的微装配任务，并通过搬运各种微小物体和将微小钉子放入孔的实验验 证了该微操作系统的有效性 捌。 ( a ) 微操作系统框图( b ) s l m 显微立体视觉系统框图 图1 4 s t 的微操作系统 f 毽1 4m i c r o m a n i p u l a i i o ns y s t e mo f k i s t ( a ) 成像原理( b ) 齿轮表面重构结果( c ) 手指表皮粗糙度 图1 5 基于s l m 的条纹投影系统 f i g 1 5f r i n g ep r o j e c t i o ns y s t e m b a s e do r ls l m 德国斯图加特大学研究了基于s l m 的条纹投影系统( f r i n g ep r o j e c t i o ns y s t e m ) d 0 1 ， 成像原理如图1 5 ( a ) 所示。利用s l m 双目立体成像的特点，在其中一个成像接口上 安装满足正弦变化的光栅，用卤灯照射光栅，光束经过s l m 的子光路系统，入射到微 观物体的表面，经反射后的光束由另一成像接口上的c c d 摄像机接收，获得条纹采样 图像，根据条纹图像的相位变化计算微观物体表面的深度分布。该条纹投影系统主要用 一6 一 大连理工大学博士学位论文 于微结构分析和表面粗糙度测量，测量精度可以达到o 1 p m 。图1 5 ( b ) 、( c ) 分别是 该系统用于微观物体表面3 d 形状重构和表面粗糙度测量的结果。 美国南卡罗莱纳大学( u s c ) 自2 0 世纪8 0 年代就开始致力于利用图像相关性进行 变形测量的研究，s c h r c i c r 等在文献【3 l 】中讨论了基于s l m 显微立体视觉的微观物体变 形测量研究。利用图像相关性确定变形前后立体图像对的点对应关系，从而根据视觉模 型的标定参数和三角剖分方法重构微观物体的3 d 表面形状以及3 d 位移场。基于3 d 位 移场可以确定物体各位置的变形情况，测量结果与专用应变计量器的测量结果非常吻 合。视觉装置如图1 6 所示，由一台n i k o n 的s m z - u 型s l m 、两台p u l n i x 的t m9 7 0 1 型c c d 摄像机、两片b i t f l o w 的r o a d r u n n e r11 型图像采集卡与可调光纤环形灯组成。 图1 6u s c 的测量装置 f i g 1 6m e a s m c m c n ti n s l l a m c n to f u s c 图1 7l u t 的显微立体视觉装置 f i 晷1 7m i c r os t c r e o v i s i o ni n s t r u m e n to f l u t 瑞典吕勒奥大学( l u t ) 的i , 缸s s o n 等进行了类似的研究阎，利用3 d 数字斑点照 相法( 3 dd s p ) 测量微观物体的形状和3 d 变形。显微立体视觉装置如图1 7 所示，由 一台o l y m p u s 的s z x1 2 型s l m 、两台s o n y 的x c 7 7 c e 型c c d 摄像机和两片l c u t r o n v i s i o n 的p i c p o r t h 4 s 图像采集卡组成。水平面内的误差小于0 1 9 m ，深度方向误差是它 的三倍。 长春光学精密机械研究所是国内较早研究s l m 显微立体视觉的单位之一，始于 1 9 9 5 年，研制的微操作系统通过s l m 和两c c d 摄像机得到视频信号，由同步控制器 同步后，借助于立体眼镜使左右眼分别接收一路视频信号，从而实现立体感知，可用于 细胞微操作f 3 3 。3 s l 。从1 9 9 9 年开始，大连理工大学微系统研究中心接续长春光学精密机 械研究所的研究工作，基于s l m 显微立体视觉和人工智能技术研制了用于微操作、微 装配和微注射研究的微操作系统 3 6 , 3 7 1 ，如图1 8 所示。系统中使用c m o 型s l m ，两成 显微立体匹配及非接触无损快速三维测量研究 像接口上分别配备c c d 摄像机，可实现三维定位。随后哈尔滨工业大学( h r r ) 机器人 研究所以微机械零件装配为操作目标，s l m 作为视觉反馈，进行基于显微视觉和微力 觉柔顺混合控制的微操作机器人的研究，通过微小轴孔零件装配试验验证了系统的可行 性【3 8 j 9 】。该机器人由操作手、s l m 显微镜监视系统、图像采集处理系统、操作手运动控 制系统和力采集及信息处理系统组成，如图1 9 所示。河北工业大学研究的显微立体视 觉系统是在s l m 的基础上改造而成的，把两个目镜卸下，安装两个适配镜，然后把两 个c c d 摄像机安装在适配镜上，从而构成双目显微立体视觉系统。该系统能采集清晰 的图像，并且两个c c d 摄像机有很大的共同视野范固，利于立体匹配，采用两个c c d 摄像机平行放置的方案，数学模型简单，易于研究。北京航空航天大学图像中心根据 立体视觉的原理，设计实现了基于s l m 图像的立体测量系统，从图像采集、摄像机标 定、立体匹配到深度图生成，建立了完整的系统，可以对待测物体进行三维测量，并达 到一定的精度要求m j 。 (a)系统框图(”系统照片 图1 8 d u t 的微操作系统 f 唔1 8m i c r o m a n i p u l a t i o ns y s t e mo f d u t ( a ) 微操作机器人( b ) 显微视觉系统的组成框图 图1 9h i t 的微操作机器人 f i g 1 9m i c r o m m _ l i p u l a f i o nr o b o to f h i t 目前，显微视觉的产品主要由国外少数光学仪器制造商控制，如：v i s i o n 大连理工大学博士学位论文 e n g i n e e r i n g 、b i o s s c i c n c e 、o l y m p u s 等。图1 1 0 是英国v i s i o ne n g i n e e r i n g 公司研制的两 种基于s l m 的高精度测量系统。图1 1 0 ( a ) 是一种高精度低成本的二轴测量系统，最 大放大倍率为5 0 x ，装有多功能微处理器，提供数字视频。图1 1 0 ( b ) 是一种高精度 全自动三轴测量系统，可用于机械零件的尺寸测量。受到光学设备加工工艺的限制，国 内尚未有知名公司开发出自己的s l m 显微立体视觉产品。 ( a ) k e s t r e l 二轴测量系统( b ) h a w k 全自动三轴测量系统 图1 1 0 基于s l m 的测量系统 f 培1 1 0m e a s t u e m e n ts y s t e m sw i t has l m ( - l l l p ：w w w v i s i o n e n g 鲫n ) 由于s l m 独具的立体视觉优越性，s l m 显微立体视觉的研究近年来引起了国内外 研究机构的重视，并构建了各自的视觉系统，主要应用于3 d 定位和3 d 测量。s l m 显 微立体视觉系统融合了显微立体视觉技术、图像处理技术、电子技术、微操作技术和传 感信息技术，经过1 0 多年的发展，其理论和应用研究都取得了定成果，但是现有的 s l m 显微立体视觉系统普遍存在精度低、速度慢、稳定性差等问题，阻碍了其应用和 发展。因此，s l m 显微立体视觉与相关理论技术现已成为国内外研究的热点之一，各 国研究者都在不断地进行改进和完善，使其能应用于更广阔的领域。随着s l m 性能的 不断完善和制造技术的逐渐成熟，它将成为显微深度信息获取方法的主流。 1 4 立体匹配算法概述 立体匹配是寻找同一空间景物在不同视点下投影图像中像素间的一一对应关系。计 算机立体视觉是指通过分析和综合从不同视点捕获的两幅或多幅图像获得景物的三维 几何形体结构。从信息处理的角度看，一个计算机立体视觉系统必须顺序解决如下两个 问题：立体匹配和三维重构。三维重构的先决条件是立体匹配。当空间三维场景被投影 为二维图像时，受场景中诸多因素，如光照条件、景物几何形状和物理特性、噪声干扰 显微立体匹配及非接触无损快速三维测量研究 和畸变以及摄像机特性等的影响，同一景物在不同视点下的图像会有很大差异，准确地 对包含了如此多不利因素的图像进行无歧异的匹配，是颇为困难的，可以说是立体视觉 中最困难的一步。 1 4 1 立体匹配算法 立体匹配一直是计算机视觉的研究热点，每年都有大量的匹配算法出现。早在七十 年代和八十年初期计算机立体计算方法就被图像理解委员会( i m a g eu n d e r s t a n d i n g ( i u ) c o m m u n i t y ) 提出，并得到了a r p a ( a d v a c e dr e s e a r c hp r o j e c t sa g e n c y ) 的资助。在接下 来的十几年里，计算机立体匹配方法有了很大的发展。b a m a r d 和f i s c h l e r 在1 9 8 1 年回 顾了立体视觉研究的情况，主要总结了立体重构、评价准则以及当时比较有名的算法【4 2 】。 二十世纪八十年代是立体算法迅速发展的时期，在重要的国际国内期刊上每年都有大量 的标量信号的立体匹配算法涌现。b a m a r dst 【4 3 】和d h o n dur 嗍分别予1 9 8 2 和1 9 8 9 年 就立体匹配问题做出总结性的工作。在2 0 0 1 年的计算机视觉与模式识别会议 ( c v p r 2 0 0 1 ) 上，s c h a r s t e i nd 4 5 磷细地论述了标量信号立体匹配算法几十年来的发展情 况，从匹配算予、匹配策略、视差计算与优化等方面对立体匹配算法进行分类，并比较 了不同算法的性能，见表1 1 。 根据立体匹配算子作用范围及其约束条件的不同，立体匹配算法分为局部算法和全 局算法。在局部算法中，视差的计算依赖移动窗口内的灰度值，匹配输出经常产生不连 续现象，如协同算法闱。 全局算法充分考虑视差的连续性，对立体匹配进行适当优化，侧重于全局范围内寻 找最佳的匹配输出。常见的全局算法如模拟退火算法m 、概率分布算法【勰】、图形切片算 法1 4 9 等等。根据匹配基元划分，如基于特征的匹配算法【5 飞基于区域的匹配算法【5 1 1 等。基于区域的匹配方法的优点是直接对图像像素进行匹配，匹配结果不受特征检测精 度和密度的影响，可得到较高的密集视差表面。但是，对景物表面结构、光照反射和成 像几何敏感，而且区域灰度相关的假设意味着相关窗口内的像素都具有相同的视差，这 对含有深度不连续的区域是不成立的。特征匹配方法是有选择地匹配能表示景物自身特 性的特征，通过强调空问景物的结构信息来解决匹配歧异性问题，但匹配数据比较少。 根据相似度划分，有基于最小方差的匹配算法、基于相关性的匹配算法、基于绝对差的 匹配算法等。 文献【6 2 】分析了使用动态规划技术的匹配算法，该类算法将左右图像同一行的匹配 特征等效为动态规划的不同阶段与状态，在二维规划平面上搜索最佳路径获得最优匹配 输出。文献 6 3 】分析了以边缘线为匹配特征的动态规划匹配问题，将动态搜索的范围扩 大连理工大学博士学位论文 表1 1 立体匹配中的算法及优