（机械电子工程专业论文）面向微流控芯片基于视觉的自动微装配研究.pdf

独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同一 作的同志 对本研究所做的贡献均已在论文中做r 明确的说明并表示了谢意。 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完伞j 解“大连理工大学硕士、博士学位论文版权使用规 定”，同意大连理工大学保留并向国家有关部f j 或机构送交学位论文的复印件和电子版， 允许论文被奇阅和借阅。本人授权火连理】大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：五弃由约 跏虢磁 勿壁年上月上h 人连理工大学硕士学位论文 摘要 微流控芯片是一种全新的微全分析系统，它能够用于化学药品检测，并具有低耗、高 效、快速等特点。目前较为常用的有紫外吸收、激光诱导荧光以及电化学法，紫外吸收检 测是技术上较为成熟、价格相对较低的检测方法。然而制作芯片的聚合物材料p m m a 只 能有限地透过紫外线，这样就无法对样品做出精确的检测。解决这个问题的方法是在微流 控芯片微通道的末端接上石英毛细管，样品的检测在毛细管上进行。微型功能器件以及接 口器件在微流控芯片上的应用，加快了微流控芯片实现产业化、商品化的进程。自动微装 配系统是实现微型功能器件、接口器件与微流控芯片装配的关键设备。 本课题是要把毛细管自动地装配到微流控芯片末端，实现毛细管与微通道的准确对 接。搭建的微装配系统包括三维工作台、微夹持器、视觉装置( 显微镜、图像采集卡、 c c d 摄像机) 、用于粘接的自动点胶系统和紫外固化灯。结合开发的微装配系统，采用 v i s u a lp + 编制出用于自动微装配作业的软件。视觉伺服的微装配方法实现了毛细管与微流 控芯片相对位置的检测与识别，从而控制工作台精确定位。本文综述了微装配技术国内外 现状及存在的问题和难点，对图像处理、检测与识别、深度信息提取的几种算法进行了比 较，确定了适合的视觉处理算法。通过对微装配系统和视觉系统的标定，得到图像坐标系 和世界坐标系的关系。对图像采集卡采集到的图像经过预处理、二值化、边缘检测得到待 识别物体的边缘图像，从而确定毛细管与微孔所选关键点的位黄坐标。竖直方向本文采用 了自动调焦和立体视觉两种方法来实现深度方向信息的提取，并对两种方法的优缺点作了 阐述。针对毛细管与微流控芯片装配问题作了实验研究，实验验证此自动微装配系统能够 成功完成毛细管与微流控芯片的装配任务。 关键词：微装配；视觉：微流控芯片；毛细管；联接 独钨：殛囊微流控，苎，；墼r 褪觉的自动微装配研究 r e s e a r c ho l lv i s i o n b a s e da u t o m a t i cm i c r o a s s e m b l y o r i e n t e dt om i c r o f l u i d i cc h i p a b s tr a c t p l a s t i cm i c r o f l u i d i cc h i pi san o v e lk i n do fm i c r ot o t a la n a l y s i ss y s t e m i tc a nb eu s e di n c h e m i c a la n a l y s i sw i t hr e s p e c tt os m a l la m o u n t so fs a m p l e s ，h i g ha n a l y s i ss p e e da n dg o o d s e n s i t i v i t y i tc a ne m p l o ym a n yp o p u l a rd e t e c t i o nm e t h o d si n c l u d i n gu va b s o r p t i o n ，l a s e ri n d u c e d f l u o r e s c e n c ea n de l e c t r o c h e m i s t r yd e t e c t i o n a m o n gt h e mu va b s o r p t i o nd e t e c t i o ni s t h em o s t p o p u l a ro n ew i t hl o wc o s t h o w e v e rd e t e c t i o np r e c i s i o nw i l lb ed e s t r o y e dw h e nu v r a d i a t i o ni s a b s o r b e db yp o l y m e rp m m am a t e r i a lo fm i c r o f l u i d i cc h i p t os o l v et h i sp r o b l e mo n em e t h o di st o i o i naq u a r t zc a p i l l a r yt ot h ee n do ft h em i c r o c h m m e lo fp l a s t i cc h i p i nt h i sw a yd e t e c t i o nc a nb e c a r r i e do u to nt h eq u a r t zc a p i l l a r ya n dd e t e c t i o np r e c i s i o ni sa s s u r i n g m i n i a t u r ef u n c t i o nd e v i c e a n di n t e r f a c ed e v i c ea r ea p p l i e dt om i c r o f l u i d i cc h i p ，w h i c hh a sa c c e l e r a t e dt h ei n d u s t r i a l i z a t i o n a n dc o m m e r c i a l i z a t i o np r o c e s so fm i c m f l u i d i cc h i p a u t o m a t i cm i c r o a s s e m b l ys y s t e mi st h ek e y e q u i p m e n tt or e a l i z et h ea s s e m b l yo f m i n i a t u r ef u n c t i o nd e v i c ea n di n t e r f a c ed e v i c e t h ed i s s e r t a t i o na i m st or e a l i z ee x a c tb u t tj o i n tb e t w e e nc a p i l l a r ya n dm i c r o c h a n n e lb y a s s e m b l i n gt h ec a p i l l a r yt ot h ee n do fm i c r o f l u i d i cc h i p s y s t e mb u i l tc o n s i s t so ft h r e ed e g r e e o f _ f r e e d o ms t a g e s ，m i c r o g r i p p e r ，v i s u a ld e v i c e ( m i c r o s c o p e ，f r a m eg r a b b e r , a n dc c dc a m e r a ) ， a u t o m a t i ca d h e s i v ed i s p e n s e ra n du vc u r i n gl a m pf o rm i c r o j o i n i n gw i t ha d h e s i v e s s o f t w a r ew a s d e s i g n e dw i t ht h et o o lo fv i s u a lc 十+ f o rt h i sm i c r o a s s e m b l yt a s ki nc o m b i n a t i o nw i t ht h e m i c r o a s s e m b l ys y s t e m w i t ht h ev i s u a lf e e d b a c kt h er e l a t i v ep o s i t i o n sb e t w e e nc a p i l l a r ya n d m i c m h o l ec a l lb ed e t e c t e d a c c o r d i n g l yt h ep o s i t i o n st h r e ed e g r e e - o f - f r e e d o ms t a g e sa r ec o n t r o l l e d p r o b l e m sa n dd i f f i c u l t i e sa r es u m m a r i z e di nt h i sp a p e r s e v e r a la l g o r i t h m sa b o u ti m a g e p r o c e s s i n g ， d e t e c t i o n ，j d e n t i f i c a t i o na n dd e p t hr e c o v e rt e c h n i q u e sa r ec o m p a r e d a n ds u i t a b l ev i s u a lt r e a t m e n t m e t h o d sa r ed e c i d e d t h er e l a t i o n s h i pb e t w e e ni m a g ec o o r d i n a t es y s t e ma n dw o r l dc o o r d i n a t e s y s t e m i sc o n f i r m e db yt h ec a l i b r a t i o n so fm i c r o a s s e m b l ya n dv i s u a l s y s t e m s e d g ei m a g e so f i d e n t i f y i n go b j e c t sc a p t u r e db yf r a m eg r a b b e ra r eg o ta f t e ri m a g ep r e t r e a t m e n t ，b i n a r i z a t i o na n d e d g ed e t e c t i o n t h e nt h ek e yp o i n t sc o o r d i n a t e so fc a p i l l a r ya n dm i c r o h o l ea r ea s s u r e d t w o m e t h o d sa u t o m a t i cf o c u s i n ga n ds t e r e o v i s u a la r eu s e dh e r ef o rd e p t hr e c o v e r a n da d v a n t a g e s a n d d i s a d v a n t a g e sb e t w e e nt h e m a r e e x p a t i a t e dm o r e o v e rr e s e a r c he x p e r i m e n t sa b o u tt h e m i c r o a s s e m b l yo fc a p i l l a r ya n dm i c r o f l u i d i cc h i pw e r ed o n e ，w h i c hh a v cp r o v e dt h a tt h ea s s e m b l y a s s i g n m e n tc a nb ef i n i s h e ds u c c e s s f i d l y k e yw o r d s ：m i c r o a s s e m b l y ；v i s u a lf e e d b a c k ；m i e r o f l u i d i cc h i p ；c a p i l l a r y ；j o i n i n g i i 大连瑗工大学鞭士学位论文 1 1 微流控芯片的基本概念及应用 微流控芯片是一种全新的微全分析系统，微型全分析系统( m i l l i a m r i z e dt o t a la n a l y s i s s y s t e m 即l at a s ) 或称芯片实验室( l a b o r a t o r y - o n a - c h i p ，简称l o c ) 是一跨学科的新领 域，其目的是通过分析化学、微机电加工( m e m s ) 、计算机、电子学、材料学及生物 学、医学的交叉实现化学分析系统从试样处理到检测的整体微型化、自动化、集成化与便 携化n 当前ut a s 可分为芯片式与非芯片式两大类，而目前无论从文献还是从商业开发 看，芯片式都是发展重点。在芯片式1 1t a s 中，依据芯片结构及工作机理又可分为微流控 芯片和微阵列( 生物) 芯片 2 1 。 微流控芯片主要以分析化学和分析生物化学为基础，以微机电加工技术为依托，以微 管道网络为结构特征，是当前微全分析系统发展的重点。它把整个化验室的功能，包括采 样、稀释、加试剂、反应、分离、检测等集成在微芯片上，且可多次使用，具有广泛的适 用性。如图1 1 所示的两种塑料微流控芯片。 图1 1 塑料微流控芯片 f i g 1 1p l a s t i cm i c r o f l u i d i cc h i p 微流控芯片在分析仪器微型化、集成化和便携化方面的巨大潜力为其在生物学、高通 量药物合成筛选、农作物的优选优育、环境检测与保护、卫生检疫、司法鉴定、生物战剂 的侦检和天体生物学研究等众多领域应用提供了广阔的前景。 1 2 微装配系统技术的研究 微装配一般是指微尺度( 一般指1 - 1 0 0l _ tm ) 的零件和或具有微尺度公差零件中尺度 ( 一般指1 0 0 u m l n a n ) 的装配。微装配技术与系统的主要研究内容包括：适用于具体装 王袖镑；齑两徽瀛控簿砖麓，粼鲍鱼旗虢装配醭究 瑟媛务鹣装醚方法磷繁蟋鞭懿、嚣笈瑟篙黉懿攥馋装嚣与鼓零，以及徽臻锋憝联接方法霹 工慧研究。 个比较完各的微型微装配作业过程，应该完成以下几个工序： ( 1 ) 待装配微器件的预簸理； f 2 ) 运输微器件； ( 定戳并爽持器件； ( 4 ) 组装微器件： ( 5 ) 稳溯已装配好的m 嚣m s 装鬣。 微装配不同于宏观装配，有其自身的特殊之处【1 】： g ) 在屁侮足寸方压，徽装配貔辩象莛尺寸在次毫米，蕊至次徽米级的器彳牛，器彳率的 加工精度比较高，所以要求的微装配的精度也很高； ( 2 ) 徽装配一般簧在显镜l 镜下避籍，俸鼗窆闻狭小； ( 3 ) 很多微器件是脆性材料制成的，不能承受过大的力； f 4 ) 舂予装嚣鼹象翁镦受纯，重力在徽囊镶域已经不是主警透素，势毫力，藩德攀力 、摩擦力等与器件表谣性质、状态有关的微力影响着微装配的过程。 ，2 ， 徽装黻技寒酌发蓑瑗状 ( 1 ) 手工装配 经过特殊培灞静操俸技术工久可戳手工装配一些精密静淹学和电磁器释，鲡一些，j 、型 光纤在l l l i n o i s 大学的微工艺应用实验室用手工装配实现。但随着零件的更加微型化，公差 变褥遽来麓，l 、+ 手工装配蕊受笺稷大懿京l 终。 f 2 ) 常规尺寸部分的自动化装配 鼹壤手在搡终耱控露l 下实现多囊峦菠运动，毽在装配工终串，箕尺寸逶零较大，纹逶 用于特定的装配任务，装配精度依赖于手工灵活性。邀就是目前多采用的装配系统。 ) 镦撬嚣久夔微装配与微操嫠 为实现微系统离精度与黼速度的自动装配，人们已开始袋朋微机器人进行微操作或微 装醚。这是鞭藏擞装聚与徽掇箨系统发震豹方鹅 3 | 。 1 2 2 微装配技术的种类 微装配援拳归缡筵来有两类，瑟露接徽装配稻謇缀装镦装粼 。 直接微装配技术在近年来得到比较广泛的研究，融合机器人技术、视觉图像处理技术 蔽及精密氍壤与控每4 技术等，麸早期懿主歇遥控方式进行终照静徽揉佟系统霉劐塞动徽装 配系统，研制开发出一些微装配系统样机。 大连理工大学硕士学位论文 自组装微装配是指利用表面张力、静电力、磁力等的作用，使微型零件能够进行自动 定位而实现联接的装配方法m j 。 1 2 3 微装配国内外研究现状 国内许多科研单位对微装配机器人系统进行了研究【粥】：上海交大研制的毫米级全方位 的移动机器人微装配系统，如图1 2 所示。微装配机器人体积小于1 c m 3 ，可实现每步小于 o 8 。转向精度和每步步进7 0 1 1m 的定位精度，微动平台能实现水平方向的平移，定位精 度为每步o 0 0 5 n m a ，行程为o - 0 3 n a n 。微机器人和微动平台相互结合实现了轴孔装配，将 0 6 r i m 孔径的宝石轴承套在0 3 5 r i m 的轴上1 9 1 。哈尔滨工业大学研制成检测、定位一体化的 微装配机器人，基于显微视觉柔顺混合控制的微装配机器人可完成轴直径为0 2 n u n ，孔直 径为0 2 2 r a m 的轴孔自动装配【1 0 】，如图1 3 所示。北京航空航天大学开发了面向生物工程及 显微手术的微操作机器人系统，多次成功地进行了小鼠卵细胞的显微操作实验嘲。南开大 学的“面向生物工程的微操作机器人系统”，实现了对直径为1 2 - 1 3 1 tr l l ，厚度小于5um 的动物细胞的转基因注射【l l 】。中国科技大学的“全光学生物微操作系统”，利用光镊、光 刀技术对细小生物细胞和活体进行捕获、移动、切割和细胞选择性融合等作业【1 2 l 。大连理 工大学的“m e m s 微操作系统”，实现了显微立体成像下的细胞转基因操作，提高了操作 效率和成功率，工作台行程5 0 t n ，控制精度达到o _ 3um 1 1 3 1 。 图1 、2 上海交通大学c r a b 微机器人和微装配系统示意图 f 毽1 2c r a bm i e m m b o ta n dm i c r o a s s e m b l ys y s t e mo f s j i u 蒌鼬镑：瓣羯擞淀按蕊嚣荃褫觉翦鑫渤激装配骈究 圈1 31 ) 面向微小零件装配的微装配系统2 ) 轴孔装配前后状态 f i g 1 31 ) m i c r o a s s e m b l ys y s t e mo r i e n t e dt om i c r o p a r t s 2 ) f o r e - a n d - a f t a s s e m b l ys t a t e s o f a x i sa n d h o l e f a t i k o w 等人设计了两个柔性微操作机器人m i n i m a n 和s p i d e r l l 4 1 ，如图1 4 所示。每 个机器人包括一个压电驱动的基本平台和一个可以安装不同工具的操作臂，能实现抓、移 动、放等基本装配操作，在此基础上，他们开发了一个基于微机器人的微装配桌面工作 站，实现了微机器人、显微镜、定位平台、传感器等专用微装配设备的有机集成。y a n g 等 人报道了一个晶圆级3 d 微装配实验平台，能够把大量的细小金属物体装配至l j l 0 0 m m 硅晶圆 上的微加工孔中【l ”。美国纽约仁斯利尔理工学院自动化技术研究中心( c a t ) 研制的用于 光纤自动装配的微装配系统( 如图1 5 所示) ，其直线定位精度可达到o 0 2 ur o ，旋转定位 精度可达到3 弧秒1 1 6 1 。德国不伦瑞克技术大学机床与加工技术研究所在上世纪9 0 年代初开 始微装配技术的研究，并取得了不少研究成果，如用于微装配的并联机器人、各种微型手 爪、柔性关节以及其它各种微装配技术的丌发应用等，研制出用于微装配的并联机器人 m i c a b 0 和用于微装配的串并联机器a a c c o m a a _ 1 7 1 ，如图1 6 所示。s p i ( s c i e n t i f i cp r e c i s i o n i n s t r u m e n t s ) 设计出一个商品化的装配机器人，机器人机座可在三维空间移动，运动被步进 电机和电致伸缩器件混合控制，手爪由两弹性手指组成，不动的手指同定在机器人上，活 动的手指被一紧凑的三轴系统控制，该系统也固定在机器人上，手爪不仅可以抓器件，向 且可以将器件进行旋转。装配时由顶部和侧部的摄像机进行监控，这 稚祁摄像机被固定在 个三轴定位系统上，该系统与机器人起移动，这样可使手爪和器件总是在视场范围 内，更大的视场由另台固定的低放大倍数摄像机获得。东京大学微装配微机电系统 ( m e m s ) 设计出一套微装配系统，该系统使用表面超洁联接技术( s a b ) 联接两器件。 4 大连理工大学硬士学位论文 1 ) m i n i m a n2 ) s p i d e r 图1 4 德国卡尔斯鲁厄大学设计制造的微机器人 f i g 1 4m i c r o r o b o tm a d ei nu n i v e r s i t yk a r l s m h e 吲1 5 光钟装配糸统 f i g 1 5 a s s e m b l y s y s t e m o f o p f c f i b e r 图l6 用于微装配的并联机器人样机m i c a b o 和用于微装配串并联机器人a 0 3 3 9 a t f i g - 1 6p a r a l l e lp r o t o t y p er o b o tm i c a b oa n ds e r i e s - p a r a l l e lr o b o ta c c o m a t - 5 i 三嵇钧：蕊向敞赢投芯片萋 视觉韵自嵇徽装配骈究 1 2 4 微装配系统的基本组成 微装配系统主要由三部分组成： f 1 ) 观测系统 观测系统是微装配系统的视觉系统，一股由立体显微镜、图像采集卡和c c d 摄像机 以及监测器组成，主要用来实现微器件图像的采集和操作过程中的实时监测，由显微镜成 像到c c d 摄像机的靶面，经光电转换后送入图像采集卡，将模拟信号转换成数字信号， 传送到微机进行数字信号处理，从而得到位姿信息。同时利用专用软件从位姿信息中提取 驱动系统所需的定位参数数据，控制工作台和微夹持器操作平台运动，以带动被装配器件 在三维装配空间相对移动或转动，从而完成最终装配任务。装配过程可以通过监测器实时 观察。 佗、夹持系统 该系统的作用是完成微器件的微夹持和释放操作，实现多自由度的位姿调整以及驱 动。 设计和制造适合的微夹持器是微装配面临的一个挑战，根据划分标准的不同，微夹持 器有不同的分类方法。按驱动力类型微夹持器大致可分为：压电夹持、静电力夹持、电磁 力夹持、电热夹持、真空夹持、粘附材料夹持、形状记忆合金夹持。如表1 1 所示国内外 研制的微夹持器。 ( 3 ) 控制与驱动系统 控制与驱动系统是微装配系统的大脑，其作用是完成系统的动作控制，以实现微装配 的自动化。 驱动系统不仅要求有非常好的响应特性，而且还有工作空间和部件尺寸的限制。国内外 研究人员把许多基础效应和新型材料应用到微驱动和精确定位上，做了大量的工作。如压 电材料、静电材料、电磁材料以及形状记忆材料等。目前应用的最广泛的还是压电效应技 术，如c a r r o z z a 1 8 博的微夹持器由压电材料驱动，为产生足够的位移，采用了位移放大的 结构。k a u i o 1 9 i 等制作的微操作手采用了压电液压混合驱动技术。 现代微装配系统由于技术等因素的限制，大都采用宏观设备装配微观器件的模式。而 宏观设备很多都是采用滚珠丝杠传动的工作平台。这种传动方式决定了位置控制精度会受 到回程误差和非线性摩擦的影响。当被控制量趋近于稳态时，非线性摩擦导致系统突然产 生滑移，系统的位移、压力值相应产生突变，致使系统达不到理想的控制精度。随着光栅 尺等精密测量工具的使用，回程误差的影响已经得到了控制，但对于非线性摩擦的影响还 没有特别好的解决方法。为了克服非线性摩擦对设备控制的影响，人们散采用利用力和 位移的摩擦力补偿i 加| 、使用高频振动信号的摩擦力补偿【2 1 l 、自适应反馈的摩擦力补偿 2 2 1 以 大连理工大学硕士学位论文 及基予肇擦力羚楼模型越翦馈拽裁p 哪，脉冲控利猢等控制方法。其中，熬于摩擦力李 偿模 型的前馈控制和脉冲控锖4 在实际位移控制中取得了良好控制效果。 表1 1 国内外研制的微夹持器 t a b 1 1 州p p e rd e v c l o p e db o l h h e r e a n da b r o a d 面鬲碎函了霜磊孺聂采磊丙_ 一驱动方式 应用 梳状竺贼 尺寸：o 8 3 8 m m x o 8 4 8 n 】n步进电机微操作系统 _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - - _ _ _ _ _ _ _ _ _ _ _ - _ - _ _ _ _ _ - _ _ _ _ _ _ _ _ 一 钳口平均张合量0 7 1 9 m j - 僻人+ 斜式电磁力 吸皇婴：1 4 m s 电磁驱动微小机器人 微夹持器释放时间：4 m s 最大夹持质量：2 0 9 意鼍当曲实唧爹持尺寸置l m 作范m ( 0 嚣2 廿m i n 2 4 0 x 0 ：o ”0 0 7 r r n n压电驱动黧蓑验室器尺寸： 微机器人 - 7 - 芋籀钧：西起葭流掩葱片基于裁觉静鸯动徽装配掰究 1 3 微装配系统的显衡视觉 业已取得的研究成果表明，视觉反馈控制技术对于摄像机系统、操作手、以及工作空 间不确定性的补偿很有效，尽管这些研究成果大都是集中在宏观领域。微装配的作业特点 决定了将计算机视觉反馈控制技术应用于微型装配是比较好的研究思路。这是因为： ( 1 ) 从仿生学的角度研究，人类触觉有一个极限值，对微牛级别的力基本感觉不到。 当微器件的尺寸小到定程度，人在显微镜下进行装配作业时，用到的是视觉信息； ( 2 ) 微器件本身的尺寸微小、精度很高，再要设计加工出比之更高精度的进给、定位 装置非常困难：而在显微测量技术中，其实就是利用视觉( 光学) 定位； ( 3 ) 从微器件的制造工艺分析，无论是i c 加工工艺还是h g a 、激光等，都有c a d 版 图，这些微器件的c a d 图形可以作为视觉反馈控制的图像参考信息； ( 4 ) 对于显微镜下的微装配作业，场景结构相对固定，操作对象是己知的，易于实现 快速的图像识别和理解； ( 5 ) 在微装配系统硬件驱动精度一定的情况下，研究视觉反馈技术的算法可以提高整 体操作精度； f 6 ) 采用视觉反馈的硬件成本较低，易于实现微装配的批量化。 将视觉反馈控制引入微装配面临着许多技术上的挑战。首先，显微视觉系统的数学模 型要重新建立。由于显微镜的加入，摄像机需要安装在透镜组后面，成像机理变得复杂。 另外，由于整个操作过程必须在显微镜一摄像机组成的系统监控下进行，所以显微镜的视 场和焦距决定了工作场景的范围。所以在基于视觉反馈的微操作系统中，要建立显微镜自 动调焦系统，使操作场景始终处于计算机监控之下。总之，研究基于显微视觉反馈的微装 配系统，在总体设计时不仅要考虑微动工作台的驱动和定位、末端执行器的位置和功能等 微装配的特点以外，还要考虑在显微镜下工作的特殊之处。 1 3 1 基于显微视觉的微装配 国内外对基于显微视觉的微装配系统的研究已经投入很大，而且也取得了一些成就。 哈尔滨工业大学研究了基于微视觉的微装配机器人，该显微视觉系统的核心是一部立 体显微镜，由于立体显微镜景深较大，工作空间较大，并可提供多个观察角度，适应微装 配系统的要求。装配对像的位置信息经过显微镜放大后，由c c d 摄像机将光学图像转换成 电信号，经图像采集卡送入计算机，用自行设计的专用软件对图像进行分析处理。一方面 通过图像对比度信息判断系统的焦平面状态，结果送入控制系统，通过自动调焦机构凋整 显微镜在垂直工作台方向的位置以获得最清晰的图像，实现自动调焦。另一方面，通过图 像处理，包括图像直方图均衡、图像值化和目标识别等方法获得目标水平方向的位置信 。8 人连理工大学硕士学位论文 息。通过目标搜索及执行机构，调整两操作手在水平方向的位置，从而将操作对像移到适 当位置1 1 0 l 。清华大学研究的微装配系统中的视觉技术主要应用于识别所要装配的机械零件 和确定该零件的空间位置这两个方面。待装配的微器件通过或像装置得到了一幅清晰的原 始图像( 该成像装置已经预先经过自动调焦辅助装置调整到了最佳的成像条件) 。进行图像 去噪、锐化等预处理后，进行边缘检测。然后对得到的二值边缘图进行分析，得出零件的 形状、位置和姿态的信息，反馈给计算机控制系统，完成视觉系统的功能例。西安交通大 学也进行了显微视觉反馈的微装配的研究，针对典型的微装配作业，开发了远程半自动作 业软件控制并成功地完成微轴孔装配吲。 f c d d c m a 和s i m o n 报道了一个用于装配l i g a 零件的视觉伺服机器人系统，讨论了微器 件装配系统机器视觉的实现。在f c d d c m a 等的系统中采用了c a d 驱动的微装配规划，c a d 模型能够提供物体_ 的各种可见特性以及准确描述图元之间的连接关系，并且为视觉伺服算 法提供参考图像特征闭。另外，视觉伺服可以有效补偿在光学镜头、操作臂和工作空间校 正中所产生的不确定性。女o r a l i s 等人应用“先粗后精”的视觉伺服策略在校准比较差的情 况下实现了微装配系统的高精度微定位。随着零件尺寸的不断缩小，要求更高精度的装配 能力，机器视觉作为其中关键的辅助手段，要求它有更高的处理速度，这包括图像的采 集、传输及处理算法等。视觉系统在微装配中面临的问题依旧是速度、精度和稳定性1 2 “。 瑞士联邦工学院苏黎世微机器人研究组开展了立体显微镜和扫描电子显微镜下对微机器人 进行视觉伺服控制的研究。该项目的目标是在视觉引导下实现1 0 h m 精度的微装配作业。视 觉伺服系统采用基于位置的动态l o o k a n d m o v e 结构，通过遥操作和半自动操作的方式实现 五自由度微机器人的位置控制。通过模式匹配算子在图像空间内进行目标识别，测量微机 器人在显微镜下的位置。转换后更新微机器人在任务空间的运行指令，微机器人的移动则 采用开环方式。尽管该系统可以实现半自动操作，但仍以遥操作方式为主，操作者通过提 供的3 d 实体模型和工作空间的图像反馈发出指令实现三维装配网。瑞士洛桑联邦工学院采 用视赏反馈实现了自动微装配任务。该系统可以以遥操作和自动操作两种方式运行。通过 基于虚拟现实的用户界面，操作者可以实现微机器人的遥操作方式。自动装配则采用基于 位置的动态l o o k - a n d - m o v e 结构视觉伺服控制器。该系统有两个视觉传感器，全局视觉用于 对操作手定位以及实现大范围的移动，在局部采用显微镜用于指导微操作任务的精确进 行。为了实现自动装配，该系统进行了精确标定和大量的离线处理计算。由于没有实现实 时i 蛩像处理，整个过程只能采用严格的l o o k a n d - m o v e 方式。通过对采集的图像进行目标识 别和位置测量，计算出新的指令，传给机器人完成装配任务。平均完成一次抓取放下任务 需要1 2 到1 7 秒的时间冽。美国伊利诺斯大学针对m e m s 组装问题构建了微装配工作站，该 系统采用光学显微镜作为视觉传感器，通过调焦机构设计，采用焦点变换方法获得深度信 9 王袖钧：蔼趣徽瀛挂芯片纂予税畿的爨穆微装配舔究 崽。莠褒裰甏突瓣按测方覆 爹了深入谚究。鬻辩，罴瓣港线获瓣黎鹫浚谤了力掌赞感器， 并在褫觉靼力学僚感嚣倍感融余控露i 方藤袋开了研究。该系统嫩残3 弘m 玻璃纾维与2 街 # 礅翁v 形禳装怒试醛粼；2 l 。 1 ，3 。2 覆擞禳觉系统酌功能 譬警为徽装配瓿器入显微援觉系绞，它应该具骜鞋下珐戆： ( 1 ) 能够多分辨率、多角腋的完成对微装配作业过程的监视； ( 2 ) 不失囊豹采集秘记录装浆全过稷以及襁成薅息； ( 3 ) 提供时微装配空间尺度的测量； ( 4 ，微装酝图像处理以及镲患提取； ( 5 ) 微装配对象的检钡4 与识别； ( 囝基于微装配图像信息的视觉饲服控制。 1 3 3 视觉伺服的分类 缀撂不嚣瓣标准，桃器大褪斐橱l 夔系统可以镀翔分必不阚鹣类型。投据摄豫援豹数霾 的不同，可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。单目视 觉无淡整接零剩强耘鹣三维售爨，一般遴过移动获磐深度薅塞。摹嚣视激逶翅予王终柽务 比较简单且深度信息要求不高的工作环境。多翻视觉伺服可以观察到目标的不同部分，可 疆得到更为事嚣的信息，毽援熬控割器熬设计比较复杂，且耜对予双是巍蹙键骚筵舞h 难以 保证系统的稳定性闭。双目视激可以得蚕深度依息，当前的视黉伺服系统主要采用双目视 觉。根据摄像枕放置位鬻的不网，可以分为手跟系统和阉定摄像机系统。手醒系统戆得到 目标的精确位鬻，可以实现稽确控制，但只能襻割小的工作空间场景，而且由于手眼系统 只能戏察到目标而无法观察到机器人末端，因此濡要通过已知的机器人运动学摸型来求解 甬际写机器入米端酶位黄关系，对标定误差以及运动学谈差沈较敏感。固定放置的摄像枫 既可以观察到翻标也可以观察委0 机器人末端，并且可以得到大的工作空间场景，能得到机 器入束端稆对予露标的裙对速寝，僵无法得到醋标的准确信息，豆杌嚣入运动可艇造成酲 标图像的遮挡。为了克服两种摄像机放鬣位置的不足，当前的一种解决方法是蹰种方式的 协作镁糟暖。报据误蓑信号定义豹不丽，还可鞭籍丰凳觉稍鼹分为罄于位黉的褫爨倚服霖基 于图像的视觉伺服。基于位置的误差信号定义在三维笛卡儿空间，而基于图像的误差信号 定义在二维鹜德空闻1 2 s i 。 1 4 论文课题背景与米源 “微流控芯片自动微组装系统研究”属于微装配研究领域，源于“徽流控：占片的微组 装问题与自动微组装系统研究”项目，嘲辽宁省瓯骧科学基金资助。 大连理工大学硕士学位论文 1 5 本论文主要研究工作 ( 1 ) 对毛细管与微流控芯片的装配任务，采用了视觉伺服的方法，实现自动微装配； ( 2 ) 结合开发的微装配系统，编制出用于微装配作业的软件； ( 3 ) 讨论显微视觉环境下毛细管与微流控芯片的检测与识另r i n 题，实现微目标边缘的 精确定位； ( 4 ) 对国内外微装配深度信息的提取方法进行比较与综述，利用调焦和立体视觉的方 法来恢复深度信息； ( 5 ) 对微装配系统进行标定，针对毛细管与微流控芯片装配问题作了实验研究。 千袖钧：面向微流控芯片基于视觉的自动微装配研究 2 微装配实验系统的构成及定位精度测试 微装配系统采用“自上而下”的设计方式，即先分析系统需要完成的功能和精度指 标，然后进行结构和功能设计，最后再完成各零部件的设计。本文所要研制的微装配系 统，主要是用于微流控芯片与毛细管的装配联接以及芯片与其它配件的联接，安装部分的 尺寸微小，要实现的功能主要分为两大部分，毛细管与芯片的对准和联接。针对系统的需 求，满足功能和应用范围，设计了一套用于毛细管与微流控芯片联接的微装配系统。 一般精密仪器的设计，要满足精度、经济性、效率、可靠性、寿命、造型等要求，其 中精度要求是第一位的。对于微装配系统而言，微器件所要的装配精度决定了微装配系统 要达到的精度。本系统装配对象的装配部分尺寸 一粤歃积，y + i ) 一g i g l ，y i ) 一4 蕊擘1 ，y ) 一g f l , y + l 同样，图像正焦时，拉普拉斯像能函数取最大值。 渤烧羲数法 熵函数滋是利用图像信息的熵含艇作为清晰度评价函数的，离焦造成图像灰度值的单 一纯，强像疆台豹镶慰量减少，痿塞熬熵减少。塑像蛉熵函数冀： 巴m e , t g 只，e * h 。n ( 4 9 ) 式中：辩，表示灰菠为i 粒缘素德；帮为一蟮图豫抟总的像素数。圈橡壬焦黠，熵殛数 取极大值。 f 蓥予溪缘壹方夔戆爨糕丞数 m e b d e k s i l m 与m a y a l l 直方图函数 ，3 8 大连理工大学硕士学位论文 设执蠹图像豹直方潮，h 为灰度为女的像素数，t 为图像平均灰度，则判据骥数为 一r 一蜮 ( 4 i o ) 研 m a n s o n 帮g r e e n 蔑方霞璐数 设敝为图像的直方图，h 为灰度为k 的像索数，t 为闽值，g 为搬标a ，j ) 点的灰 度。簧拳据函数为 。一以弛一r ) ( 4 1 1 ) 其中r - ( 岛嚷) ，( a ) 4 ，a2 蕊，。l g ，“) 2 + 2 ( q t ，- g , 械，) 2 ( 薅。k j l - o , + 1 ，i 罗+ ( 毯一l ，n l 一毯+ l ，j 1 ) 2 各种基于图像对比度的方差函数总体性能较好，但是在正焦粥附近函数的波峰比较平 1 漕，遣就是说酾数的重鬣性不好，谲焦藏围裙对较大。蒸予徽分法静梯庭淹数在最焦瑟处 往往出现一个较窄的尖峰，使其程应用时具有较好的重复性。 本文选瑶的诵焦函数为像能梯度函数，计算公式为 阽鬟，) - i q + 4 ) n ，( f 护i ( + 删1 2 j ( 4 1 2 ) 为了检验此公式的有效陛，对毛细管进行自动调焦，毛细管在右工作台的带动下，在 焦平面上下等长距离内移动，移动的步长为1 0 pm ，函数值和移动次数的关系如图4 3 所 示。从图中可以看出在焦平面上有明显的峰值点，所以此函数可以作为调焦的评价函数。 4 2 立体视觉 基于体视显微镜的显微立体视觉系统已用于微操作、微装配等领域，作用之一是通过 视觉反馈实现二维或三维的高精度自动定位，引导机械手完成指定的操作：作用之二是挖 掘立体视觉中包含的三维深度信息，用于三维信息的测量。 4 2 1 基于体视显微镜的显微立体视觉系统的光路 立体显微镜从两个不同角度观测同一场景，以获得在不同视点上的两幅图像，通过计 算两幅图像中匹配点视差来获得景物的深度信息。基于体视显微镜的显微立体视觉系统的 光路结构简化为图4 4 所示，两主光轴之间的半夹角为6 5 。，在体视显微镜像面处安装 左右c c d 图像传感器。 视觉模型能够提供物体空间坐标点与左右c c d 图像空间二维像点之间的坐标联系，通 过视觉模型的量化和立体图像的匹配来重构物空间的三维信息。重构过程与立体匹配密切 3 9 王裁镑：嚣秘徽滚靛葚冀基予褫燮戆爨动镞装配氍究 穗关，蔽配焘翡鬻像坐标f 入量健懿麓激模鍪遴 亍诗算，获褥一系麓兹物窝蠲三绦整标。 视觉模型是联系三维物空间和二维图像空间的纽带。 4 2 2 体视显微镜的视觉模型 描述体视显微镜的参数划分为四类：左右子系统的放大倍数展和风、物空间焦距 和厶、像空间焦距允和z 。、子系统光轴与体视显微镜中心轴线之间的夹角吃和。为 了公式推导方便，令嚷= - 1 f l 和哝= 一1 h ，吼和吼称为光焦度。首先不考虑体视显 微镜的双光路的差异性，认为双光路严格对称，在下面的三个前提条件下建立不含系统差 异的显微立体视觉模型【4 1 】： 图4 3 函数值和移动距离的关系圈 f i g 4 3s c h e m eo ff u n c t i o na n dm o v e m e n t o o 0 0 o o o 0 0 o o o o 0 o 0 o 0 0 0 o o o o 0 0 o o 5 o 5 0 5 o 5 o 0 9 9 8 8 7 大连理工大学硕士学位论文 1 ) 左目镜2 ) 右目镜3 ) 左c c d4 ) 右c c d 5 ) 棱镜6 ) 变焦系统7 ) 物镜8 ) 光源9 ) 左光轴1 0 ) 光线1 1 ) 聚焦面 图4 4 体视显微镜光学结构 f i g 4 4t h eo p t i c a ls y s t e mo f s l m ( 1 ) 忽略子系统间物镜放大倍数的差异，即成= 成一声 ( 2 ) 忽略子系统间主光轴与体视显微镜中心线间夹角的差异，即吼= 醵= 0 ( 3 ) 忽略物空间焦距和像空间焦距的差异，即允= 和，c 。= 厶 最终不考虑体视显微镜双光路差异性的显微立体视觉模型具有下面的形式 r= r o + 而1i 月y 一。鳓8 - 。 + 而与r y t = y 8 = 0 其中： 0 o c o s o 吼 r 一 毋。堡垒q = 二盎：蔓兰垫 中l 矿+ 由r 矿 一4 1 ( 4 1 3 ) 至塑塑! 萋塑鍪燮釜苎茎羔筵耋箜叠垫壁燮茎 怒一 垒蔓竺主生兰鎏翌 中+ o 一2 c o s o 哆手 法：兰垒憋鲨= 篓壁堡 。 或+ 其中，y l , 工r , y 。为被观测点在左右c c d 像面坐标系下的坐标。丘和厶是待标定的 参数。标定用的放大倍数2 5 时模板的左右图像如图4 5 所示。