（机械电子工程专业论文）显微立体视觉系统标定与微结构半遮挡研究.pdf

大连理工大学硕士学位论文 摘要 基于体视显微镜 s t e r e ol i g h tm i c r o s c o p e s l m 的显微立体视觉系统在微观研究领 域得到广泛应用 通过视觉反馈可实现高精度的三维测量和定位 半遮挡 h a l f o c c l u s i o n 是影响立体匹配和三维重构的一个重要因素 为了分析微结构在显微 立体视觉中的半遮挡情况 首先研究了视觉系统的标定方法 获得了内外参数 然后建 立了分析模型 对微沟道在显微立体视觉中的半遮挡情况进行了初步分析与实验验证 本文借鉴张正友的线性视觉模型标定理论 考虑显微立体视觉的特性 建立了一种 两步标定方法 把多幅图像做为数据源 通过i a l t i 算子获得图像的角点 进行一次 标定 获得光学放大倍率 然后 在s l m 定值工作距离的约束条件下 求解出焦距 从而获得了完整的内参数 最后通过第二步标定获得视觉系统的外参数 在显微立体 视觉系统的基础上搭建了视觉系统标定硬件平台 完成了标定样板的设计与制作 并且 对相应部件进行了调平 对准等工作 实验中 验证了此标定系统的实用性 对采用 c m o s l m 的显微立体视觉系统进行了标定 对每个参数的标定值分别求解其均值 均 方差以及相对误差 其中放大倍率和焦距的相对误差小于1 7 分别针对g s l m 与c m o s l m 中微结构的半遮挡问题进行阐述 研究了实验验证 方案 进行了实验验证 共开展五方面工作 基于针孔视觉模型和共轴球面透镜成像 模型 分别建立了g s l m 和c m o s l m 的微结构半遮挡分析视觉模型 求取了单子 光路的视野范围 半遮挡临界角与物点坐标 子光路半夹角 焦距 c c d 靶面宽度等 参数的关系式 分析了微沟道的遮挡问题 分别针对理想微沟道与非理想微沟道 利 用分析模型对特定内壁倾角的微沟道进行了半遮挡分析 对半遮挡分析结果进行了实 验验证 利用标定样板与硅模具热压而成的不存在半遮挡的微沟道来模拟各个连续内壁 倾角的微沟道 实验中 求得9 0 时 视野中心的半遮挡临界角为8 2 6 绝对误差的 平均值为1 0 4 分析了对侧内壁遮挡的微沟道 求取了不发生对侧遮挡的微沟道深 宽比的范围 视觉系统的标定为微结构的半遮挡提供了前提 而半遮挡的分析与实验验证为半遮 挡的解决奠定了基础 关键词 显微立体视觉 遮挡 标定 s u 图像处理 显微立体视觉系统标定与微结构半遮挡研究 s t u d y o nc a l i b r a t i o nm e t h o do f m i c r os t e r e o v i s i o ns y s t e ma n d h a l f o c c l u s i o no fm i c r o s t r u c t u r e a b s t r a c t m i c r os t e r v i s i o ns y s t e mb a s e do ns t e r e ol i g h im i c r o s c o p e s l m h a sb e e na p p l i e di n s o m em i c r o d o m a i n sw i d e l y h i g h l ya c c u r a t em e a s u r e m e n te n dl o c a t i o na r ei m p l e m e n t e db y t h ev i s i o nf e e d b a c k s e q u e n t i a l l y t h em i c r o a c t o ri sc o n n o l l e dt oc o m p l e t et h ee x p e c t e d o p e r a t i o n h a l f c c l u s i o ni sa r li m p o r t a n ti n f l u e n c i n gf a c t o ri ns t e r e om a t c h i n ga n d3 d r e c o n s t r u c t i o n t oa n a l y s eh a l f o c c l u s i o no fm i c r o s t r u c t u r ei ns l m v i s i o ns y s t e mi s c a l i b r a t e df i r s t l y w h o s ei n u i u s i ca n de x t r i n s i cp a r a m e t e r s 啪b ea c q u i r e ds u b s e q u e n t l y t h e n 缸a l y t i c a lm o d e l sa t eb u i l t f i n a l l y h a l f o c c l u s i o no fm i r c e si n c l u d i n gm i c r o c h a n n e l a 北a n a l y s e d i nm i r c r os t e r e o v i s i o n n 聆p u r p o s eo fc a l i b r a t i o no fm i c r os t e r e o v i s i o ns y s t e mi st og e tt h ei n t t i u s i ca n d n 缸s 叠cp a r a m e t e r so ft h ec o r r e s p o n d i n gv i s i o nm o d e l f o rr e f e r e n c eo fz h e n gz y sl i n e a r v i s i o nm o d e lc a l i b r a t i o nt h e o r ya n dc o n s i d e r a t i o no fm i c r os t e r e m v i s i 0 1 1c h a r a c t e r at w o s t e p c a l i b r a t i o nm e t h o di sp u tf o r w a r d t h es t u d yo nc a l i b r a t i o ni sa sf o l l o w s d a t as e u r c ea r e c 咖e 擂w h i c ha r ee x t r a c t e df r o mm a n yi l n a g e su s i n gh a r r i sa r i t h m e t i co p 朗a t o r s f i r s t o n l ya p r o p o r t i o n a lv a l u en a m e l ym a g n i f i c a t i o ni sa c q u i r e df r o me l e m e n t a r yc a l i b r a t i o ns i n c es i x s d e p t ho ff o c u si sf i n i t ea n dt h ec a l i b r a t i o np a t t e r nc a no n l yr o t a t ei nap l a n e t h e n f o r t h ec o n s w a i n tt h a to p e r a t i n gd i s t a n c ei sc o n s t a n t f o c ic a nb eg o t t h e ni n t r i n s i cp a r a m e t e r sc a l l b ea c h i e v e d s e c o n d e x t r i n s i cp a r a m e t e r sc 锄b ea c q u i r e df r o mt h ef u l t h e rc a l i b r a t i o n b a s e do ns l mm i c r os t e r e o v i s i o ns y s t e m as e to f c a l i b r a t i o nd e v i c es y s t e mw a sa s s e m b l e d a n dc a l i b r a t i o np a t t c m1 1w a sd e s i g n e d s o m ec o m p o n e n t sw e r el e v e l l i n ga n dc o l l i m a t e d n e f o l l o w i n ge x p e r i m e n t sv e r i f i e dt h ep r a c t i c a b i l i t yo ft h i ss y s t e m t h ea v e r a g e s t a n d a r d d e v i a t i o na n dt h er e l a t i v ee r r o ro fl o c i u b i e t ya n dm a g n i f i c a t i o no fb i n o c u l a rs y s t e ma r e a j 砌b yt h ec a l i b r a t i o no ft h ec m o s l mu n d e rt h r e ec o m m o n u s e do b j e c t i v el e n s m a g n i f i c a t i o n s 2 0 x 2 5 3 2 x 1 1 1 cr e l a t i v ee i t o r so f m a g n i f i c a t i o na n df o e ia l e s st h a n 1 7p e r c e n t a g e s w h i l et h er e l a t i v ee r r o r so ft h ef i t t i n gs t r a i g h tl i n e s r a t eo fg r a d ew h i c hi s c l o s et o5a n dac r i t e r i af o re v a l u a t i o no f t h ea n g l ea r o u n dza x i s8 r el e s st h a n0 6p e r c e n t a g e s 1 1 扯r e l a t i v ed e v i a t i o nb 婀v e e nl e f ta n dr i g h tt r a n s l a t i o nv e c t o r st a l li u d g et h ea c c u r a c yo f t h e t r a n s l a t i o nv e c t o r w h i c hi sl e s st h a n0 11 6 m m h a l f o c c l u s i o no ft h em i e r o s t r a c t u r ei nt h eg s l ma n dc m 0 s l ma r ef o r m u l a t e d s e p a r a t e l y a f t e rt h a ta x p e r i m e n t a ls c h e m ei sp r e s e n t e da n dp r 由m r ye x p e r i m e n t a lv e r i f i c a t i o n i sc o m p l e t e d n es t u d y0 1 1o c c l u s i o ni sa sf o l l o w s a n a l y t i c a jv i s i o nm o d e l so f h a l f o e c l u s i e na r eb u i l t g s l ma n a l y t i c a lm o d e li sd e r i v e df r o mt h ec o a x i a ls p h e r i c a lp l a n e s 大连理工大学硕士学位论文 l 黜m o d e lw h i l ec m 0 s l m 锄1 蛳c a lm o d e l i sf r o mt h ec o m m o n u s e dp i n h o l em o d e l f i e l do f v i s i o na n dt h er e l a t i o n a le x p r e s s i o n sb e t w e e nc o o d i a n a t e so f o b j v e tp o i n ta n dc r i t i c a l o c c l u s i o na n g l ew h i c hd e p e n d so ni n c l u d e da n g l e f o c i e f f e c t i v ew i d t ho fc c da r c 多r m u i a t e d 国o c c l u s i o no fm i c r o c h a n n e li sa n a l y s e dw e i g h t i l y a st oi d e a la n dn o u i d e a l m i c r o c h a n n e lw h i c hh a v ef i x e dr a k ea n g l eo fi n w a l l h a l f o c c l u s i o n sa r ee x p l a i n e db y 锄l y t i c a lv i s i o nm o d e l s a f t e rt h a tq u a n t i t a t i v ec o n c l u s i o n sa r ea c h i e v e d s t u d yo i l e x p e r i m e n t a lm e t h o dw h i c hc a nv e f i f i c a t er e l a t i o n a le x p r e s s i o n si n 礓 i sc o m p l e t e d a f t e rt h a t p r i n l a r ye x p e r i m e n t s 黜d o n e m i c r o c h a n n e l sc o n t i n u o u sr a k ea n g l e sa r es i m u l a t e db y c a l i b r a t i o np a t t e r na n dam i c r o c h a n n e lw h i c hh a sn oo c c l u s i o na n dw a sh o te m b o s s e dw i t h s i l i c o nm o u l d n 玲a v e r a g eo f a b s o l u t e 黜i s1 0 4 t h er a n g eo f d e p t h t o w i d t hr a t i oo f m i c r o c h a n n e l sw h i c hh a v en oo p p o s i t es i d eo c c l u s i o na f t e rs o m ef o n n u l a t i o n c a l i b r a t i o ni sap r e r e q u i s i t eo fa n a l y s i so fh a l f o c c l u s i o n w h i l et h ec o r r e s p o n d i n g a n a l y s i sl e n d si t s e l f t oh a l f o c c l u s i o ns o l u t i o n k e yw o r d s m i c r os t e r e o v i s i o n o c c l u s i o n c a l i b r a t i o n s l m h i l a g ep r o c e s s i n g i i i 独创性说明 作者郑重声明 本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写的研究成果 也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料 与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意 作者签名 腿日期 妻 互 篁 圹 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解 大连理工大学硕士 博士学位论 文版权使用规定 同意大连理工大学保留并向国家有关部门或机构送交学 位论文的复印件和电子版 允许论文被查阅和借阅 本人授权大连理工大 学可以将本学位论文的全部或部分内容编入有关数据库进行检索 也可采 用影印 缩印或扫描等复制手段保存和汇编学位论文 名 蕴终 导师签名 麴净 斗年卫月孚日 大连理工大学硕士学位论文 1 绪论 1 1 课题的研究背景及应用价值 计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究领域计算 机视觉是一门综合性的学科它已经吸引了来自各个学科的研究者参加到对它的研究之 中i l j 其中包括计算机科学和工程信号处理物理学应用数学和统计学神经生理学和认知 科学等 视觉是各个应用领域如制造业检验 文档分析 医疗诊断和军事等领域中各种 智能 自主系统中不可分割的一部分 计算机视觉的挑战是要为计算机和机器人开发具 有与人类水平相当的视觉能力 机器视觉需要图象信号 纹理和颜色 建模几何处理和 推理以及物体建模一个有能力的视觉系统 应该把所有这些处理都紧密毯集成在一起 作为一门学科 计算机视觉的研究开始于6 0 年代初 但在计算机视觉的基本研究中的许 多重要进展是在8 0 年代取得的 现在计算机视觉己成为一门不同于人工智能 图象处 理 模式识别等相关领域的成熟学科 人类科学研究已经慢慢地从宏观世界进入到了微观领域 以形状尺寸微小或操作尺 度极小的为特征的微机械已成为人们在微观领域认识和改造客观世界的一种高新技术 基于体视显微镜 s l m 的显微立体视觉系统是显微视觉中的一种特殊形式 它模 仿人的视觉原理 通过两个子光路系统从两个视角获得立体图像对 根据立体图像对获 得物空间参数 最终达到重建微观对象的三维形状和三维测量的目的 在双目立体视觉 中 匹配的结果直接决定着s l m 显微立体视觉系统的精度 而立体匹配一直以来是难以 攻破的瓶颈 立体匹配之所以是这样一个难题 其中遮挡 o c c l u s i o n 问题是造成错匹 配的一个重要原因 显微立体视觉中 半遮挡一般是指 由于拍摄角度和物体摆放位置的原因 导致物体某 点在左图像中有像点 而在右图像中没有像点 这种叫做右遮挡 反之 称为左遮挡 这 些统统称为半遮挡 h a l f o c c l u s i o n 本论文旨在分析显微立体视觉中微沟道的半遮挡闯题 以及获得分析遮挡问题的系统参数 即对显微立体视觉系统进行标定 本课题的研究力求对课题组现有成果上的内容的改进 以期分析清楚显微立体视觉 中微结构 特别是微沟道的半遮挡问题 提出简单易行的视觉系统标定方法 该工作是 对显微立体视觉中微沟道的半遮挡问题进行深入分析 对以s l m 为主要设备的显微立体 视觉系统进行标定 为以后解决半遮挡问题奠定了基础 从而对显微立体视觉立体匹配 快速三维测量的应用具有重要价值 随着计算机视觉的发展 显微立体视觉将成为微观 显微立体视觉系统标定与微结构半遮挡研究 领域里人们对微观世界的认识和控制能力 为人类认识微观世界提供了一个强有力的工 具 1 2 国内外研究现状 1 2 1 显微立体视觉系统研究现状 第一台具有划时代意义的s l m c y c l o p t i c 由美国光学公司研制成功 该显微镜突 破原有设计 采用铝作为材料 固定的工作间距 放大倍率为0 7 也 5 倍 分5 个等级 采用单片正像棱镜 装有各种附件 是目前广泛使用的c m o c o m m o n m a i n o b j t i v e 图1 1s u i 的原理与发展 f i g 1 1p r i n c i p l ea n dd e v e l o p m e n to fs u i 型s l m 的前身 如图1 1 a 所示 随着制造技术的不断进步 现代s l m 的体积变得更 小 重量更轻 而且具有微米甚至亚微米的高分辨率 机械性能好 可用于高精度的精 密测量 现代s l m 大致可以分为两种 c c e c n o u g h 型和c m o 型 图1 1 b 是两种s l m 的结构比较 左边为c 开e c n o u g h 型s l m 右边是c m o 型s l m c r e e n o u g h 型s l m 是 具有两个相同物镜的光路以一个小角度沿光轴排列 产生两个单独的图像 这种s l m 结构简单 价格低 体积小 可批量生产 适用于工业流水线 但左右光轴与物体互不 垂直 影响轴外物体的成像质量 容易产生径向图像失真 用于高精度的精密测量略显 不足 c m o 型s l m 是两个平行安装的显微镜系统共同使用一个物镜 由轴外光线对形 成立体角 这种s l m 可升级 标准设计 可附加附件 光轴与物体互相垂直 清晰度 范围大 但成本高 加工过程复杂 两种s l m 各有特点 并不是一种比另一种更优越 应根据实际应用情况选择s u 类型 如果将s l m 与c c d 等器件结合组成s l m 显微立体视觉系统 就可以采集到微观 对象的图像 借助于其他辅助设备 如 立体眼镜 或通过图像处理获得微观对象的 三维信息 可实现实时定位 自动控制和显微测量 2 一 大连理工大学硕士学位论文 s l m 显微立体视觉的研究开始于2 0 世纪9 0 年代 以美国德克萨斯大学电子计算 机工程系k i m 等的研究为代表 2 1 他们首次建立了s l m 显微立体视觉系统 应用于微 观对象3 d 形状的观察 并描述了s l m 显微视觉模型和目标3 d 形状重构问题 他们的 研究打开了s l m 显微立体视觉研究的扉页 1 9 9 4 年 瑞士联邦技术学院 e t h z 为了研制用于微机械装配的工具 开展了一 个以 微机器人 为主题的项目 目的是建立一个具有5 6 个自由度 在l e n a 3 的工作空 间内达到1 0 n m 精度的微机器人系统 用于操作微小物体 c o d o u r e y 等在文献l j l 中讨论 图1 2e t h z 的微机器人系统 f i g 1 2l i c r or o b o ts y s t e mo fe t h z 了两种3 自由度的微机器人设计 微蠕动机构和冲击驱动机构 并且 构建了基于微蠕 动机构的微机器人系统 如图1 2 所示 由一台s l m 三台c c d 其中两台安装在显 微镜目镜上 一台安装在显微镜侧面提供侧面视觉信息 g a l i l e o 图像卡 s 0 1 工作站 r s 2 3 2 控制器和s u n 工作站组成 它的实时视觉反馈系统包括v m e 6 8 0 2 0 微处理器和 视觉卡 图像由安装在s l m 上的c c d 摄像头提供 操作者可以根据显示在屏幕上的图 像 以三维鼠标作为操纵杆控制系统运作 如果实行视觉系统闭环控制 可以实现半自 动化 操作者只要把指针放到屏幕的一个位置 3 d 蠕动机构就会朝这个目标移动 在 显微立体视觉系统标定与微结构半遮挡研究 显微镜的视场内精度可达到5 p j n p a p p a s 等在此基础上提出了基于s l m 的视觉控制算 法1 4 可实现三个自由度的对象拾取和全自动放置 精度可达到亚微米级 为了根据通 过s l m 和c c d 得到的左右图像获得对象的亚像素级3 d 信息 在系统中采用高精度的 模板匹配技术和显微镜标定技术 定位精度可达到1 0 r i m 左右 c o d o u m y 在原有微机器 人系统上 增加由一系列可视控件和操作控件组成的图形用户界面 该界面可将操作工 具 工作台和操作对象的当前位置和方向反馈给用户 使其可以进行快速 精确的操作 并且 通过在硅片上用1 0 0 p m 的钻石排列成 e t h 验证了系统的功能i s e l 图1 3 微操作测试系统和显微立体视觉系统 f i g 1 3m a n i p u l a t i o nt e s t i 缸s y s t e ma n dm i c r o s t e r e o v i s i o ns y s t e m 圈1 4k y t m g h w a n 等人的微操作视觉系统 f i g 1 4k y u n g h w a n sm a n i p u l a t i o n v i s i o ns y s t e m 韩国科技学院 k o r e a n i n s t i t u t e o f s c i e n c ea n d t e c h n o l o g y 也在研制了基于显微立 体视觉的微操作系统研 该系统采用了多式显微视觉来完成微装配任务 系统是由显微 视觉系统 计算机 界面 微小机器人等部分组成 通过界面 显微立体视觉实时地给 操作者反馈机器人的夹持和运动状况以及确定位置 使得操作和控制更方便 k y u n g h w a n 等人通过显微立体视觉系统把一根针插入了细孔t s j 见图1 3 1 4 一4 一 大连理工大学硕士学位论文 美国南卡罗莱纳大学 u s c 自2 0 世纪8 0 年代开始就致力于利用图像相关性进行 变形测量的研究 s e h r e i e r 等在文献1 9 中讨论了基于s l m 显微立体视觉的微观物体变形 测量研究 利用图像相关性确定变形前后立体图像对的点对应关系 从而根据视觉模型 的标定参数和三角剖分方法可以重构微观物体的3 d 表面形状 以及3 d 位移场 基于 3 d 位移场可以确定物体各位置的变形情况 测量结果与专用应变计量器的测量结果非 常吻合 视觉装置如图1 3 所示 由一台n i k o n 的s m 7 u 型s l m 两台p t l l i l i 的t m9 7 0 1 型c c d 两片b i t f l o w 的r o a d r u n n e r1 1 型图像采集卡与可调光纤环形灯组成 左边为 微操作测试系统 右边为显微立体视觉系统 日本通产省i lo 机械技术研究所与大阪大学合作在研制双指微操作机器人基础上增 加光学显微镜 通过c c d 摄像机获得指尖和微操作物体的平面位置信息 将这一信息传 给控制系统实现对细胞的自动化搡作 此外还构建了显微镜的自动聚焦装置 对图像质量 进行优化 该系统完成了直径2 pm 的玻璃球的抓取和在任意位置的放置操作实验 东 京大学研制了纳米机器人系统的纳米手眼系统f 1 1 该 系统由实时视觉跟踪处理器 实时图像处理器 扫描 电子显微镜 s e m 光学显微镜和主从操作手构成 s e m 作为主监视器对主从手平面信息进行跟踪测量 光学显微镜作为从监视器对垂直方向的深度信息进 行监视在纳米手眼系统帮助下 已经实现了直径 1 0 m 的微粒子摆放操作和3 m 宽直线刻线工作 日本冈山大学以细胞操作为目标 以2 m m 直径的种 子为试验操作对象 以o 6 m m 直径 2 0 m m 长的细针 作为操作工具进行细胞微操作的模拟试验 体视显微 镜外接两个c c d 摄像机构成视觉监视系统 通过监 暑 5 等誓篓黧寰篡i i 萋 视系统对细针针尖的三维位置信息进行观察和测量 i n s t r u m e n to fl u t 瑞典吕勒奥大学 u t 的i 矗l s s o n 等进行了类 似的研究l l 羽 利用3 d 数字斑点照相法 3 dd s p 测量微观物体的形状和3 d 变形 显 微立体视觉装置如图1 5 所示 由 台o l y m p u s 的s z x1 2 型s l m 两台s o n y 的x c 7 7 c e 型c c d 和两片l c u 仃o nv i s i o n 的p i c p o r th 4 s 图像采集卡组成 水平面内的误差小于 0 1 l l m 深度方向误差是它的三倍 相对国外 国内研究起步比较晚 直到前几年才有微操作视觉方面的相关研究报道 出现l j 北京航空航天大学 南开大学首先以生物细胞为研究对象 在视觉系统的伺服 显微立体视觉系统标定与微结构半遮挡研究 控制 深度信息获取方法等方面进行了探讨 哈尔滨工业大学以微机械零件装配为操作 目的 以体视显微镜做为监视系统进行了视觉系统的研究 长春光学精密机械研究所是国内较早研究s l m 显微立体视觉的单位之一 他们所 图1 6 微操作系统 f i g 1 6m i c r o m a n i p u l a t i o ns y s t e m 研制的微操作系统 通过s l m 和两台c c d 得到的视频信号经过同步控制器处理后 借 助立体眼镜使左右眼分别接收两路视频信号 从而实现了立体视频的合成 可用于细胞 操作l l 纠6 j 从2 0 0 0 年开始 大连理工大学 d u t 微系统研究中心基于s l m 显微立 体视觉和人工智能技术研制了用于微操作 微装配和微注射研究的微操作系统i 协1 羽 如 图1 6 b 所示 系统中使用c m o 型s l m 两个成像接口上分别配备c c d 可实现三维 定位 啥尔滨工业大学 h i t 机器入研究所以微机械零件为操作目标 以s l m 作为监 视系统 进行基于显微视觉和微力觉柔顺混合控制的微操作机器人的研究 并通过微小 轴孔零件装配试验验证了系统的可行性1 1 9 删 该机器人由操作手 s l m 显微镜监视系 统 图像采集与图像处理系统 操作手运动控制系统和力采集及信息处理系统组成 如 图1 6 口 所示 河北工业大学研究的显微立体视觉系统是在s l m 的基础上改造而成的 把两个目镜卸下 安装两个适配镜 然后把两个c c d 安装在适配镜上 从而构成双耳 显微立体视觉系统 该系统能采集清晰的图像 并且两个c c d 有很大的共同视野范围 利于立体匹配 采用两个c c d 平行放置的方案 数学模型简单 易于研究 2 n 北京航 空航天大学图像中心根据立体视觉的原理 设计实现了基于s l m 图像的立体测量系统 从i 虱像采集 摄像机标定 立体匹配到深度图生成 建立了完整的系统 可以对待测物 体进行三维测量 并达到一定的精度要求1 2 2 1 由于s l m 独具的立体视觉优越性 s l m 显微立体视觉的研究近年来引起了国内外 研究机构的重视 并构建了各自的视觉系统 主要应用于3 d 定位和3 d 测量 s l m 显 微立体视觉系统融合了显微立体视觉技术 图像处理技术 电子技术 微操作技术和传 感信息融合技术 经过1 0 多年的发展 其理论和应用研究都取得了 定成果 但还有 大连理工大学硕士学位论文 更多尚未披人发现的规律和现象等待人们去挖掘 因此 目前仍在不断地改进和完善 使其能应用于更广阔的领域 随着s l m 性能的不断完善和制造技术的逐渐成熟 它将 成为显微视觉深度信息获取方法的主流 因此 s l m 显微立体视觉与相关理论技术现 已成为国内外研究的热点之一 1 2 2 立体视觉系统标定方法和半遮挡的发展 1 2 2 1 视觉系统中标定方法 摄像机和显微镜是各自有其自身特殊光路的光学仪器 而将显微镜与摄像机相结合 其光路会发生改变 如何将光路简化并成为合理的模型就成为非常关键的问题 通过对 摄像机和显微镜的光学特性进行分别的研究 了解基本的成像原理 井简化为数学模型 进行后续的立体图像标定和匹配提供理论根据 摄像机模型就是对景物成像到图像平面的物理过程的一个数学描述 依据该模型 可以确切地掌握图像所成的几何关系 由于摄像机并不是一个理想的透视模型 根据 不同的使用场合及所要求达到的精度 需建立不同复杂程度的摄像机模型 所建模型越 接近摄像机的实际且模型参数能准确地标定出来 则获得的测量精度越高 但与此同时 模型越复杂 标定的难度也越大 计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算二维空间中物体 的儿何信息 并由此重建和识别物体 而空间物体表面某点的二维儿何位置与其在图像 中对应点之间的相互关系是由摄像机成像的几何模型决定的 这些几何模型参数就是摄 像机参数 在大多数条件下这些参数必须通过实验与计算才能得到 这个过程被称为是 摄像机标定 现有的摄像机标定技术大体可以归为两大类 2 4 l 传统的摄像机标定方法和摄像机自 标定方法 传统的摄像机标定方法 需要标定参照物 即通过拍摄一个事先已经确定好 的三维几何形状的物体来进行标定 也就是在一定的摄像机模型下 标定参照物的尺寸 形状已知 通过对其图像进行处理 利用一系列数学变换和计算方法求取摄像机模型的 内部参数和外部参数 该方法一般有比较高的精度 用于标定的物体一般是由两个或三 个相互正交的平面组成 摄像机自标定 不需要标定参照物 而是利用摄像机在运动过程 中其周围环境的图像与图像之间的对应关系来进行标定 摄像机的内部参数指的是摄像机成像的基本参数 如主点 图像中心 焦距 径向 镜头畸变 偏轴镜头畸变以及其它系统误差参数 其基本方法是 在一定的摄像机模型 显微立体视觉系统标定与微结构半遮挡研究 下 基于特定的实验条件如形状 尺寸已知的定标参照物 经过对其图像进行处理 利 用一系列数学变换和计算方法 求取摄像机模型的内部参数和外部参数 视觉模型标定是计算机立体视觉的重要研究内容 已经出现了大量的标定方法 而 且每年都有新的标定方法出现 但是 由于视觉模型的复杂多样性 标定仍未形成统一 公认的理论和方法 表现在以下两方面 视觉模型的类型多样 由于实际问题的需要 视觉模型中包含的参数和数学形式不同 难以给出统一和可靠的标定方法 模型标定的 约束条件多样 为了建立参数满足的方程 需要给足一定数量的约束条件 约束条件强 烈依赖于硬件环境和实际要求 视觉模型标定对硬件环境的依赖性很强 目前 宏观立 体视觉中常用的标定方法可以归纳为下面几种 直接求解非线性方程 2 5 侧 不对视觉模型进行任何参数变换 利用给定的初始条件 己知控制点的空间坐标和图像坐标 采用迭代方法直接求解非线性方程 这类标定算法 具有两个优点 一是标定过程与视觉模型的数学形式 非线性强弱无关 视觉模型可以 尽可能多的考虑图像畸变 不会因模型的非线性化程度增强而出现参数不能标定的情 况 另 个优点是准确性高 方程在满足约束条件和收敛的前提下 能够得到高精度的 解 不过 由于使用迭代法获取参数 很可能因初始值设置不当或迭代算法设计不当引 起迭代结果恶化 不稳定甚至不收敛的情况 中间参数法 2 7 2 9 对非线性的视觉模型进行变换 引入一系列的中间参数 中间参 数是原始参数的函数 经变换后 原来的非线性方程转化为一组中间参数的线性方程 中间参数由线性方程组确定 然后反推出初始参数 这类标定算法不需要迭代 不存在 迭代算法的缺点 而且可以得到解析解 标定速度快 但是在引入中闻参数时 需要考 虑视觉模型的非线性程度 非线性很强的视觉模型难以转化为中间参数表示的线性方程 组 所以 中间参数法不易考虑图像畸变 应避免出现强非线性化的方程 两步法p 两步法可以看成直接求解法和中间参数法的结合 绝大部分参数转化 为中间参数 少部分参数通过直接的非线性求解 两步法使大部分参数具有解析解 避 免了迭代法的不足 通过迭代法标定少部分的非线性参数 在标定过程中可以考虑图像 畸变 对视觉模型的非线性具有一定兼容性 避免了中间参数法的不足 一8 一 大连理工大学硕士学位论文 圈1 7 m u s e r 的标定算法示意图 f 培1 1 1t h es c h e m e o f c a l i b r a t i o na l g o r i t h m t h a t d a n u s e u s e d 在显微立体视觉中 空间坐标的重构对视觉模型的标定精度具有更高的要求 微观 视觉的定位精度一般在微米数量级 不准确的标定参数使视觉模型的输出淹没在噪声 中 带来较大的重构误差 微观视觉模型往往需要多步标定 通过误差反馈提高标定精 度 如d a n u s e r 的标定算法 3 4 1 就使用了误差反馈改善标定算法的性能 图1 7 是d a n u s e r 标定算法的示意图 通过旋转标定样板采集多幅立体图像 图像中的特征点划分为控制 点和检测点 控制点用于标定模型参数 检测点用于获取反馈误差 并且他还忽略了 些微弱信号的影响 t s a i 3 习根据摄像机的径向畸变模型 利用径向准直约束条件提出一种两阶段标定方 法 但实现起来复杂 精度也不容易保证 l e c k e r t 等人p 6 j 针对c m o s l m 见图1 8 显微立体视觉系统 不考虑各种视觉 模型的差异 提出了一种快速 简单且精度较高的基于c m o 型体视显微镜的标定方法 但是他们把视觉模型的参数数目压缩到了最小 把两子光轴看成平行 见图1 9 减 少了旋转矩阵中的参数 不适合于复杂的视觉模型 图1 8g s l i d 与c m o s l m 图1 9l e c k e r t 显微立体视觉模型 f 嘻1 8g s l ma n dc m o s l m f i g 1 9l e c k e r t sm i c r os t a m v i s i o nm o d e l 垮一垮 显微立体视觉系统标定与微结构半遮挡研究 1 2 2 2 视觉系统中的半遮挡 基舅 l c f t 翻峨r i 曲t 翻呦 篷 k r a m 土i 豇由 图1 1 0 半遮挡示意图 一 图1 1 1 半遮挡示意图 二 f i g 1 1 0s c h e m a t i cp l a nf i g 1 1 1s c h e m a t i cp l a n o fh a l f o c c l u s i o n 1 o fh a i f o c c l u s i o n 2 显微立体视觉中 半遮挡是指 由于拍摄角度和物体摆放位置的原因 导致某物点在左 图像中有像点 而在右图像中没有像点 这种叫做右遮挡 反之 称为左遮挡 这些统统 称为半遮挡 图1 1 0 一1 1 l 两个图中分别列出了三种不同情况的半遮挡 但是它们都有 一个共性t 虽然有共同成像的物点区域 但是也都存在左遮挡部分 o c c l u d ep a r t 和右 遮挡部分 这些部分只能在一个像面上成像 而在另一个像面不能成像 对于立体匹配来说 所有的算法都面l f 缶着由遮掩引起的问题 3 被遮掩区域只在一 个摄像机像砸上成像 参见图1 1 0 3 8 1 如果该区域未被标识为被遮掩区 那么就会出现 错误的匹配 进而产生错误的视差和深度图 虽然多目成像以及主动视觉可以提供额外 的信息以帮助减轻遮挡带来的问题 但是不如被动双目成像立体视觉可广泛应用 基于 特征的方法只能产生出稀疏的视差图像 若需要密集视差图像则需要进行内插 这就意 味着如果缺少足够的特征就无法准确地识别出被遮掩区域 所以要得到精确的视差图像 必须要使用基于区域的方法或两者结合的方法 3 9 早期的研究中将匹配与遮掩检测分离 直到匹配完成后进行平滑的时候才完成遮掩 检测1 4 0 l 由于在一个视图中被遮掩区域在另一个视图中没有对应区域 所以在遮掩区还 未被检测出来之前进行的匹配是不可靠的 现在的研究则倾向于将匹配与遮掩检测同时 进行1 4 4 2 1 大多数这类算法利用了被遮掩区域不存在对应区域而往往得到较低的匹配值 大连理工大学硕士学位论文 g o o d n e s so f m 砒c 缸n g 或者称较低的相似性这一事实 可以采用贝叶斯准则的方法h 3 1 可变窗口的方法 双向匹配的方法1 4 5 等等 从计算机视觉模型的角度来分析遮挡的研究鲜见文献报道 葡萄牙c o 曲 a 大学的 h e l d e r 与清华大学的于谦等人嘲从计算机视觉模型中深度信息与视差的联系性分析了 遮挡问题与遮挡物跟踪的方法 但最后落脚点也是图像信息上 图1 1 2 1 1 3 图1 1 2 于谦等人视觉模型的坐标系 f i g 1 1 2y u q i a n sv i s i o nm o d e lw c s 图1 1 3 模型中深度信息与视差之间的关系 f i g 1 1 3 r e l a t i o nb e t w e e nd e l r ha n d d i s p a r i t yi nv i s i o nm o d e l 本文从显微立体视觉系统模型出发来分析半遮挡问题 是一种新的尝试 以期对半 遮挡的解决起到一定的作用 1 3 本文主要研究内容 显微立体视觉系统是本文理论分析和实验研究的主要工作平台 显微立体视觉系统 的标定 显微立体视觉系统中微结构半遮挡问题的分析是本文研究的两大内容 1 1 分析了显微立体视觉系统的工作原理 视觉模型 用途 针对大连理工大学微系统 研究中心的显微立体视觉系统 分析了相应的线性视觉模型及其标定理论 分析了 微沟道的特性 以及显微立体视觉在微结构测量中的应用 2 借鉴张正友的视觉标定理论 并针对显微立体视觉系统的特性 建立并实现了两步 标定方法 由于体视显微镜的景深有限 故标定样板只能在一个平面上平移 旋转 来改变标定样板的姿态 这样来标定只能获得一个比值关系 即放大倍率 本文加 入了一个工作距离为定值的约束 结合放大倍率求解出准确的内参数 根据标定所 显微立体视觉系统标定与微结构半遮挡研究 得内参数 迸一步标定获得准确的外参数 对标定实验的结果进行了分析 求解了 放大倍率 焦距 主点坐标 旋转矩阵内各个角度的均值 相对误差和标准差 3 分别针对g 型体视显微镜和c m o 型体视显微镜组成的显微立体视觉系统 对视觉 系统中微结构的半遮挡问题进行了理论分析和实验验证