（机械电子工程专业论文）ent医疗机器人视觉系统研究.pdf

中文摘要 本文以实验室正在研发的e n t 医疗机器人系统为研究平台，根据喉部手术的 需求以及机器人自身的设计特点，目标为构建机器人外部宏观引导视觉系统，研 究开发需要的一些关键技术。主要包括视觉系统的构建、立体视觉方案的确定、 摄像机的标定、软件开发、系统集成。本文主要工作和成果可以概括为以下几个 方面： 针对e n t 医疗机器人手术前，末端工具定位的要求和控制系统硬件环境，确 定了机器视觉系统模式。在此基础上遵循机器视觉的逻辑结构，并结合视觉系统 的任务，设计了机器视觉系统。 提出了双目立体视觉确定机器人末端工具空间位置、姿态的方案。该方案结 合实验室机器人的特点，确定了双c c d 传感器的位置，构建图像的二维象素坐标 到机器人工具三维空间的描述模型。 在机器人标定矩阵求解过程当中，提出参数约束化求解的方法，与未约束求 解相比，提高了矩阵求解的精度；在进行三维空间点的重构时，提出了利用点到 空间直线距离最小的约束方程，缩小了待重构点的重构范围，提高三维空间坐标 的求解精度。 为确定喉镜空间姿态，提出了在喉镜口端面建立欧氏空间坐标的方法，并给 出了其数学模型。 将该视觉系统与机械手控制系统集成，提供了视觉系统对机器人引导控制的 约束参数。 本文的研究将为解决人工反复调整机器人使末端工具进入患者切口或喉镜 所带来的问题提供理论依据，对于提高手术的安全性，解决手术器械碰撞问题具 有很重要的实际意义。 关键词：e n t 医疗机器人视觉系统摄像机标定立体视觉三维重构 a b s t r a c t t h ed i s s e r t a t i o ni sf o c u s e do nt h ed e v e l o p m e n to ft h ee x t e r i o rg u i d i n gv i s i o n s y s t e mf o rt h ee n tm e d i c a lr o b o td e s i g n e db yo u r s e l v e sa tt h el a b o r a t o r y t e c h n i q u e s i n c l u d i n gt h ed e s i g no ft h ev i s i o ns y s t e m ，c a m e r ac a l i b r a t i o n ，d e v e l o p m e n to ft h e v i s i o n s o f t w a r e ，t h ei n t e g r a t i o no fc o n t r o ls y s t e ma n dt h e v i s i o ns y s t e ma r e r e s e a r c h e dh e r e t h ef o l l o w i n gw o r kh a sb e e nc o m p l e t e d ： a i m e da tt h er e q u i r e m e n to ft h ee n dt o o l sa n dt h eh a r d w a r ec i r c u m s t a n c eo f 血e c o n t r o ls y s t e m ，t h er u n n i n gm o d e lo f t h er o b o ti ss e r l e d b a s e do nt h i s ，c o m b i n i n gt h e o b j e c t i v eo ft h ew h o l es y s t e m ，t h ev i s i o ns y s t e mi sd e s i g n e di nt e r m so ft h el o g i c c o n f i g u r a t i o no fm a c h i n ev i s i o n t h es c h e m eo fb i n o c u l a rs t e r e oi sp l a n n e df o rm a k i n gs u r et h ep o s i t i o n ，p o s eo f t h ee n d i n gt o o l s c o m b i n i n gt h ec h a r a c t e r so f t h er o b o t ，t h ep o s i t i o no f t h eb i n - c c d s e n s o ri sf i x e da n da tt h es a m et i m et h ed e s c r i 【p t i o nm o d e lf r o m2 dr e f e r e n c ef r a m et o 3 dr e f e r e n c ef r a m ei sb u i l t d u r i n gt h es o l u t i o no ft h ec a l i b r a t i o na r r a y ，ap a r a m e t e rc o n s t r a i n tm e t h o di s p r e s e n t e d ，w h i c hi m p r o v e st h ep a r a m e t e rp r e c i s i o no ft h em o d e li nc o m p a r i s o n w i t ht h em e t h o dw i t h o u tc o n s t r a i n t ；f o rr e b u i l d i n gt h e3 dc o o r d i n a t e so ft h es p e c i a l d o t s ，t h ec o n s t r a i n te q u a t i o no f t h em i n i m u md i s t a n c eb e t w e e nt h ed o t sa n dt h el i n ei s p r e s e n t e d ，w h i c hr e d u c e st h eb o u n da r e ao f t h es e a r c ha n di m p r o v e st h ep r e c i s i o no f t h e3 dc o o r d i n a t e s f o rm a k i n gs u r et h ep o s eo f t h el a r y n g o s c o p e ，am e t h o do f b u i l d i n gar e f e r e n c e f r a m ea tt h el a r y n g o s c o p ep o r ti sd e s c r i b e da n dt h em a t h m o d e li sg i v e n a f t e ri n t e g r a t i n gt h ev i s i o ns y s t e ma n dt h ec o n t r o ls y s t e m ，i tc a np r o v i d et h e c o n s t r a i n tp a r a m e t e r st h a ti su s e dt oc o n s t r a i nt h er o b o t t h ed i s s e r t a t i o nw i l ls o l v et h ep r o b l e mp r o d u c e sb yt h em a n u a la d j u s t m e n tw h e n m a k i n gt h ee n dt o o l sg oi n t ot h ec u to rt h el a r y n g o s c o p ei nt h ep a t i e n t i ti ss i g n i f i c a n t f o ri m p r o v i n gt h es u r g i c a ls a f e t y ， a v o i d i n gt h ec o l l i s i o no f t h ei n s t r u m e n t k e yw o r d s e n tm e d i c a lr o b o t ，v i s i o ns y s t e m ，c a m e r ac a l i b r a t i o n ，s t e r e o v i s i o n ，3 dr e c o n s t r u c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得盘盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名崔脚签字日期：厂年，月上，日 学位论文版权使用授权书 本学位论文作者完全了解墨洼盘堂有关保留、使用学位论文的规定。 特授权墨盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名璀碎 签字日期：妒f 年2 月工j 目 导师签名：专耳 签字日期：2 叫年z 月珥日 天津大学硕士学位论文第一章绪论 第一章绪论 随着社会的进步和生活水平的不断提高，人类对自身疾病的诊断、治疗、预 防以及卫生健康给予越来越多的关注。人们尝试将传统医疗器械与信息、微电子、 新材料、自动化、精密制造、机器人等技术有机结合，以提高医疗诊断的准确性 和治疗的质量。在这种情况下，医用机器人和数字化医疗设备得到了迅速的发展， 已经称为当今世界发展速度最快、贸易往来最活跃的高科技产业之一。 医疗机器人技术是集医学、生物力学、机械学、材料学、计算机图形学、计 算机视觉、数学分析、机器人等诸多学科为一体的新型交叉研究领域，已经成为 国际机器人领域的一个研究热点。目前，先进机器人技术在医疗外科手术规划模 拟、微损伤精确定位操作、无损伤诊断与检测、新型手术医疗治疗方法等方面得 到了广泛的应用，这不仅促进了传统医学的革命，也带动了新技术、新理论的发 展【1 】f 2 】。 医用机器人中装有各种不同的传感器，主要有视觉、测距传感、力，力矩传感 等，再加上机器人本身的特点使得机器人具有定位准确、运行稳定、灵巧性强、 工作范围大、不怕辐射和感染等优点。医用机器人借助视觉引导及力矩反馈不仅 可以协助医生完成手术部位的精确定位，而且可以实现手术最小损伤，提高疾病 诊断、手术治疗的精度与质量，提高手术安全，缩短治疗时间，降低医疗成本。 许多发达匡i 家纷纷设立专项计划，研究和开发医用机器人，并将研究成果迅速转 化为产品，形成新的产业，其发展速度远远超过一般工业机器人，估计在今后五 年里还会以每年2 0 , - - 3 0 速度增长。根据联合国欧洲经济委员会和国际机器人 联合会的统计，到2 0 0 2 年的装备数量已经达到7 0 0 0 台，为机器人增长最快的领 域。 具有各种传感器的医疗机器人可以探测到外部信息，然后将这些信息进行融 合，反馈给控制装置或者人，使得控制装置或人能与机器人所接触到的信息进行 交互，进而实现手术的动作，使得手术顺利完成。在诸多传感器当中，视觉传感 器因其信息量大、适用范围广等特点，不仅在工业机器人上得到广泛应用，更成 为医疗机器人不可或缺的重要传感器。在目前已投入使用的机器人当中，9 8 以 上具有视觉传感器【3 - 1 1 1 。 目前实验室里装备的医疗机器人已配有图像监控设备，可以使操作者通过主 从操作系统移动机器人到工作位置，但是调整时间较长，定位精度也不高，不能 天津大学硕士学位论文 第一章绪论 很好地满足耳鼻喉手术需要。本文将根据耳鼻喉手术特点开展相关研究工作，目 标是研制出一套先进的e n t 医疗机器人视觉系统，不仅可以有效缩短手术准备 时间，也能较好地满足基于视觉的主从式精细操作需要。 1 1 手术机器人的研究现状与发展趋势 1 1 1 国际上的研究现状 1 9 8 5 年，英国泌尿外科医生p a y n e 和w i c k h a m 首次提出了“微创外科 ( m i n i m a l l yi n v a s i v es u r g e r y - - m i s ) ”的概念1 1 2 1 。2 0 世纪9 0 年代初期，主从式 微创医疗机器人的研制取得了飞跃性的发展，一批研究成果相继见诸报道【3 1 1 】。 在所有己研制出的医用机器人系统中，美国的d a v i n c i 机器人( 图1 1 ) 最 为著名。该机器人已能进行胆囊摘除、心脏搭桥等手术。d a v m c i 机器人利用两 个高精度的3 d 内窥镜分别连接到两个高分辨率的监视器上，通过两个独立的类 似于人的双眼的视觉通路来观察操作过程 1 3 1 1 4 ( 图1 2 ) 。在手术前，需要人工 移动机械臂进行内窥镜对准，并将机器人移到切开的微创口处以将末端手术工具 置于人体内。 图i - 1d av i n c i 外科手术机器人系统 图1 - 2 d a v m c i 视觉 2 天津大学硕士学位论文第一章绪论 由i n t u i t i v es u r g i c a l 公司研制的d av m c i 外科手术机器人系统还于2 0 0 5 年成 功实施了一例咽喉部手术【l ”。在手术过程中，一只机械臂用来夹持手术工具进行 操作，另一只用来夹持内窥镜。其手术中视场的3 d 环境是通过立体内窥镜来建 立的。由于缺乏外部视觉引导系统，两只手臂在手术之前是通过人工反复移动和 调节才将手术工具送进喉镜的。 1 9 9 6 年初，美国的c o m p u t e rm o t i o n 公司在a e s o p ( 伊索) 系列机器人基 础上，推出了z e u s 外科手术机器人系统，并应用于微创手术。该系统由 s u r g e o n - s i d e 主系统和p a t i e n t - s i d e 从系统两个系统构成。其从操作系统的每个机 械臂具有6 + 1 个自由度，其中6 个用于位姿调整，另外一个用于位置优化。手 术时，从手忠实地按比例缩放医生在主手的操作动作。其视觉系统由p a t i e n t s i d e 的内窥镜和一个控制内窥镜的机器人手臂，以及s u r g e o n - s i d e 的监视器组成。医 生可以通过控制台上的显示器观看由内窥镜拍摄的患者体内情况，并根据需要控 制机器人手臂进行操作。z e u s 系统让外科医生突破了传统微创伤手术的界线， 使得医生可以在舒适的工作环境下操纵主手动作，并通过监视器监视手术过程， 既减轻了医生的疲劳强度，也大大降低了病人的痛苦。 美国航空航天管理局( n a s a ) 下属的空气推进动力学实验室( j p l ) 与美 国的微灵巧系统公司( m i c r od e x t e r i t ys y s t e m s ) 合作，研制出了机器人辅助显微 外科手术系统。此系统采用双手主一从控制形式，每一个操作手都有6 个运动自 由度，可以消除手术医师因疲劳产生的振颤或肌肉痉挛等问题。目前此系统主要 用于眼科手术。 美国的j o h n sh o p k i n s 大学开发出了一套喉部微创手术机器人系统，采用主 从控制模式，可以同时控制三个蛇形机器臂完成咽喉内的遥操作【1 6 1 。 德国亥姆霍兹( h e l m h o l t z ) 国家研究中心研制成功了带有触感装置的e n t a 带触感装置的e n t 手术机器人原型b 乳突状带柔性组织的骨骼仿真模型 图i - 3 带触感装置的e n t 手术机器人系统 - 3 天津大学硕士学位论文 第一章绪论 手术机器人系统，如图1 - 3 所示【r 丌。 1 1 2 国内的研究现状 国内的医疗机器人大多是从国外进口的，例如不少医院中应用的“伊索”机 器人系统等。医生们已经使用这种机器人完成了许多手术，诸如微创心脏瓣膜手 术、心脏搭桥手术、胸科手术等。 北京航空航天大学机器人研究所的王田苗教授与解放军海军总医院的田增 民教授研制出了基于立体定向技术的脑外科手术机器人系统，该系统是国内首 台，也是唯一一台实际应用于临床治疗中的国产外科手术机器人系统，目前已经 为近3 百名患者实施了手术治疗。 天津大学、南开大学与天津医院合作开发出的辅助显微外科手术机器人系 统，是一个集图像处理、运动控制、夹持力感觉等功能与一体的比较完整的主从 式手术系统。该机器人可以消除医生操作时的抖动，具有良好的超低速运动特性。 在以上的医疗机器人当中，有一个共同的特点，即均采用了视觉系统以获取 手术现场信息，并对手术过程中的操作动作进行引导和监视。视觉的重要性可见 一斑。 1 1 3 手术机器人视觉系统 目前，在外科手术机器人中大多使用主从式遥操作技术，需借助视觉、力觉、 触觉等传感系统使操作者具有一定的身临其境的感觉【嘲，特别是视觉系统更是整 个手术机器人系统中不可或缺的重要组出部分。 在我校研制的m i c r o h a n d 医疗机器人中，采用了三个c c d 摄像头，一个用 于全局视场，另两个用于手术空间的监视，其图像分别显示在两个显示器上。如 图1 - 4 所示。 图1 - 4m i c r o h a n d 医疗机器人系统 k r u p a 1 9 】等人研制的6 自由度机器人系统，在视场的搜索中采用了激光和视 觉标记等手段，通过计算机图像处理和机器人控制，自动移动手术器械，使其始 天津大学硕士学位论文 第一章绪论 终位于内窥镜视野的中央或者医生指定的位置，避免了手术器械的盲移可能带来 的潜在危险。 视觉系统除了可以提供基本的观察服务外，在主从式遥操作机器人系统中还 要担当视觉引导重任，使得主治医生可以根据图像操作主手机器人进而控制从手 完成手术动作。此外，在不少手术中，还要根据需要对图像进行二次或多次处理， 以突出病变组织，辅助完成手术路径规划等。 除了普通成像技术外，有时还可能利用其它一些方式获得图像，例如超声波 成像、激光成像、x 射线成像、c t 或m r 图像三维重构等。本论文主要研究 c c d 图像技术。 1 2 机器人视觉 人类感受客观世界的8 0 以上是通过眼睛得到的，因此视觉信息处理成为机 器人学重点研究内容之一。机器人视觉是通过图像处理实现的，其基础是计算机 视觉技术。 1 2 1 机器视觉原理及发展 机器人主要是依靠计算机图像处理技术来实现对三维客观世界的认识的【2 0 】。 按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三 维物体的可见部分投影到网膜上，人类按照投影到视网膜上的二维成像来对物体 进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距 离、质地和运动特征( 方向和速度) 等的分析。如果把三维世界n - - 维影像看作 是一种正变换的话，则机器视觉系统所要做的是从二维投影图像到三维客观世界 的逆变换，也就是根据二维投影图像去重建三维客观世界。 随着计算机科学、图像处理、模式识别技术的迅速发展，机器视觉的研究与 应用日益得到重视，并不断地在许多领域得到骄人的成果。机器视觉系统按其发 展可分为三代。第一代机器视觉系统能按照规定的流程对图像进行处理并输出结 果。这种系统一般由普通数字电路搭成，主要用于平板材料缺陷检测。第二代机 器视觉系统一般由一台计算机、一个图像输入设备和结果输出硬件构成。视觉信 息在计算机内以串行方式流动，有一定的学习能力以适应各种新情况。第三代机 器视觉系统是目前国际上正在开发使用的系统，它采用高速图像处理芯片和并行 算法，具有高度的智能和适应性，能较好地模拟人的视觉功能。 天津大学硕士学位论文 第一章绪论 1 2 2 机器人视觉系统的主要技术 机器人视觉技术研究的主要热点问题有【2 l 】：视觉传感器的选择与规划，环境 建模，目标的识别和跟踪，多视觉传感器信息融合，视觉定位和导航等。 环境建模、视觉定位以及视觉导航的核心技术是立体视觉技术，其基本原理 是从两个或者多个视点观察同一物体，通过三角测量原理获取物体的三维信息， 最终恢复可视表面的完整信息。 一个完整的立体视觉系统通常可分为图像获取、摄像机标定、特征提取、立 体匹配、三维位置确定以及内插等六个大部分，其中立体匹配是建立立体视觉的 关键。 1 3e n t 医疗机器人视觉系统 e n t 机器人视觉系统根据任务不同可分为两部分：外部视觉引导和内部视 觉监视及导航。 在耳鼻喉手术之前，需要首先将机器人移动到工作位置，进而使手术工具运 动到病变部位。虽然这些工作可以由人工手动操作机器人来完成，但是由于耳、 鼻、喉空腔很小，在主从操作模式下相当耗时、费力，还常常存在安全隐患。因 此，需要首先解决外部视觉引导下的机器人定位问题，要求能在手术前将手术工 具快速、准确地移动到工作位置。 内部视觉导航的目的是使得主治医生可以根据视觉图像操作主手机器人进 而控制从手完成手术动作。在耳鼻喉手术中，操作空间一般很狭小，手术动作必 需精细。目前实验室装备的视觉系统，手术医生需要通过显示在计算机屏幕上的 2 幅从不同角度拍摄的图像来获取三维信息，要高度依赖人的主观判断。在一些 特定的手术位置，医生需要通过不断地比较2 幅图像才能做出决定，以操纵主操 作手向某个方向运动。如果出现错误，很容易造成器官损伤。在手术过程当中有 时候需要进行反复尝试才能确定末端手术工具的运动方向和距离，加长了手术时 间。完全依靠人工观察来操纵机器人，不仅加重操作负担，也使得从手运动的有 效性降低，精度得不到可靠保证，还有可能损伤人的器官。本文将在视觉导航技 术方面进行一些研究，提出一些措施来解决这一问题。 1 4 本论文结构 本文的任务是以实验室装备的医用机器人为基础，重点对机器人的外部视觉 天津大学硕士学位论文 第一章绪论 问题进行研究，提出一套适合喉部手术的比较实用的机器人视觉系统。 论文结构如下： 第一章：论述当今国内外的技术现状及发展趋势，确定本论文主要研究内容。 第二章：论述e n t 机器人视觉系统的构建问题，确定软、硬件组成，提出 视觉系统使用方法。 第三章：寻找新的合适的立体视觉方法，将摄像机的标定与机器人的运动结 合起来。 第四章：将视觉系统与机器人控制系统进行整合，完成外部视觉功能。 第五章：总结取得的成绩和问题，指出需要改进的地方。 最后将对整个论文工作进行总结，并对未来的研究发展进行展望。 天津大学硕士学位论文第二章e n t 医疗机器人视觉系统 第二章e n t 医疗机器人视觉系统 视觉系统是医疗机器人获取外界信息最主要的一种手段，在医疗机器人快速 定位、运动导航、手术结果观察等方面发挥着几乎无法替代的作用。 本章将根据耳鼻喉手术特点搭建起一套先进的e n t 医疗机器人视觉系统， 不仅可以有效缩短手术准备时间，也能较好地满足基于视觉的主从式精细操作需 要。 耳鼻喉手术既有共同点，相互问也有差别。为了简单起见，下文将重点分析 喉部手术。 2 1 喉部手术特点分析 根据在医院里所作的调研情况，可以将耳鼻喉手术特点归纳如下： 夺手术操作空间均比较狭小，手术动作必须精细。 夺喉部手术一般要使用喉镜，长约1 7 3 毫米，横截面呈梯形，短边为1 7 毫米，长边为2 8 毫米，高为1 7 毫米；喉镜下端口略细，上端口略粗。 夺喉镜手术器械一般很细长，常常配对使用。 在进行喉部手术时，手术器械首先要从上端口进入，然后沿喉镜轴线方 向运动到病变部位并进行操作；手术过程中要经常更换器械。 喉镜手术前患者一般要先行麻醉。 2 2e n t 手术机器人图像系统 经过多次改进，课题组确定的新型e n t 手术机器人结构示意图如图2 1 所示。 考虑到目前情况下机器人本体移动起来不方便，将机器人基座固定不动；在 手术时，让患者随手术床移动到机器人前方合适位置。在此情况下，采用图2 - 2 所示外部图像系统布置方案。 3 个c c d 摄像机均固定在机器人本体上，其中两个c c d 构成双眼系统，仿 照人类眼、手位置关系进行布置，镜头对准喉镜口部位，用于引导机器人将手术 工具快速、准确地移动到喉镜口；另一个c c d 用作手术器械运动监控，使操作 者可以根据图像控制机器人将器械送入到喉镜中，并能监测手术过程中器械运动 天津大学硕士学位论文 第二章e n t 医疗机器人视觉系统 干涉情况。该c c d 的位姿可以人工调整，以使镜头视轴中心线与喉镜中心线基 本重合。手术过程中的动作监控与视觉引导则是根据内窥镜图像完成的。 整个e n t 手术机器人系统包括p h a n t o m 主手、双臂式从手、运动控制器、 图像处理系统等组成。 图2 1e n t 手术机器人从手结构示意图 图2 - 2e n t 机器人外部图像系统结构 天津大学硕士学位论文 第二章e i f f 医疗机器人视觉系统 在实验阶段，双眼图像处理工作是在独立的计算机上完成的，将来需与机器 入主控制系统整合到一起。 为了实验方便起见，双眼c c d 装在云台上，具有三个调整自由度，其中两 个旋转、一个平移( 图2 - - 3 ) 。 图2 - 3 双眼系统云台 2 3e n t 机器人图像系统主要硬件和软件 2 3 1c c d 器件 c c d 电荷祸合器件是目前机器人视觉系统中广泛使用的成像器件，它具有 以下一些特点： 1 ) 全固体化，体积小，重量轻，工作电压和功耗都很低，可靠性高，寿命 长。 2 ) 像元尺寸的几何位置精度高( 优于l u r e ) 。 3 ) 抗电磁干扰性强。 4 ) 产品成系列化。 在选择c c d 芯片时除了要考虑价格因素外，还要考虑成像物体的几何尺寸 以及图像分辨率等要求。摄像机的视场( 月d 功应该大于或者等于被测物体或者 需要检测的部位。假定芯片的像元大小是p ( u r n ) ，c c d 分辨率用r ( u r n ) 表示， c c d 芯片成像部分长边为三( m m ) ，水平视场长f o v ( m m ) ，系统放大率是 厶 对物体的分辨率是r 。i , j ( 啪) ，则有： 五= 2 1 m = l | f o y 。 矗2 p f o v 2 万2 了一 l ：= 2 p 。f o v 只m 根据上述计算可以得到c c d 的尺寸。一般采用高分辨率的摄像机以提高对 天津大学硕士学位论文第二章e n t 医疗机器人视觉系统 物体细节的辨识度。 如果不需要识别物体的色彩，采用黑白c c d 一般即可满足要求。否则，宜 选用彩色c c d 。 考虑到试验系统的性能和要达到的精度，本文选用了北京太奇思维数码科技 有限公司公司生产的p n t - 6 6 8c c d 。 2 3 2 图像采集卡 图像采集卡选用了美国n i 公司的基于总线技术的p c i 1 4 1 1 彩色图像采集 卡，可以实现彩色、黑白两种图像的采集及前端处理。该卡采用先进的数字解码 方式，可将标准输入的p a l 制式、n t s c 制式彩色或黑白视频信号或s - v i d e o 信 号数字化，经解码后转换为适于图像处理的r g b 2 4 b i t s 或者黑白灰度的8 b i 忸格 式的数字信息，然后通过p c i 总线实时传送到p c 机系统内存( 或者视频显示缓 冲区) 。图像卡功能结构框图如下： 模拟视频 b n c ，s v i d e e 2 3 3 光源 图2 4 图像卡功能结构 光源是影响机器视觉系统输入的重要因素，它直接影响到图像的质量。为此， 要针对应用需要，选择合适的照明装置，以达到最佳效果。许多工业用的c c d 可以直接用可见光作为光源，例如白炽灯，日光灯、水银灯及钠光灯等。需要注 意的是，这些光源有一个很大的缺点，即其光能不能保持稳定。以日光灯为例， 在使用的第一个1 0 0 小时内，光能将下降1 5 ，随着使用时间的增加，光能将 不断下降。因此，如何使光能在一定程度上保持稳定，是实用过程中需要解决的 问题。另一个方面，环境光将改变这些光源照射到物体上的总光能，使得输出的 天津大学硕士学位论文 第二章e n t 医疗机器人视觉系统 图像数据存在噪声。可以采用防护屏的方法，减少环境光的影响。 由于外部视觉引导过程相当短暂，选用普通的白炽灯做为双眼系统光源。 2 3 4 双目c c d 系统 双且c c d 系统在e n t 机器人中用做工作位置定位，以使双从手机器人能够 快速、准确、安全地运动到合适的工作位置。其关键是如何利用摄像机所拍摄的 二维图像信息来获得目标物精确的三维位置与姿态信息，为e n t 机器人视觉系 统构建过程中的关键问题之一。 目前，三维定位的主要方法有双目立体视觉、三维激光视觉、基于单目的模 板匹配技术等 2 4 】。单目摄像机一般仅能获取2 维信息，通常需要采用多个摄像机 或者采用其它辅助传感器，如激光、声纳等来获取有用信息，在此基础上实现三 维定位。文献【2 5 】利用激光来测量深度信号，并与二维图像信号相结合来对模型进 行三维重建。激光本身的标定很复杂而且价格昂贵。文献【2 6 1 利用模型库和图像分 析来估计拧螺丝时工具所处的位姿信息，需要进行相应的预处理以建立完备的模 型库。双目立体视觉结构简单，标定精度高，但两个摄像机的标定算法和特征点 匹配较为复杂。综上分析并根据目前项目的需要，最终确定采用双目立体视觉方 案。具体研究内容见下一章。 2 4 图像系统软件设计 2 4 1 系统软件功能 系统软件设计是整个双目c c d 系统研制的重点之一，所要完成的主要功能 如下： ( 1 ) 完成视觉图像的采集、目标提取、立体视觉的计算以及机器人和摄像 机的标定等。 ( 2 ) 完成视觉系统与机器人主控系统整合，以使机器人可以根据来自视觉 系统的信息，确定出从手机器人所要到达的目标位姿，并做出适当的运动规划。 2 4 2m a t l a b 标定仿真程序 图形处理计算机负责图像采集、图像处理和空间点的分析，并向主计算机传 送计算数据结果。由于涉及到图像处理与计算，本文使用l a b v i e w 进行编程。 l a b v i e w 是一种图像化的编程语言，集成了m a t l a b 和c 节点，可以分别用m a t l a b 和c 进行编程，以备将来将数据进行集成。 天津大学硕士学位论文 第二章e n t 医疗机器人视觉系统 m a t l a b 是国际公认的优秀的科学计算与数学应用软件之一，是最近几年流行 的可视化的科学计算软件。它集数值分析、矩阵运算、信号处理等于一体，构成 了一个方便的、界面友好的用户环境，并且具有可扩展性。m a t l a b 支持用户对其 软件进行二次开发，用户的应用程序也可以作为新的函数添加到相应的工具箱 中。m a t l a b 提供了一些借口可以与其它系统进行集成，便于编制大型应用软件。 m a a b 除了具有强大的数据运算功能之外还有图像处理工具箱，方便了程序 的进一步编制。基于m a a b 的这些特点，采用该软件进行程序编写。 下图为标定仿真程序的软件界面： 图2 - 5m a t l a b 标定程序界面 2 4 3l a b v i e w 采集软件和通信软件编制 l a b v 陋w 软件通用性强，采用图形化设计，功能实现迅速。作为实验用的 机器人，其运动控制部分采用n i 公司的p c i 一7 3 4 4 运动控制卡，需在l a b v i e w 环境中进行控制软件编程。视觉部分采用此环境可保证将来视觉和主控部分连接 的协调性以及通信的高速性。 l a b v i e w 中包含视觉开发模块n ii m a qv i s i o n ，该模块集图像采集、处理 分析等功能于一身。利用l a b v i e w 开发机器人视觉软件，可以缩短软件的开发 周期，扩展软件功能。 图2 - 6l a b v i e w 图像采集系统 天津大学硕士学位论文 第二章肿医疗机器人视觉系统 在l a b v i e w 图像通信程序中采用了基于t c p f i p 的网络通信协议。t c p i p 协议是目前网络中使用最普遍的网际协议，通用性强，便于程序的移植和扩展 t c p i p 协议是面向连接的可靠的通信协议，通过“三次握手”来实现数据的可 靠通信。 图2 - 7 图像传输的客户端程序 图2 - 8 图像传输的服务端程序 天津大学硕士学位论文 第三章e n t 机器人双目立体视觉 第三章e n t 机器人双目视觉技术 为了减少患者手术费用并减轻主刀医生工作强度，手术准备时间应该尽可能 缩短。由于手术位置随患者不同而变化，加上耳、鼻、喉手术空间很狭小，如何 快速、准确地确定出手术工作位置，以使机器人将手术器械以正确的位姿送入到 患病腔体内部成为视觉系统需要首先解决的问题。e n t 机器人双目c c d 系统的 任务就是用来解决这个问题，它可以使机器人在主刀医生监控下，快速、准确、 安全地运动到手术预备位置。其关键是如何利用两个摄像机所拍摄的二维图像信 息来获得目标对象精确的三维位置与姿态信息。 双目立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下 的感知图像，然后通过三角测量原理计算出景物的三维信息。这一过程是与人类 视觉的立体感知过程相类似的。一个完整的立体视觉系统通常有图像获取、摄像 机标定、立体匹配、空间位置求解等部分。 3 1 图像获取 黑白c c d 拍得的图像中除了含有目标物外，一般还包含其它一些物体。为 了便于提取出目标物，除了利用图像采集及处理软件将得到的图像作进一步的处 理外，还可以在拍摄前人为改变物体间的对比度。为了能够尽快搭建好e n t 机 器人双目视觉系统，本文特采用了标定块方法，待视觉系统搭建起来后，再应用 于喉镜等处理，并根据实验情况加以适当调整，最后完成视觉系统定型。 ( 1 ) 图像灰度值阈值分割 由于光照的不同以及物体材质的不同，经过c c d 采集后储存在计算机内存 中用来表征物体和背景的的灰度值是不同的。在进行图像提取之前需要进行多次 实验及灰度值计算，以确定一个合适的灰度值阈值。为了加大灰度上的差别，特 意将标定背景制作成白色，并将待抽取的特征点标记成黑色，这样得到的灰度直 方图会有明显的区分度。 ( 2 ) 基于像素面积的特征提取 不同的粒子在图像中所占区域大小是不一样的，其像素数目也不同。为了保 证计算精度，特征点对应的像素数目不能太少。像素数目过多并不能提高精度， 反而造成计算上的负担。 天津大学硕士学位论文 第三章e n t 机器人取目立体视觉 图a 待提取特征点图b 灰度直方图 图3 - 1 特征点的表征 下表是按照上述方法实验后得到的一些特征点的像素坐标： 表3 - i 特征点的像素坐标值 特征点的序列号i = 1 像素坐标值 1( 3 8 9 5 1 9 5 ) 2 ( 3 7 5 2 2 ，4 7 4 4 4 ) 3 ( 4 2 8 2 5 ，5 3 2 5 ) 4 ( 4 0 8 3 8 5 ，1 1 3 6 9 2 ) 5。( 4 2 5 i 1 2 8 3 3 3 6( 3 8 4 5 1 5 6 5 ) 7 ( 3 2 5 5 8 8 0 ) 8 ( 3 4 8 1 0 5 5 ) 9( 3 3 2 8 11 4 4 ) 3 2 摄像机标定 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是 由摄像机的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件 下，这些参数必须通过试验与计算才能得到。摄像机标定就是为了确定摄像机的 位置及属性参数以建立成像模型，即建立图像的二维描述和空间的三维描述之间 的关系。 3 2 1 标定方法 传统的摄像机标定技术需要在摄像机前放置一个已知物体 2 7 1 ，称为标定参照 天津大学硕士学位论文 第三章e n t 机器人双目立体视觉 物。在标定过程中，一般要利用参照物上一些点的三维坐标和它们的图像点坐标 来计算摄像机的内部参数和外部参数。 由于本文设计的视觉系统属于固定视觉系统，即c c d 有固定的位置，因而 可以事先进行标定，以获得较高的标定精度。 摄像机的内部参数是指摄像机成像的基本参数，如主点( 图像中心) 、焦距、 径向镜头畸变、偏轴镜头畸变以及其它一些系统误差参数等。标定的基本方法如 下：用选定的摄像机，对形状和尺寸已知的标定参照物进行拍摄，得到一系列图 像，然后对这些图像进行数学变换和计算，以求取摄像机模型的内部参数和外部 参数。处理方法包括基于单帧图像的基本方法和基于多帧图像的立体视觉方法 等。 传统的摄像机标定方法可以分成四类，即：利用最优化算法的标定方法、利 用摄像机变换矩阵的标定方法、考虑畸变补偿的两步法以及双平面标定方法等。 也可按照求解算法的特点分成直接非线性最小化方法( 迭代法) 、闭式求解方法 和两步法j 。 利用最优化算法的摄像机标定方法，考虑了摄像机成像过程中的各种因素。 对于每一幅图像，要利用至少1 7 个参数来描述其与三维空间的约束关系，计算 量非常大。 由摄影测量学可以得知，描述三维空间坐标系与二维图像坐标系相互关系的 方程，一般来说是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜 头的非线性畸变并且把透视变换矩阵中的元素作为未知数，则可以根据给定的一 组三维标定点和对应的图像点，利用线性方法求解出透视变换矩阵中的各个元 素，这就是基于摄像机针孔模型的透视变换矩阵法。 两步法的基本思想如下：利用最优化算法去求解未知参数，其求解结果常常 取决于给定的初始值。如果初始值选定不当，则很难得到良好的结果。透视变换 矩阵法可以用线性方法求解出摄像机参数，其缺点是没有考虑镜头的非线性畸 变，精度不高。如果先利用透视变换方法求得一组摄像机参数，再以求得的参数 为初始值利用最优化算法迸一步修正，就可以消除畸变等影响从而获得较高的标 定精度。这就是所谓的两步法。在实际应用时，一般假定c c d 阵列中感光元的 横向间距和纵向问距是已知，其数值由摄像机厂家提供。所要计算的摄像机内部 和外部参数分别是： ( 1 ) 等效焦距f ( 2 ) 镜头畸变参数k l 、l 【2 ； ，( 3 ) 由摄像机横向扫描与采样定时误差引起的非确定性标度因子s x ； ( 4 ) 图像中心或主点( c x ，c y ) ； 天津大学硕士学位论文第三章e n t 机器人双目立体视觉 ( 5 ) 三维空间坐标系与摄像机坐标系之间的旋转矩阵和平移向量。 为了寻找更合理的摄像机模型，使之更全面、更有效地表示c c d 摄像机的 实际成像过程，m a r t i n s 等提出了双平面模型( t w o - p l a n em o d e l ) 【2 8 1 马颂德和 魏国庆【2 9 】在利用双平面模型标定摄像机参数方面做了大量的工作。 双平面方法的优点是利用线性方法就可以解得有关参数，缺点是要求解大量 的未知参数，存在过分参数化的倾向。双平面模型与针孔模型的主要区别在于： 双平面模型不像针孔模型那样要求投射到画像平面上的光线必须经过光心。前者 给定成像平面上任意一个图像点，便能够计算出两个标定平面上的相应点，从而 确定出投射到成像平面上产生该图像点的光线。 除了上述标定方法之外，近几年还发展出了自标定技术。传统的摄像机标定 是利用一个标准参照物来进行的，而自标定技术则是利用从图像序列中得到的约 束关系来计算摄像机模型的参数，这就使得在线地、实时地校准摄像机模型参数 成为可能。自标定技术也产生了不少新问题。一个相当棘手的问题是，有些自标 定所得到的解不是唯一的，即由约束关系所得到的解在一般情况下是多解的。此 外，由于图像中含有噪声，即使在噪声很小的情况下，所解得的值也与实际值有 很大的差别。因此，如何在存在噪声的情况下提高解的稳定性，一直是自标定领 域的研究人员试图解决的问题。 3 2 2 线性模型摄像机标定技术 目前的摄像机在应用的时候多采用线性模型。f a u g e r a s 的研究结果表明，采 用非线性模型并没有在本质上提高摄像机模型的的精确性1 3 0 】。此外，一些实验结 果也显示出我们所采用的c c d 摄像机畸变很小，完全可以忽略不计。因此，本 文决定采用线性c c d 模型。 为了论述方便起见，下面首先给出几个定义，包括图像坐标系、摄像机坐标 系和世界坐标系等。 图像、象素及象素坐标系： 摄像机的成像结果称为图像，在计算机中是用一个m x n 二维数组表示的， 数组中的每一个元素反映光强度的大小，称为象素。每一个象素在计算机中的存 取方式是不同的，分为黑白灰度图像和彩色图像两种图像格式。黑白灰度图像的 每一个象素在计算机中以八位即一个字节来存储，因此它的取值范围为0 2 5 5 ； 彩色图像一般用r g b 格式( 还有其它格式，例如h s l 格式等，多用于特殊的图 像处理场合) ，每一个象素采用四个字节( 即平时所讲的3 2 位彩色图像) 存储， 其中除了头一个字节无意义外，其他三个字节分别表示r 、g 、b 三种颜色的量 值。 天津大学硕士学位论文 第三章e l q r 机器人双目立体视觉 为了描述方便起见，在图像上建有图像坐标系，并以象素为单位来表示坐标 ( u ，v ) 。由于没有实际的物理单位，一般需要再建立以某个物理单位为度量的 坐标系( x ，y ) ，如图3 - - 2 所示： o o o j r ( “o ，v o ) x r v 1 图3 - 2 图像坐标系 u 由图3 2 ，可以得到两个坐标系之间的数学关系式： x 2 + u o dx ( 3 1 ) v = + v o a y 写成齐次矩阵形式为： = 1 0 出 。上 砂 0o 书 ( 3 - 2 ) i = 喜鞠圈 ， 平行，z