（生物医学工程专业论文）图像导航手术中手术器械定位系统的实验研究.pdf

a b s t r a c t t h e s i st i t l e ：e x p e r i m e n t a ls t u d yo fl o c a l i z a t i o ns y s t e mo fs u r g i c a ld e v i c e sd u r i n g i m a g e g u i d e ds u r g e r y m a s t e rn a m e ：l i uf a n g s u p e r v i s o rn a m e ：b a nx u d o n g s c h o o ln a m e ：s o u t h e a s tu n i v e r s i t y t h er e s e a r c hg o a l so ft h i sd i s s e r t a t i o na r et h ed e s i g n , i m p l e m e n t a t i o na n d f e a s i b i l i t y o ff a s ta n da c c u r a t em e t h o d sf o r p e r f o r m i n go p t i c a l - b a s e d t h r e e d i m e n s i o n a ll o c a l i z a t i o ni nt h ep r o c e s so f i m a g e - g u i d e ds u r g e r y i no r d e rt os p e e du po b j e c td e t e c t i o n ，t h ea u t h o rh a sd e s i g n e dm a n ym a r k e r sa n d d e t e c t e dt h r e ek i n d so ft h em a r k e r s t h ev e r ye f f e c t i v em e t h o di sb a s e do nc o n t r a s t c o l o rf e a t u r ea n df o r mf e a t u r e a r t i f i c i a ln e u r a ln e t w o r ka r eu s e df o rc o l o r c l a s s i f i c a t i o n as e r i e so fo r i g i n a lo b j e c t si sg a i n e dt h r o u g hs e a r c h i n gt h em o s t o u t s t a n d i n gf e a t u r eo ft h em a r k e ras e to ff e a t u r e so b t a i n e df r o mt h e s eo r i g i n a l o b j e c t s ，t h e nt 1 1 e ya r eu s e df o ro b j e c tc l a s s i f i c a t i o n e x p e r i m e n t a lr e s u l t sh a v es h o w n t h ee f f e c t i v e n e s so f t h i sm e t h o d af u n d a m e n t a l p r o b l e m i nt h es t e r e o v i s i o n a p p l i c a t i o n i st h a t m a t c h i n g c o r r e s p o n d i n gp o i n to ft a r g e ti sv e r yd i f f i c u l t t oo v e r c o m et h i sp r o b l e m ，t h ea u t h o r h a sm o d i f i e dm a r k e r st i m ea f t e rt i m e f i n a l l yc o r r e s p o n d i n gp o i n to ft a r g e tc a nb e m a t c h e ds i m p l ya n dn i c e l y t h ea c c u r a c yo fl o c a l i z a t i o ns y s t e md e p e n d sp a r t l yo nt h ea c c u r a c yo fc c d c a m e r ac a t i b r a t i o n f o rt h e c o m p l i c a t e dm o d e l so fi m a g ef o r m a t i o na n dl e n s d i s t o r t i o ne x i s t i n gi nt h ec a m e r ac a l i b r a t i o n ，t h ec a m e r ac a l i b r a t i o nm e t h o df o r s t e r e o v i s i o nb a s e do nb pn e u r a ln e t w o r ki su s e di nt h i sd i s s e r t a t i o na n dt h i sm e t h o d h a sb e e ne x p e r i m e n t a l l yt e s t e dw i t hr e a ld a t a t h er e s u l ts h o w st h a th i g hc a t i b r a t i o n p r e c i s i o nc a nb ea c h i e v e dw i t l lt h i sm e t h o d f o re x a m p l e ，t h i sd i s s e r t a t i o nd e s c r i b e sas y s t e mf o rl o c a l i z i n gs p a c ep o i n ta tt h e a c c u r a c yo f2 2 7 m mi naw o r k i n gv o l u m eo f1 5 2 m 3w i t h i n0 2 2 s e x p e r i m e n t a l r e s u l td e m o n s t r a t e st h ef e a s i b i l i t yo f t h es y s t e m k e y w o r d s ： i m a g e g u i d e ds u r g e r y , t h r e e d i m e n s i o n a ll o c a l i z a t i o ns y s t e m ，o b j e c t d e t e c t i o n ，c a m e r ac a l i b r a t i o n ，b pn e u r a ln e t w o r k i l 东南大学学位论文独创性声明 本人声明所里交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：雄曰期：础乡 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 日期： 第一章绪论 第一章绪论 随着计算机技术的迅速发展，促进了可视化技术的飞速进步，各种影像资料 被直接应用于治疗过程中，出现了图像导航外科这一崭新的领域。图像导航技术 将多种高新技术应用于外科手术，是在传统外科基础上的巨大进步，经过十几年 的发展，图像导航手术系统已由神经外科开始发展为在脊柱以及全身外科手术上 的广泛应用，极大的促进了外科手术的发展，成为外科手术发展的必然趋势。 图像导航手术利用先进的计算机三维医学图像处理技术和三维空间定位技 术将病人术前获得的影像信息与术间手术器械和病人的位置信息集成起来，为手 术进行导航。 本课题的研究目标是研制一种低成本，并能达到临床应用要求的无框架图像 导航手术中手术器械定位系统，针对系统所涩及的每个技术细节进行一定的可行 性研究，并给出相应的实验结果。 本章作为绪论部分首先详细阐述和分析我们进行此项课题的研究背景和动 机，然后讨论和比较了现有的几类手术器械三维定位系统的技术特点，进而提出 论文的研究重点和实现方法，最后给出论文的结构综述。 1 1 研究背景和动机 图像导航手术( i m a g eg u i d e ds u r g e r y ) 是在手术过程中，利用计算机技术将 术前或术中病人影像数据、实际手术过程中病人的病变体位、以及手术器械所在 的坐标系统一起来，根据实际手术的需要对手术器械周围的组织给出相应的显 示，对手术进行实时的导航【l 】。简单的说，手术导航系统将病人术前或术中影像 数据和手术床上病人解剖结构准确对应，手术中要对手术器械进行跟踪并将手术 器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相 对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。由于这 项外科技术能够带来诸多的临床附加值，近年来已经成功地应用于多种外科领域 f 2 一卯 图像导航手术系统主要包括术前图像数据采集、术前三维建模与可视化、术 前手术计划的制定、术中手术空间的定位、术中手术空间与图像空间的配准、术 中图像模型的更新和实时显示共六个部分1 ，扪。下面我们将分别对图像导航手术 系统的各部分作简要介绍。 ( 1 ) 术前图像数据采集 术前图像数据采集的类型主要取决于具体的手术和对手术的要求。这些术前 东南大学硕士学位论文 采集的医学图像将用来制定手术计划。 ( 2 ) 术前三维建模与可视化 为了制定手术计划，首先要应用先进的图像处理技术和可视化技术将医学图 像中的不同的组织( 如血管，肿瘤等组织) 分割出来，并加以显示，进而利用这 些量化信息建立病人的三维解剖结构仿真模型。 ( 3 ) 术前手术计划的制定 术前制定手术计划( 又称手术规划) 的目标是从病人的三维仿真模型提供的 信息中寻找最优的手术路径，从而确定最佳手术方案，减少对临近组织损害。 ( 4 ) 术中手术空间的定位 由于术前制定手术计划时的病人和手术器城都是虚拟的，而在实施手术的过 程中病人和手术器械都是真实的，这样就产生了如何将术前图像空间仿真信息和 术中手术空间信息统一到同一坐标系下的问题，即配准( r e g j s t r a t i o n ) 问题。 在配准之前，就需要用三维定位系统测量出手术台上病人和手术器械的空间位置 坐标( 通常是指相对于手术参考坐标系下的坐标) 。因此，手术空间的定位问题 包括病人的定位和手术器械的定位与跟踪。三维空间定位系统可分为基于框架的 定位系统和无框架定位系统。 基于框架定位方法( 如图1 1 ) 的优点是定位简单，定位精度高。这种定位 方法也有很大的局限性：这种方法对病人并不友好，病人从术前成像到手术治疗 期间都必须一直带着一个立体定位框架，这无疑会增加病人的痛苦和不便；在一 定程度上也会妨碍外科医生有效的实施手术，例如不能从某些最佳方向接近手术 区，延长了手术时间；对于一些需要间隔一段时间比较手术疗效的场合也不能使 用这种方法。 图卜1 框架定位示意图 目前图像导航手术系统采用的是更先进的无框架立体定位技术。采用这种定 位方法，一般要利用病人的解剖学标记或固定在体表的人工标记物( m a r k e r ) 作 为基准点参与配准。临床研究表明无框架定位系统在各方面的指标均要好于有框 架系统。本论文要讨论和研究的就是这类定位系统。 2 第一章绪论 ( 5 ) 术中手术空间与图像空间的配准 配准就是将术前图像空间仿真信息和术中手术空间信息统一到同一坐标系 下。经过配准，手术器械的位置可以被实时跟踪并显示在术前图像上，使外科医 生能够精确抵达靶区实施手术。 ( 6 ) 术中组织模型的更新和实时显示 若手术导航完全是根据术前图像进行的，则术内组织的变形和移位，出血或 水肿造成的移动都会造成较大的偏差。这时需要对组织的模型进行适当修正和更 新( 如建立弹性形变模型) ，但这只能在一定的变化范围内进行，如超出这个范 围就必须结合术中成像信息进行手术导航。 从以上关于图像导航手术系统的介绍中，可以看到术中三维定位系统作为图 像导航手术系统的一个子系统是手术导航最为关键的一个技术部分，其技术问题 主要包括术中病人的定位，手术器械的定位和跟踪，以及病人，手术器械和图像 模型之间的配准。术中三维空间定位的精确程度不仅直接关系到配准的有效性， 还决定了整个手术导航系统的导航精度和可靠性。因此，三维定位系统的研究和 开发对于外科手术导航系统的临床应用具有十分重要的意义，对它的研究一直是 图像导航手术领域的一项重要课题。 目前国际上关于图像导航手术系统的开发与应用正方兴未艾，从1 9 9 0 年开 始到现在短短的十几年间，已经出现了不少成熟的产品服务于临床，产生了良好 的社会和经济效益，因此对于图像导航系统的研究和开发已经成为各国在医疗高 新技术领域竞相发展的一个热点。由于经济和科技发展水平同国际先进国家的差 距，我国在导航手术方面的临床应用和研发起步相对较晚，尚没有研制出具有完 全自主知识产权的产品，所用的手术导航系统基本上完全依赖进口。这导致了国 外产品在我国医疗市场上的价格主导，其昂贵的价格和医疗成本是国内一般医院 很难承受的，因此限制了这项技术在国内的推广和使用【l ”。我们实验室是国内较 早从事三维医学影像精确治疗技术研究与开发的科研机构，已成功研制出多种类 型满足不同临床需要的手术治疗计划系统。为促进图像导航手术技术在国内的推 广和使用，本课题将工作重点定为研制一种低成本，并能达到临床应用要求的无 框架图像导航手术中手术器械定位系统。 1 2 几种常用的手术器械三维定位系统 在手术导航过程中，定位标识器( m a r k e r ) 是一种辅助定位器件，可以被 附加在器械和参考框架等不同目标体上，术中三维定位系统首先对它进行检测和 定位，然后再根据其坐标进一步推算出目标体的三维坐标。不同的定位技术在定 位的精确性及使用条件等各方面都各有其优缺点，下面我们就对几种常用的手术 器械三维定位系统进行介绍和比较。 ( 1 ) 被动式机械臂 此类三维定位系统由被动式机械臂组成，它的每一个机械联接部位至少具有 东南大学硕士学位论文 6 个自由度，并安装了相应的数字编码器( 如图1 - - 2 ) 。定位工具同系统终端的 效应器相联，其位置和方向可以从机械臂的几何模型和编码器的瞬时值中实时的 计算出来。其优点是：其定位原理简单直观；在很小的手术空间中可以获得较好 的精确性，定位精度在l m m 内；这种机械系统可以被动的约束或制动，使手术按 预先规划的位置和路径执行【6 】。其缺点是 7 1 ：这种机械臂比较笨重，会给手术的 实施带来一定的不便；系统一次只能跟踪个目标；其各联接部分定位误差会累 加：只能在很小的手术空间中使用。 图卜2 被动式机械臂实物图 ( 2 ) 超声定位系统 超声定位系统主要由多个接收器和发射器构成，它通过测量超声在组织中的 传播时间进行三维定位。其优点是：是一种无接触技术，定位目标可以完全自由 的运动：系统可同时对多个目标的位置进行检测。其缺点是：发射器尺寸较大也 会对定位精度产生影响：由于超声的传播易受温度变化，空气移动和密度不均匀 等因素影响，所以绝对定位精度较低悼j 。 ( 3 ) 电磁定位系统 在电磁定位系统中每个发生器线圈定义一个空间方向，小探测器线圈检测空 气中传播( 可能穿过软组织) 的低频磁场1 9 ，1 0 l 。其优点是：系统结构紧凑；价格 相对便宜；系统可同时对多个目标的位置进行检测。其缺点是：因为金属会引起 磁场的波动，所以电磁定位系统对于手术空间中任何金属物体的介入都十分敏 感，这种情况常会引起几个毫米的定位误差。 图卜3 电磁定位跟踪器实物图 4 第一章绪论 ( 4 ) 光学三维定位系统 光学三维定位系统主要依据计算机立体视觉原理通过相隔一定距离的两个 ( 或三个) 摄像机组成的立体视觉图像采集系统从不同位置和方向同时获取定位 目标( 主动或被动式) 的二维图像，从中提取出相应于目标的二维特征信息，再 根据三角视差原理由这两幅二维图像重建出目标相对于参考坐标系的三维坐标。 图1 4 手术器械光学三维定位系统示意图 手术器械光学三维定位系统的定位过程如图1 4 。图中世界参考坐标系为 f d ，摄像机坐标系为f t ，手术探针把手便是定位标识器。要求出探针针尖在f d 下的空间坐标t d ，先要求得定位标识器在f d 下的空间坐标i i n o ，然后根据i l a d 进 一步推算出t d 。那么如何求得m d ? 先要从两个( 或三个) 摄像机从不同位置和 方向同时采集的二维图像中提取出相应于定位标识器的二维特征信息，再通过 f d 与f t 之间的变换关系f d t 就可以重建出m d 。 由于光学定位技术在定位的准确性和数据采集速度等方面均要优于其它技 术，因而光学三维定位系统已经成为目前图像导航外科领域中应用最广泛的一类 定位系统1 1 i 。根据使用的定位标识器和光照系统的不同，手术器械光学三维定位 系统可分为如下两类。 东南大学硕士学位论文 1 使用被动式定位标识器( p a s s i v em a r k e r ) 的立体视觉系统 被动式定位标识器自身并不能主动发射能量，而只能被动地反射光照能量。 因此，系统只能依靠这些标识器表面的反射光信息获取其视频图像，然后匹配两 幅视频图像上的对应点，以重建出这些点的三维坐标。这就要求标识器在图像上 必须具有能够区别于其它物体的纹理信息【l ”。这类系统的优点是：系统可同时对 多个目标的位置进行检测；系统成本较低。这类系统的缺点是：在摄像机的视野 中环境光和反射物的存在会在图像上形成错误的斑点或错误的模式信息，容易产 生错误的数据。 2 使用主动式定位标识器( a c t i v em a r k e r ) 的立体视觉系统 主动式定位标识器自身能主动发射能量。目前主动定位标识器通常选用几个 红外发光二极管( i n f r a r e dl i g h te m i t t i n gd i o d e ，简称i r e d ) ，并将它们安装在需 要跟踪或定位的刚性目标体上( 如标准的手术器械和导航探针) 。由两个( 或三 个) c c d 摄像机( 电荷耦合图像传感器) 组成的光学立体视觉系统对每个i r e d 进行红外成像，进而重建出i r e d 中心点的三维坐标，再根据它们与目标体的空 间位置关系求出目标体在手术参考坐标系下的位置和方向，因此这种技术又称为 红外光学定位技术【l3 ，1 4 , ”j 。这种定位技术优点是：由于不受环境光和其它景物的 干扰，可以很容易地定位出标识器的中心。缺点是：因为i r e d 在摄像机图像平 面上的投影信息为红外光斑( i n f r a r e ds p o t ) ，所以只能以光斑中心坐标作为特征 点坐标，因此其定位精确性不是很高；系统成本较高。 1 3 本课题的研究内容和实现方法 为了促进图像导航手术在国内的推广和使用，本文将工作重点放在了研制一 种低成本，但能达到临床应用所需的定位精度和定位速度要求的图像导航手术中 手术器械定位系统。对于图像导航外科领域的应用而言当定位误差范围控制在 3 m m 以内时，此定位系统才具有临床上的使用价值。就实时性而言，至少要在1 秒钟内完成2 帧图像中目标点的定位。 由于光学定位技术在定位的准确性和数据采集速度等方面都要优于其它定 位方法，并且具有很好的鲁棒性和可扩展性，所以本文决定采用光学三维定位系 统。为降低成本，我们采用普通的彩色摄像机进行图像采集，并使用低成本定位 标识器，利用定位标识器上自行设计的图案进行手术器械的快速检测及定位。 我们所设计的光学定位系统主要由两部分构成：第一部分是硬件部分：两个 彩色摄像机，一只手术导航探针( s u r g i c a ln a v i g a t i o np r o b e ) 和一台p c 计算机。 手术导航探针作为定位工具，其把手上安装有我们自行设计的定位标识器；两个 摄像机用于采集手术导航探针上定位标识器的图像信息。第二部分是软件控制部 分：利用成像系统得到的两幅二维图像快速重建出探针针尖的三维坐标。基于光 学手术器械三维定位系统的实现过程，本课题的具体研究内容包括以下几个部 分： 6 第一章绪论 1 设计定位标识器 2 定位标识器的快速检测 3 双目立体视觉中特征点提取和匹配 4 摄像机标定 5 探针针尖的定位 1 4 论文的结构 第一章。绪论。阐述本文进行此项课题的研究背景和动机，然后对现有的几 类手术器械三维定位系统的技术特点进行了比较，进而提出论文的研究重点和实 现方法。 第二章。通过对立体视觉基本原理和立体视觉系统基本结构的研究，建立了 本文手术器械光学三维定位系统的基本结构，为课题的全面展开打下理论基础。 第三章。完成对定位标识器的快速检测。怎样实现对定位标识器的快速检测 是本文的研究重点。针对当定位标识器在图像中所占面积比例较小时，难以实时 地进行定位标识器检测这一问题，本文进行了大量的实验研究，终于提出了一种 融合灰度和颜色特征以及形状特性的快速目标检测方法，并使用b p 神经网络构 造了颜色分类器，然后通过实验对方法进行验证。 第四章。完成特征点提取和对应点匹配两部分工作。立体匹配是立体视觉中 最难以解决的问题。本文以定位标识器的设计为突破口，对其进行了多次修改和 实验，终于设计出使特征点的提取以及对应点匹配都变得非常简单有效的定位标 识器，提高了整个定位系统的工作效率。 第五章。完成摄像机标定和探针针尖的定位。本文采用了基于b p 神经网络 的立体视觉摄像机标定方法，获得了较高的摄像机标定精度。在摄像机标定的基 础上，本文成功地重建出探针针尖的三维坐标。 第六章。总结论文的主要工作，对将来进一步的研究提出建议。 7 东南大学硕士学位论文 第二章双目立体视觉系统 计算机视觉研究中最基础的内容是利用二维图像恢复三维场景空间信息。立 体视觉作为计算机视觉的一个重要分支，是计算机被动测距方法中最重要的距离 感知技术，它直接模拟了人类视觉处理景物的方式，具有简单、可靠、使用范围 广等特点，可以在多种条件下灵活地测量景物的立体信息，其作用是其它计算机 视觉方法所不能取代的【1 6 】。 立体视觉的开创性工作是从2 0 世纪6 0 年代中期开始的。美国m i t 的r o b e r t 完成的三维景物分析工作，把过去的二维图像分析推广到了三维景物，这标志着 立体视觉技术的诞生，并在随后的2 0 年中迅速发展成- - i 新的学科i j 7 1 , 特别是 7 0 年代末，m a n 创立的视觉计算理论对立体视觉的发展产生了巨大影响，现已 形成了从图像获取到最终的景物可视表面重建的完整体系，在整个计算机视觉中 已占有越来越重要的地位。 本章首先在2 1 节中介绍了双目立体视觉基本原理，然后在2 2 节中介绍了 立体视觉中最重要的问题一立体匹配，接下来在2 3 节中介绍了立体视觉系统各 主要组成部分，并给出我们相应的实现方法，然后给出我们的光学定位系统基本 框架。 2 1 双目立体视觉基本原理 立体视觉是仿照人类利用双目线索感知距离的方法，实现对三维信息的感 知。用立体视觉技术进行空间物体的三维重建，是指由两幅或多幅二维图像恢复 物体的三维空间位置或形状等几何信息的方法。 目前使用的三维重建技术主要有两类：欧氏空间几何意义下的重建和摄影空 间几何意义下的重建。摄影几何意义下的重建1 1 8 , 1 9 , 2 0 是近几年发展起来的一项新 技术，该技术的特点是约束条件较少，不需要严格的摄像机标定，能够在一定程 度上简化计算和对系统的要求，可以满足一些视觉任务的需要，但是这种技术对 于重建精度要求较高的视觉任务并不十分有效。因此，针对立体视觉定位系统的 应用，我们采用的是欧氏空间意义下重建技术。 双目立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下 的感知图像，通过三角测量原理计算图像象素间的位置偏差( 即视差) 来获取景物 的三维信息，这一过程与人类视觉的立体感知过程是类似的。最简单的情况如图 2 1 所示【2 1 1 ，设c ，c ，分别为左、右两个相机的光学中心位置( 透镜中心) ， c ，与c ，之间的距离为b ，相机焦距为厂。设物体上的点p 在左、右相机图像上 的投影点分别为只，只，p 与c _ c ，连线间的距离为d ，过c ，和c ，分别向图像 第二章双目立体视觉系统 面( 即视平面) 作垂线，垂足分别为a ，a ，过p 向图像面作垂线，垂足为b 。 c ， 令 图2 1视差测距原理图 4 曰i = z o ，f 4 p i = 厶，l p b = 口， 则由相似三角形有 d 一， d d a + 厶 d fb l ，十l h + a - - - - - - - 一 d b + 厶+ 口 由( 2 1 ) 、( 2 2 ) 得 生：! 二生丛竺：l 一生 c t + l hb 十l b + nb + t b + a 9 ( 2 2 ) ( 2 3 ) ( 2 4 ) 鲁 有 归 而 从 东南大学硕士学位论文 代入( 2 1 ) 有 拈f a + r 1 6 羔 ( 2 5 ) 由上式可以看出，距离d 与b ，f s d 一l b 有关。l o - h 称为点p 在左、右两 个图像面上形成的视差，它表示了p 点在左、右两幅图像中成像点的位置差异。 要实现双目立体视差测距，最关键的就是要求得视差厶一如，即要实现空间中同 一点，在左、右两幅图像上的投影点之间的对应。两幅图像间对应点的寻求称为 对应点匹配，它是立体视觉的关键部分，下面我们就对其进行详细的介绍。 2 2 立体匹配 立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为 二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因 素，如光照条件，景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等， 都被综合成单一的图像中的灰度值。因此，要准确地对包含了如此之多不利因素 的图像进行无歧义的匹配，显然是十分困难的。图像匹配方法主要可分为两大类： 基于灰度区域的图像匹配法和基于特征的图像匹配法1 2 “。 ( 1 ) 基于灰度区域的图像匹配法 基于面积的图像匹配方法是把一幅图像中某一像点的灰度邻域作为模板，在 另一幅图像中搜索具有相同( 或相似) 灰度值分布的对应点邻域，从而实现两幅 图像的配准。在搜索过程中，通常是以互相关函数作为两个搜索邻域间的相似性 测度。 基于面积的图像匹配方法的优点是不受特征检测精度的影响，因而可以得到 很高的定位精度；其不足之处在于：直接利用图像的像素灰度进行匹配，因此对 于图像的旋转以及光强和对比度的变化等非常敏感；当左、右两幅图像中存在重 复结构的纹理特征或相关像素领域内存在遮挡现象时，常常会引起匹配的混淆， 给出错误的配准结果；虽然采用内极线假设以及由粗到细的层次化结构等约束条 件可以在一定程度上减少基于灰度区域的图像匹配的计算量，但由于互相关的大 运算量特点，这种方法的计算复杂性仍然是很大的。 ( 2 ) 基于特征的图像匹配法 基于特征的匹配方法是有选择地匹配能表示物体自身特性的特征，通过更多 地强调物体的结构信息来解决歧义性问题。 基于特征的匹配方法的优点是它对于对比度和明显的光照变化等相对稳定。 同时，基于特征的匹配可以通过对特征属性的简单比较而实现，因此，它比基于 1 0 第二章双甘立体视觉系统 灰度区域的匹配要快得多。缺点是特征点的提取往往比较复杂。 鉴于灰度区域相关方法的局限性，它多用于早期的图像匹配过程中。近年来， 人们更多采用基于特征的方法来实现图像匹配，所以现在大部分研究集中在基于 特征的图像匹配法。在许多环境( 如有线条轮廓特征可寻的人工物体( m a n - m a d e s t r u c t u r e dw o r l d ) ) 中，图像的特征是很有规律地分布的，反映了物体的核心，数 量少，处理方便。基于特征的匹配算法特别适用于特殊的比较简单的环境如室内 环境，具有速度快、精度高的特点，但对于自然环境，由于缺少显著的主导特征， 该方法也遇到了很大困难。 对于任何一种立体匹配方法，其有效性有赖于3 个问题的解决，即：选择正 确的匹配特征，寻找特征间的本质属性及建立能正确匹配所选特征的稳定算法。 立体匹配的研究都是围绕着这三方面在工作，并已提出了大量各具特色的匹配方 法。但是由于立体视觉匹配涉及的问题太多，至今仍未得到很好的解决，特别是 在复杂场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度 和计算量，都需要进行更深入的探索和研究。 在目前的立体视觉研究中，绝大多数都是针对各自的应用目的和要求，以建 立更直接的、专用的和面向对象的立体视觉系统为目的，通过强调场景和任务的 约束等手段来降低视觉处理问题的难度，从而增加系统的实用性。本文中，为了 使立体视觉技术更好地满足手术跟踪和定位的需要，我们从定位标识器的设计入 手，选取在每幅图像中都能被唯一标识的匹配特征点，这样就大大减小了对应点 匹配的复杂度，从而解决了定位系统中对应点匹配难的问题。 2 3 双目立体视觉系统基本框架 一个完整的立体视觉系统通常可分为图像获取、摄像机标定、特征提取、立 体匹配、三维空间重建等五个大部分1 6 】。下面我们对这几部分的内容作简要介绍 并提出本文的实现方法。 1 图像获取 立体图像获取的方式很多，主要取决于应用的场合和目的。在获取立体图像 时不但要满足应用要求，而且要考虑视点差异、光照条件、摄像机性能以及景物 特点等因素的影响，以有利于立体视觉计算。 2 摄像机标定 摄像机标定的目的是确定摄像机的位置、内外部属性参数和建立成像模型 以便确定空间坐标系中物体点与它在图像平面上像点之间的相应关系。 传统的摄像机标定算法一般可分为两种：其一是用线性方程求解，简单快速， 但没有考虑镜头畸变，准确性欠佳；其二是考虑了畸变参数，引入了非线性优化， 东南大学硕士学位论文 但方法复杂，速度慢，对噪声敏感，难以保证参数收敛到全局最优解。近几年由 于人工神经网络的飞速发展，又出现了基于神经网络的立体视觉摄像机标定方 法，采用这种方法可以直接建立起三维空间中物体点与它在左、右摄像机图像平 面上像点之间的直接映射关系，降低了对系统本身精度的要求，且不用考虑透镜 畸变的影响【2 2 1 。本文就采用了基于b p 神经网络的摄像机标定方法。 3 特征提取 特征提取是为了得到立体匹配赖以进行的图像特征，特征抽取的具体形式与 匹配策略紧密相关。由于目前尚没有一种普遍适用的理论可运用于图像特征的提 取，导致了立体视觉研究中匹配特征的多样性1 6 】。 良好的匹配特征应具有可区分性、不变性、稳定性、唯一性以及有效解决歧 义匹配的能力【1 7 】。目前，常用的匹配特征主要有点状特征、线状特征和区域特征 等。一般来讲，大尺度特征含有较丰富的图像信息，在图像中的数目较少，易于 得到快速的匹配，但它们的定位精度差，特征提取与描述困难。而小尺度特征数 目较多，其所含信息较少，因而在匹配时需要较强的约束准则和匹配策略，以克 服歧义匹配和提高运算效率。 在手术导航过程中，定位标识器作为辅助定位器件，系统首先对定位标识器 进行定位，再根据其坐标进一步推算出手术器械的三维空间位置，也就是说对手 术器械的定位归结于对定位标识器的定位，所有的匹配特征都位于定位标识器 上。为了便于手术的进行，定位标识器的体积要小，但要达到足够被识别的程度； 为了保证足够的手术空间，定位标识器要有足够的活动范围。以上两点决定了定 位标识器在摄像机图像中所占面积比例很小，也就决定了本文中的特征提取包括 以下两个部分：首先在整幅图像中对定位标识器进行检测，然后再提取定位标识 器表面的匹配特征。 4 立体匹配 立体匹配是立体视觉体系中最重要也是最困难的部分，我们在上一节已经对 其进行了详细的介绍。立体匹配作为立体视觉的核心，在理论上和技术上都存在 着很多问题，例如，如何选择合理的匹配特征，以克服匹配准确性与恢复视差全 面性间的矛盾：如何选择有效的匹配准则和算法结构，以解决存在严重灰度失真、 几何畸变( 透视、旋转、缩放等) 、噪声干扰、特殊结构( 平坦区域、重复相似结 构等) 及遮挡景物的匹配问题，如何建立更有效的图像表达形式和立体视觉模型， 以便更充分地反应景物的本质属性，为匹配提供更多的约束信息，降低立体匹配 的难度。这些问题都需要进行更深入的探索和研究。 在定位标识器在摄像机图像中所占面积比例很小的情况下，要对其实现快速 的定位，这就要求定位标识器本身要具有便于检测和匹配的特征。良好的定位标 识器不仅可以极大地提高定位标识器检测速度，还可以减小特征提取和对应点匹 配的复杂度，从而提高整个定位系统的工作效率，这就是本文将定位标识器的设 计列为工作重点的原因。我们从定位标识器的设计着手，选取在每幅图像中都能 1 2 第二章双目立体视觉系统 被唯标识的匹配特征点，这样就很好地解决了对应点匹配难的问题。 5 三维空间重建 空间点的三维坐标重建即是根据设定的摄像机模型，在前序工作基础上，通 过一定的算法，由空间点在两图像中的二维像坐标得到空间点的三维坐标，也就 是从失去深度信息的二维像坐标恢复三维立体信息。在立体视觉技术中，三维坐 标重建实质上是摄像机标定的逆过程，由于摄像机模型及标定方法的多样性，三 维坐标重建也有多种方法。 本文使用b p 神经网络来完成摄像机的标定工作，建立起三维空间中物体点 与它在左、右摄像机图像平面上像点之间的直接映射关系。只要将空间点在左、 右两摄像机的二维图像面上的坐标( 甜l ，v 1 ) ，( “2 ，v 2 ) 输入已训练好的b p 网络， 就可以直接输出空间点的三维坐标( 局，磊) 。 左摄像机 右摄像机 图2 - 2 本文的光学三维定位系统框架图 应该指出的是，无论是从视觉生理的角度，还是从实际应用方面来看，现有的 立体视觉技术还处在十分不成熟的阶段。但经过2 0 多年的研究，立体视觉已经有 了很大的发展，从早期的以统计相关理论为基础的相关匹配，发展到具有很强生 东南大学硕士学位论文 理学背景的特征匹配，从串行到并行，从直接依赖于输入信号的低层处理到依赖 于特征，结构、关系和知识的高层次处理，性能不断提高，其理论正处在不断发展 与完善之中【1 6 1 。 根据以上对立体视觉体系的研究并结合本课题的具体应用，我们建立了手术 器械光学三维定位系统的基本结构。其硬件部分由两个彩色摄像机及定位标识器 和计算机组成，软件部分主要由摄像机外部标定，定位标识器检测，特征点提取， 对应点匹配和三维重建等五个模块构成( 见图2 2 ) 。 2 4 本章小结 本章通过对双目立体视觉基本原理以及立体视觉系统框架的研究，明确了立 体视觉系统各部分的工作重点，并针对立体视觉系统各主要部分提出了我们的实 现方法，建立了手术器械光学三维定位系统的基本结构，为课题的全面展开打下 理论基础。 1 4 第三章定位标识器检测 第三章定位标识器检测 在手术器械光学定位系统中，定位标识器( m a r k e r ) 是一种辅助定位器件， 可以被附加在手术器械上，系统首先对它进行检测和定位，然后再根据其坐标进 一步推算出手术器械的空间位置及空间姿态。本课题中，为实现对手术器械的快 速定位，我们也使用定位标识器进行辅助定位。在上一章中提到了本文中的特征 提取包括两个部分：首先在整幅图像中对定位标识器进行检测，然后再提取定位 标识器表面的匹配特征。本章的任务就是要完成定位标识器的快速检测。 由于本文在进行定位标识器检测和摄像机标定的过程中均用到了人工神经 网络，所以本章首先在3 1 节对人工神经网络进行了介绍。接下来在3 2 节介绍 了我们的融合对比度、颜色和形状特性的定位标识器检测方法，然后在3 _ 3 节中 介绍了颜色分类器的构造方法。 定位标识器的设计直接关系到定位标识器检测，特征点提取以及对应点匹配 等一系列问题，所以定位标识器的设计是本课题的工作重点之一。根据3 1 节所 确定的定位标识器检测方法，随着课题的进展我们先后设计了多个定位标识器， 定位标识器i 、i i 、1 1 1 分别是其中具有代表性的阶段性成果。我们首先实现了 对定位标识器i 的快速检测，然后在其基础上设计了定位标识器i i ，并对其实 现了快速检测和特征点的提取和匹配。在总结定位标识器i i 设计中存在的不足 之后，我们又设计出定位标识器i i i ，它是我们所设计的定位标识器中最为成熟 的一个，也是最终用于本文探针光学定位实验的定位标识器。在本章的3 4 、3 5 、 3 6 节中分别介绍了针对定位标识器i 、i i 、i i i 的具体检测算法和相应的实验 结果。 3 1 人工神经网络 人工神经网络最早的研究始于2 0 世纪4 0 年代，由心理学家m c c u l o c h 和数 学家p i t t s 合作提出的m p 模型拉开了神网络研究的序幕。人工神经网络以对大 脑的生理研究成果为基础的，目的在于模拟大脑的某些机理与机制，实现其某个 方面的功能。目前神经网络已经受到国际重视，各国家都展开研究，形成神经网 络发展的另一个高潮1 。 3 1 1 人工神经网络简介 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简写为a n n ) 也简称为神经网 络( n n ) ，是对人脑或自然神经网络( n a t u r a ln e u r a ln e t w o r k ) 若干基本特性的 抽象和模拟。人工神经网络是由大量简单的节点( 神经元) 按某种方式连接形成 的智能仿生网络，它以简单非线性节点作为处理单元，通过广泛连接构成大规模 分布式并行处理非线性动力学系统方式，它不依赖于精确数学模型，而显示出自 东南大学硕士学位论文 适应、自学习功能。目前在神经网络研究方法上已形成多个流派，最富有成果的 研究工作包括：多层网络b p 算法，h o p f i e l d 网络模型，自适应共振理论，自组 织特征映射理论等。下面我们对人工神经元模型，人工神经网络的连接方式，工 作过程和学习方式作简要介绍。 1 人工神经元模型 人工神经元有如下四个基本要素( 如图3 1 ) ( 1 ) 一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示 抑止。节点i 到节点，的连接权系数为w 。 ( 2 ) 一个阈值目，。 ( 3 ) 一个求和单元，用于求取各输入信号的加权和v ，。 ( 4 ) 一个变换函数行( v ，) ，起非线性映射作用并将神经元输出幅度限制在一定范 围内( 一般限制在( o ，1 ) 或( 一l ，1 ) 之间) 。其中 _ = ( w j x ，) d = o 墨 输 入 噩 图3 1 包括阈值的神经元模型 2 人工神经网络的连接方式主要有两种： ( 3 1 ) 输 出 ( 1 ) 前馈型网络。各节点接受前一层的输入，并输出给下一层，没有反馈( 如图 3 2 ) 。节点分为两类，即输入节点和计算单元，每一计算单元可有任意个输入， 但只有一个输出( 它可耦合到任意多个其它节点作为输入) 。通常前馈网络可分 为不同的层，第f 层的输入只与第i - - 1 层输出相连，输入和输出节点与外界相连， 第三章定位标识器检测 而其它中间层则称为隐层。 输 入 节 点 计算单元 图3 2 前馈型网络 输出 ( 2 ) 反馈型网络。所有节点都是计算单元，同时也可接受输入，并向外界输出， 可画成一个无向图( 如图3 3 ) ，其中每个连接弧都是双向的。若总单元数为n ， 则每一个节点有n 一1 个输入和一个输出。 图3 3 反馈型网络 3 人工神经网络的工作过程主要分为两个阶段： ( 1 ) 学习阶段。此时各计算单元状态不变，各连线上的权值可通过学习来修改。 ( 2 ) 工作阶段。此时各连接权固定，计算单元状态变化，以达到某种稳定状态。 4 人工神经网络的学习方式主要有三种 ( 1 ) 监督学习( 有教师学习) 。这种学习方式向人工神经网络提供一系列输入样 东南大学硕士学位论文 本值并给出应有的输出值，通过不断调整节点之间的相互连接权重，直至特定的 输入产生所期望的输出。 ( 2 ) 非监督学习( 无教师学习) 。非监督学习时不存在外部教师，学习系统完全 按照环境所提供数据的某些统计规律来调节自身参数或结构( 这是一种自组织过 程) ，以表示外部输入的某种固有特征。 ( 3 ) 强化学习( 再励学习) 。这种学习介于上述两种情况之间，外部环境对系统 结果只给出评价( 奖或惩) ，学习系统通过强化那些受奖励动作来改善自身性能。 5 人工神经网络具有以下几个突出的优点【2 3 ( 1 ) 可以充分逼近任意复杂的非线性关系； ( 2 ) 所有定量或定性的信息都等势分布贮存于网络内的各神经元，所以具有很强 的鲁棒性和容错性； ( 3 ) 采用并行分布处理方法，使得快速进行大量运算成为可能； ( 4 ) 可以处理不确定或不知道的系统，因神经网络具有自学习和自适应能力； ( 5 ) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多 种输入信息关系，适用于多信息融合和多媒体技术； 人工神经网络理论建立了一种由大量处理单元组成的非线性大规模自适应 动力系统，具有学习能力、记忆能力、计算能力以及智能处理功能，并在不同程 度和层次上