（机械电子工程专业论文）智能内窥镜形状感知系统的基准空间姿态实时检测研究.pdf

上海大学硕士学位论文 摘要 内窥镜诊疗术是微创外科的重要手段，内窥镜检查是应用最广泛的结肠疾病 诊疗方法。但是，在传统结肠内窥镜的操作方法中，医师仅仅凭借感觉和经验送 镜，根本无法看到内窥镜在人体肠道内的形状和位置，这容易使内窥镜在病人体 内出现缠绕的现象，情况严重时甚至会造成肠道穿孔，从而给病人带来更大的痛 苦和危险。 “介入式内窥诊疗机器人关键技术研究”是针对以上传统内窥镜的不足之处 而提出的，旨在通过对关键技术的研究来实现内窥镜检查的自动化、智能化、可 视化，提高内窥检查的安全性。本项目得到了国家自然科学基金、国家8 6 3 计划 的资助。 作为“介入式内窥诊疗机器人关键技术研究 项目的内容之一，本论文的主 要内容是在原有内窥镜形状检测和重建研究成果的基础上，设计研究内窥镜形状 感知系统基准空间姿态的实时检测。围绕这一主要内容，本文介绍了实现此关键 技术的理论和应用方面的研究。其中，第一章介绍了本论文的研究背景以及国内 外新型内窥镜技术的研究情况。在第二章中，对几种现有的基准定位实时检测方 法进行了分析比对，确定了本论文所采用的检测方案。第三章介绍了检测系统的 机械结构设计，在进行理论分析的基础上设计了运动分离机构、平面电子罗盘自 水平机构、传感器安装平台和连接部件；在受力分析的基础上进行了材料的选择。 在第四章中，设计了检测系统的信号采集和处理，应用单片机串行口扩展分时复 用技术对多传感器的检测信息进行有序采集。在第五章中，针对检测系统主要误 差源，对平面电子罗盘模块的磁场干扰误差进行测试与补偿，试验结果表明所选 用的补偿方法效果良好。最后一章是对全文的总结，根据所取得的主要进展，结 合检测系统的特点，提出了对今后研究工作的设想。 关键词：内窥镜基准定位空间姿态实时检测 上海大学硕士学位论文 a b s t r a c t e n d o s c o p y i sa l m o s tt h em o s ti m p o r t a n ti n s t r u m e n tf o rt h em i n i m u m i n v a s i v es u r g e r y , a n di ti sa l s ou s e dw i d e l yt od i a g n o s ec o l o nd i s e a s e s b u tg e n e r a l l y , t h ep h y s i c i a nc a n ts e et h ep o s i t i o na n ds h a p eo ft h e e n d o s c o p et i m e l yw h e no p e r a t i n gt h et r a d i t i o n a le n d o s c o p y s oi ti se a s y t om a k et h e e n d o s c o p yt w i s t y , w h i c hw i l l p o s s i b l y c a u s e c o l o n i c p e r f o r a t i o na tw o r s ta n dt h e nc o m p l i c a t et h es u r g e r ya n de v e n e n d a n g e rt h ep a t i e n t sl i f e o w i n gt ot h ec o m p l i c a t i o n sa n dd a n g e r sa r i s i n gf r o mt h et r a d i t i o n a l c o l o n s c o p e ，a s d e s c r i b e da b o v e ，t h e p r o j e c t “r e s e a r c h o nk e y t e c h n o l o g yo fi n s e r t e de n d o s c o p i cr o b o t a i m sa td e v e l o p i n gk e y t e c h n o l o g yt or e a l i z et h ea u t o m a t i o na n di n t e l l i g e n c eo ft h ec o l o n s c o p y a n di m p r o v ei t sr e l i a b i l i t ya n ds a f e t y t h i sp r o j e c ti ss u p p o r t e db yt h e n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o n t h en a t i o n a lh i g h t e c hp r o g r a m a so n ep a r to ft h ew h o l ep r o je c t b a s e do nt h er e s u l to ft h es h a p e r e c o n s t r u c t i o nf o rt h ee n d o s c o p e ，t h i sr e s e a r c hc o m p l e t e st h ed e s i g no fa r e a l t i m em e a s u r i n gs y s t e mt og e tt h es p a t i a la t t i t u d eo ft h eo r i g i n r e f e r e n c el o c a t i o no ft h ee n d o s c o p e t h em a i nc o n t e n to ft h i st h e s i s i n c l u d e st h et h e o r ya n dt h ea p p l i c a t i o na b o u tt h i sr e s e a r c h t h ef i r s t c h a p t e ri n t r o d u c e st h ep r e s e n ts i t u a t i o n s a b o u ti n t e l l i g e n te n d o s c o p y i n l a n da n da b r o a d t h e nt h er e s e a r c hm e t h o di se s t a b l i s h e di nc h a p t e r t w 0a f t e rc o m p a r e dw i t hs e v e r a ld i f f e r e n tt e c h n o l o g i e so nt h er e a l - t i m e m e a s u r i n gs y s t e mg e t t i n gt h eo r i g i nr e f e r e n c el o c a t i o n n e x t ，t h ed e s i g n s o ft h em o t i o ns e p a r a t e ds t r u c t u r e ，e l e c t r o n i cc o m p a s sp l a t f o r m ，f i x i n g s e n s o rm e c h a n i s ma n dt h er e l a t i o n a lc o n n e c t i n gb r a c k e t sa r es h o w no n e b yo n e a n dt h em a t e r i a l sf o rm a i nm e c h a n i c a lp a r t sw i l lb es e l e c t e da n d e v a l u a t e da c c o r d i n gt ot h ed y n a m i ca n dk i n e m a t i ca n a l y s i s t h ef o u r t h c h a p t e re x p l a i n st h ec o n t r o ls y s t e mf o rc o l l e c t i n gt h es i g n a l sf r o mt h e s e n s o r s s u c ha st h el a y o u to ft h eh a r d w a r ea n dt h ep r o g r a mo ft h e s o f t w a r e a f t e r w a r d st h ee r r o r so ft h ee l e c t r o n i cc o m p a s sa r ea n a l y z e d a n do n em e t h o di s p r e s e n t e dt oc o m p e n s a t et h e e r r o r sa n dg e to n e s a t i s f a c t o r yo u t p u ti nt h ee x p e r i m e n t f i n a l l y , t h el a s tc h a p t e rs u m m a r i z e s t h ew h o l er e s e a r c ha n dc o n c e i v e st h ef u t u r ew o r k k e y w o r d s ：e n d o s c o p eo r i g i nr e f e r e n c el o c a t i o n s p a t i a la t t i t u d e r e a l t i m em e a s u r e ：海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：丕垒逸日期冱墨i ：! ： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留 论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容。 ( 保密的论文在解密后应遵守此规定) 签名： 新签名磷凼 日期：2 望亟至：丝 海夫 颐十学位论立 第一章绪论 1 1 引言 智能医疗器械和医疗机器人是微创外科技术的重要设备。随着微电子技术、 微测控技术、传感器技术和微系统设计方法论的发展，微型电子机械系统开辟了 更为广阔的应用领域，其中展引人注目的是在生物医学方面的应用。医疗机器人 正是国内外研究最活跃、最有发展前景的应用领域之一“1 。 医疗机器人是无创微创外科技术m i s ( m i n i m a l l yi n v a s i v es u r g e r y ) 的重 要载体。m i s 是9 0 年代兴起的一种新型外科手段，是当前生物医学工程领域研 究的一个主要目标和热点问题。它是利用人体天生管腔或手术小f l 来插人具有诊 断、捡测、清疗等功能的医疗器械，以减少手术期间对病人其他正常组织的伤害， 缩短康复时问，减小手术引起的副作用，降低医疗赞用，并减轻患者的生理和心 理负担，以及减少医疗人员的培训时间”1 。近几年，医疗机器人技术的研究与应 用开发进展很快，科学家已经研制出可实施人体心脏手术的机器人。据业内人士 预测，今后几年医疗机器人的研究与开发将进入一个新的发展时期。据| | 本机器 人工业协会对机器人产业的市场预测表明，今后医疗与社会福利领域作为应用机 器人的五大重要领域之一将倍受重视。另据日本科学技术政策研究所预测到 20 1 7 年在医疗领域使用微型机器和机器人的手术将超过全部医疗手术的一半。1 。 作为应用最普遍的准确定位、定性诊断大肠肿瘤的医疗器械，结肠内窥镜在 人体肠道肿瘤性病变的诊断方面具有重要价值。以结肠癌为例，它是工业化国家 中发病率列第二位的恶性肿瘤“。由于绝大部分结肠癌是由良性息肉发展而柬， 所以从理论上讲，此类肿瘤均可以在早期的诊断中利用结肠镜发现和切除，但实 际e 由于技术上的复杂性和结肠诊疗的危险性，目前条件下无法完全做到。 医疗内窥镜是直接观察、诊断和治疗人体体腔或管腔内疾病的可靠工具。就 常用的纤维内窥镜系统而言，系统由纤维内窥镜、光源和附属装置组成，内窥镜 的基本结构分为前端、弯脚部、镜身、操作部和导光束等五个部分，如图ll * i “ 圈11 典型的纤维结肠内窥镜外现 图12 纤维内窥镜镜头的磺截面观 上海大学硕士学位论文 镜身内装有导光束、导向束、送水送气管道、手术钳道及弯角牵引钢丝等； 外包不锈钢带软管或蛇骨管及金属网管，再以聚乙烯或者聚氨酯塑料管包覆。镜 身的远端( 头部) 在控制导丝的调节下，可以改变方向和角度，其顶端有硬塑胶 螺丝帽固定，因此，头部较镜身的其他部分硬且略粗。如图1 2 所示：从镜头的 正面观看可见到其横截面：活检吸引孔、给气给水孔、导光纤维和接物镜头。 结肠镜的工作环境是人体的大肠。如图1 3 所示：大肠是人体消化管的最后 一段，由盲肠、结肠、直肠和肛管四部分组成。结肠是大肠中最长的一段，位于 盲肠和直肠之间，整体呈方框状包围于空、回肠周围，按其位置依次为升结肠、 横结肠、降结肠和乙状结肠四部分。肠道的结构比较复杂，据统计，即使是经过 专业训练、有经验的医务人员把内窥镜插到结肠远端( 盲肠部) 的概率也仅为 8 5 9 0 。 f r i - h 茧 主 图1 3 人体结肠剖面图 图1 4 纤维镜在体内缠绕的x 光照片n 0 】 内窥镜是利用外部的推力介入到人体被检腔道中，镜体在腔道组织上滑行 时，一旦对腔道壁面产生的压力超过一定阈值，就可造成组织破损( 穿孔) 。据 统计，结肠内窥镜诊疗过程中，穿孔的发生比例为0 2 ，对做过息肉切除术的 病人这一比例高达2 嘲。而且如果当病人的肠道因病变而异常，或因曾手术而 移位时，那就更容易产生镜体的缠绕、结襻现象，如图1 4 所示。由于操作医师 无法在插入过程中及时了解病人体内内窥镜镜体的形状和位置，这就极大地增加 了穿孔发生的概率。因此，如果医生能够在操作内窥镜时，实时的看到镜体在人 体内的形状，那么就能减小介入的盲目性，提高检查的安全性，这是内窥镜诊疗 机器人研究论文中的一个重要内容。 1 2 内窥镜机器人的国内外研究现状 近几年来，对微米、纳米科学和技术的研究非常活跃，这使得微小技术、微 型机械电子系统获得了迅速发展，从而大大促进了医疗用机器人的微型化、微观 化，为进入人体的医疗用微型机器人创造了有利条件，下面介绍一些这方面的国 2 上海大学硕士学位论文 内外研究成果。 超小型内窥镜手术机器人 日本东京慈惠会医科大学开发出一种只有成人食指大小的超小型内窥镜机 器人，无需开腹，也能做摘除腹腔中的肿瘤这类大型手术。报道说，这种内窥镜 机器人最粗的部分直径只有1 7 厘米，装有照相机和手术刀，尖端部分有两条2 厘米长的钛合金“胳膊，在医生的操作下可做3 6 0 度自由转动。在动物实验中， 研究人员使用这种机器人成功地切除了直径5 厘米的胃粘膜组织。现在的内窥镜 是在直径约1 厘米的长管尖上装上简单的摄像装置和手术刀，通过患者口腔或身 上的开口送入体内。虽然能观察病灶，对患部进行切片处理，但不能切除大面积 人体组织和进行复杂的治疗。新的内窥镜机器人能使医生直接进行手术，如果运 用于临床治疗，将会大大减轻病人的痛苦叭1 。 主动式内窥镜机器人 国外i k u t a 在1 9 8 8 年首先提出了以微小机器人代替传统内窥镜的设想，他 提出的医用机器人“m e d i w o r m 用于对大肠的检查。机器人由形状记忆合金驱 动，并集成了记忆合金驱动的微夹持器。这种主动式内窥镜机器人原型的直径是 1 3 m m 、长2 1 5 m m 。k r i s h n a ns m 等人研制的用于智能内窥镜系统的微小机器人由 组合机制完成驱动和操纵，机器人尺寸为3 0 m i n x4 0 m i n x8 5 m m 。其路径规划通过 图像和触觉传感器参数的融合实现n 别i t 3 。 基于蚯蚓运动原理的肠道检查微小机器人内窥镜系统 韩国科学技术部智能化微型系统开发事业团研制了不会给患者带来痛苦的 大肠内窥镜超微型机器人，并成功地进行了动物试验。这将成为肠内窥镜技术发 展史上划时代的契机。象蚯蚓一样可反复进行曲伸，在肠内自动运动的内窥镜机 器人，直径为2 5 厘米、长为5 7 厘米，连接在粗细如同细电线一般的操纵线上， 其在大肠内的移动速度为每分钟1 2 厘米。由于该机器人可在肠内自动运动，所 以即使是刚参加工作的医生也可以操纵进行内窥镜诊查，检查时基本对大肠没有 损伤1 引。 微型蠕动式机器人驱动内窥镜系统 上海交通大学精密工程与智能微系统所开展的微型蠕动式机器人驱动内窥 镜系统研究。该内窥镜机器人驱动植入式内窥镜系统的驱动器携带全套光学检测 系统、图像传输系统和手术装置等自主进入人体肠道，取代了当前传统的医用内 窥镜，适应微创外科手术的发展趋势。该系统的研究核心是研制适合人体肠道环 境下动作的微型驱动装置。此微型驱动机器人能够带动光学成像、体内照明、前 端物镜粘附物清除装置自动进入人体，完成体内检查和体内微细手术等功能。该 微型机器人采用电磁式驱动，结构简单，控制方便灵活，通过改变激励脉冲时序 能够使驱动器实现前进和后退，并具有输出力和步距都较大的优点，适合于在狭 海大学碰学位论立 窄的管道如人体肠道中行进”1 ，如图1 5 所示 图i5 蠕动式电磁驱动徽机器人的移动机理 图l6 无线胶囊内窥镜示意图 无线内窥镜系统 在传统的内窥镜系统中，图像采集器的供电，以及图像采集器与系统之间的 通信是通过电缆来实现的。电缆的使用不仅使内窥镜的检查范围受到限制，也给 患者带来痛苦。随着微电子技术的发展目前已有了无线内窥镜系统。2 0 0 1 年5 月以色列g i y e ni m a g i n g 公司最先推出m 2 a 无线胶囊式内窥镜系统并用于临床， 当年8 月获美国f o a 认证。日本、美国、韩国等也纷纷开展了这方面的研究。自 此，人们能以无痛、无创、无拘束、基本无不适感的方式获得整个小肠段的清晰 图像，并显著提高了小肠病变的诊断率，如图1 6 所示。6 3 。 国内清华大学、中科院合肥智能机械研究所、重庆大学、重庆金山科技集团 等单位从事了这方面的研究。其中重庆金山科技集团国家8 6 3 计划项目和国家重 大科技攻关项目“智能胶囊”于2 0 0 4 年研制成功，现已经l 临床实验后投放市场。 这种名为o m o m 的胶囊内镜是集图象处理、信息通讯、光电工程、生物医学等多 学科技术为一体的典型的微机电系统( m e m s ) 高科技产品，由智能胶囊、图像记 录仪和影像工作站( 计算机和图像分析软件) 三个部分组成。是一种新型的无创 无痛消化道( 特别是肠道) 无线检测系统可以帮助医生为消化道疾病患者做辅 助诊断，在消化系统疾病的诊治中有着十分广泛的应用。 1 3 系统概况与本论文的研究目标 “介入式内窥诊疗机器人关键技术研究”是国家自然科学基金( 编号 5 0 0 7 5 0 5 0 ) 、8 6 3 计划( 编号2 0 0 1 a a 4 2 2 1 8 0 ) 的资助项目。另外，还得到上海仁 济医院的合作和支持。 本项目拟采用智能控制的接入方式，在人体外用一个辅助介入装置，代替检 查医师的手法动作，将内窥镜送入病人体内。同时结台多个传感器的反馈信号来 实现主动避障，并且医生可以通过计算机屏幕来实时观测内窥镜在人体内的形状 以及肠道组织的图像。此外检查医师还可以通过镜体形状和肠道组织图像对自动 海大学硕学位论i 介入过程进行人工干预。 1 3 1 系统概况 “介入式内窥诊疗机器人关键技术研究”项目包括三个子系统： l 、智能内窥镜辅助介入系统：凭借介入装置和多传感反馈信号，实现对内 窥镜的推进、后退和旋转等自动操作，同时负责检测内窥镜推进距离和 旋转角度等信息。 2 、智能内窥镜主动避障系统：借助驱动旋转装置和对内窥镜头部压力传尊 器的信号检测，实现对内窥镜头部的偏摆动作的自动控制，阻避开肠壁， 指向内腔。 3 、智能内窥镜形状监测与可视化系统：实时监测内窥镜在人体肠道内的曲 线形状，显示在计算机屏幕上。同时还包括开发控制智能内窥镜的人机 操作界面系统。 1 3 2 已有研究成果 内窥镜形状感知系统已经研制了基于光纤光栅传感网络的实时和渐进式形 状感知装置，实现了内窥镜的形状检测。相关试验结果如图1 7 、l8 所示“。 中的 ( b ) 插入传礴器 ( c ) 猪肠道示意图 ( d ) 肠道重建结果 图l8 动物( 活体猪) 宴骑过程及结果 5 蓼冒 扩 隰瀚缨 上海大学硕士学位论文 1 3 3 本论文的研究目标 基于光纤光栅传感的智能内窥镜形状感知系统已经基本完成，但是在实验过 程中都是假设光纤光栅传感器的拟合基准相对大地坐标系是静止的，所以形状感 知系统所获得的结果仅仅是形状而不是空间位姿。由于系统基准与内窥镜手柄固 连，在实际应用中，内窥镜的手柄相对大地坐标系是随着医师的操作时刻变化的， 所以固连在手柄上的系统基准也在发生变化。如需了解内窥镜在世界坐标系中的 定位信息，就需要进一步研究体外的定位装置，对基准进行空间定位。 基于已有的研究成果，在对医师做内窥镜手术时内窥镜手柄所处状态进行调 查比对后，我们发现在光纤光栅传感系统感知内窥镜形状时，基准的位移变化量 非常小，几乎不对感知系统的最终拟合结果产生影响，而基准的姿态变化即俯仰、 横滚和偏摆三个角位移变化则对内窥镜最终形状拟合结果有着直接影响。所以， 如何实时检测基于光纤光栅传感的智能内窥镜形状感知系统基准的姿态变化就 成了本论文的研究目标。感知系统的基准主要是通过与传感网络相固联的定位块 来提供定位保证的，而基准定位块是固连在内窥镜手柄处的。本论文的研究对象 就是实时检测基于光纤光栅传感的智能内窥镜形状感知系统基准定位块的空间 姿态，从而获得整个内窥镜系统相对于世界坐标系的实时信息。 1 4 小结 本章主要介绍了本论文的来源和研究背景，以及内窥镜技术在国内外的研究 现状。在分析了“介入式内窥诊疗机器人关键技术研究和“基于光纤光栅传感 的智能内窥镜形状感知系统”后，确定了本论文的研究目标，既智能内窥镜形状 感知系统基准空间姿态实时检测系统研究。 6 上海大学硕士学位论文 第二章基准定位实时检测方法的比较与方案选择 2 1 引言 在医学环境的应用场合中，如果能实时检测出结肠内窥镜在病人体内的形态 和位置，就可以为医生实旖检查和治疗提供极大的方便就能够进一步减少进镜 和退镜过程对大肠组织的潜在损伤、减轻病人痛苦。但是根据现有的活体实验结 果，可以知道目前的形状感知系统只能重建出内窥镜在肠道中的形状，却不能提 供内窥镜在肠道中的绝对位置。这主要是因为该形状感知系统所设定的基准块， 其实时位置的不确定性所造成的。 工程中在空间内可以作任意运动的刚体称为自由刚体。为了确定自由刚体 在空间的位置，取定坐标系z 和与刚体固结的动坐标系o y ：，如图2 1 所示。只要确定了动坐标系的位置，刚体的位置也就确定了“。 动坐标系的原点d 是任意选取的，称为基点。在基点上安上一个始终保持 平移的坐标系0 勃f ，则自由剐体的运动可分解为随基点的平移和绕基点的转 动。设基点在定坐标系中的坐标为，l ，和乙，剐体相对于动坐标系0 勃f 的 位置由三个欧拉角，护和p 确定，于是刚体的位置完全由这6 个参数确定，即 空间自由刚体有6 个自由度。 图21 坐标系变化示意图图22 基准定位块实物图 在已有的研究成果中，内窥镜形状感知系统的基准块同手柄上的目镜固连， 如图2 2 所示。基准块在理想状态下应该和世界坐标系保持一致的，如图23 中的坐标系o x y z 。定位块的上下两部分中间夹持着光纤光栅传感器，光纤光栅 传感器用于感知内窥镜镜身的形状。在内窥镜诊疗的过程中，医师手持内窥镜手 柄作多自由度的运动。固连在内窥镜手柄上的基准块也随着医师手的位置和姿巷 上海大学硕士学位论文 作空间运动这种运动类似于自由刚体的运动。所以，在系统进行形状感知的过 程中，必定就会存在定位块本身相对于世界坐标系和传感器坐标系统之间的相对 运动，即发生基准坐标系的偏移或旋转，变化成为o , x y z ，。 一i _l 圈23 基准块坐标变化示意圈 若测得基准块相对于世界坐标系的坐标变化，就能够通过坐标的变换，得到 传感器坐标系中的任意一点的绝对坐标。所以，为了获得内窥镜上任意一点的绝 对位置，就必须要能够及时检测到基准定位块的实时空问绝对坐标。 2 2 几种物体空间位姿的实时检测方法 针对本论文的要求，为了找到最佳的内窥镜基准姿态实时检测方法，作者设 计了以下几种检测方法，并作了比较深入的分析和研究，具体如下： 2 2 1 基于机器视觉的检测方法 在工业生产和日常生活中经常需要通过机器视觉进行图像监测，并基于图像 实施且标识别定位，控制机械装置运动到指定位置或按规定的轨迹运动，来实现 自动化操作。视觉定位方法是近年来发展起来的一种先进的定位方法利用摄像 机摄取包含信标的图像信息，经图像处理提取并识别信标再根据信标提供的信 息，计算出传感器在环境中的位姿。在国内外相关领域，视觉定位系统常用在如 下的场合，例如：p c b 生产中的定位、移动机器人操作、异型曲线跟踪切割、工 业自动化生产中机器人的自动装配等等。其中在p c b 生产中的定位、移动机器人 操作中较为常用。 将视觉方法应用于跟踪并定位三维空间中的某个物体，具体的方式为用一台 或多台摄像机在不同时间、从不同角度拍摄跟踪区域内的物体，通过图像分析和 立体视觉计算，确定目标物体在空间中的方位。这个过程可匕l 归纳为以下几个步 骤：1 、从二维图像中提取目标物体的信息；2 、确定不同图像中对应空间同一点 的特征点对( 即特征点匹配) ；3 、通过三维空间信息的重建，获得被跟踪的目标 物体在空间中的位置信息。 其中，北京航空航天大学机器人研究所进行的“基于双目视觉的光纤定位研 上海大学碗士学位论文 究”，以双目视觉定位系统为应用背景，研制出了一种在光纤对接系统中用于光 纤粗定位的视觉子系统，能够较为准确的定位图像中的两根光纤。该系统将两个 摄像头放在位置可调的六维导轨上，这样可以很方便的进行摄像机位置调节，从 而实现视场范围的调整，同时这也便于准确聚焦。该视觉定位已经具有了较高的 精度“”。 天津大学精仪学院所研究的用于三维尺寸检测的双目视觉传感器，在外极约 束理论的基础上提出了外极斜率匹配法，不仅实现了快速立体匹配，而且传感器 测量精度也得到提高。实验数据表明，传感器测量精度优于o 0 5 r a m 9 1 。 上海大学机自学院也对视觉定位系统进行过相关研究，开发建立了人工立体 视觉仿真系统，主要用于对人工立体视觉中各个环节实施验证。该系统以开放图 形库o p e n g l 为工具，架设虚拟相机，设置虚拟物体，拍摄虚拟图像，在虚拟图 像上采集数据，并根据数据的相关性进行虚拟物体重建，最后将重建物体与原始 物体进行比较，验证整个系统或某测试模块的准确性。应用结果表明，该仿真平 台可以用于立体视觉研究中的测试和模拟o “。 视觉定位系统的应用领域已经愈来愈广泛，而且通过不同的方法可以使定位 精度得到不同程度的提高。所以在研究伊始，也尝试采用空间机器视觉定位的方 法，并做了可行性分析。拟定采用双目视觉定位来取得基准定位块的实时空间位 置，从而通过空间曲线拟台得到任意点的坐标。 对于系统标定和c c d 的放置，如下图所示。在基准定位块的a 表面和b 表面 上分别取若干点集，而c c d i 和c c d 2 的中心位置分别同a 面和b 面的中心位置一 致- 如图24 所示。当内窥镜介入活体肠内时，随着医师手势的不同，基准定位 块将会跟随发生空间转动，如图25 所示。 0 c d 2 j 黪尹 、：7 j， 、 ”婶 、 。p 图24 定位块与摄像头的捧布方式图25 基准块在空间的运动形式 这个基准定位块表面是一个长方体，首先以长方体的形心为o 点建立三维坐 标系o x y z ，那么这个长方体的六个自由度，分别是沿x 、y 、z 三轴的平移和转 动。此时，根据“三点确定一平面”的原理，只要得到a b c 三点的坐标就能将a 面的空间位姿确定下来。以a 面的对角线a c 为例，a 点坐标( x 。，y ，z 。) ，c 点坐 上海大学硕士学位论文 标( x 。，y 。，z 。) 。若基准块发生沿x 轴和y 轴的移动，那么c c d l 所采集到线段为 a c ，线段长度不变，a 、c 两点的坐标变化为a ( x ：，y ：，z ：) 、c ( x ：，y ：，z ：) 。 所以，如果定位块做沿x 、y 、z 轴的平移，那么可以通过平面上三角形a b c 的坐 标变化来得到面的位移。由于定位块是一个长方体，面与面之间互相垂直，所以 通过a 面和b 面的位移变化就能推导出定位块的坐标变化。若是定位块发生绕轴 线的旋转运动，那么依照投影规则，c c d 所采集到的线段长度和端点坐标都会发 生变化。若定位块绕z 轴反向旋转，a 面上的三角形a ，b ，c 的三条边的长度和 三个顶点的坐标都发生了变化，如图2 6 、2 7 所示。而这种变化同旋转的角度 之间是具有线性关系的。 a 面 图2 6 通过对c c d i 拍摄的前后两张图像的对比，可以知道该基准块在x - y 平面内发生移 动，并且绕z 轴反向转动了0 角( 右手定则) a 面 图2 7 通过对c c d i 拍摄的前后两张图像的比较，可以知道该基准块在x - y 平面内发生了 移动，并且绕坐标轴发生了复合旋转。 综上所述，通过c c d 采集到的三角形a b c 的端点坐标和各线段长度，就能计 算出这个面的移动量及转动量的大小，如果同时获得两个正交面的运动情况，那 么就能够推导出整个长方体定位块的空间运动状态，从而建立新的坐标系。通过 这样的方法，就可以获取基准块的实时空间位置，在同以基准定位块为不动点的 1 0 上海大学硕士学位论文 内窥镜空间形状曲线相结合，就能得到内窥镜上任一点的绝对坐标。 视觉定位方法虽然可行，但是也存在着如下不足：制作和维护成本高、技术 复杂、计算量大、对环境要求高、对操作人员的技术要求高。 2 2 2 应用类多自由度机械手臂的检测方法 根据机器人运动学原理可知，物体在工作空间内的位置以及机器人手臂的位 置，都是以某个确定的坐标系来描述的，如可以用横滚、俯仰和偏转角来表示机 械手端部的运动姿态。如图2 8 所示瞳羽。 图2 8 运动姿态示意图 这一点同本系统所要检测的对象有共同之处。设计一套多自由度机械手臂机 构，机构顶端与固定机架相联，末端则与内窥镜基准块固连。在机械手臂的每一 个关节上安放小型角位移传感器，通过获取各个关节上的角位移信息，运用机器 人运动学的正问题解法，应用m a t l a b 的矩阵计算，推算出机构末端基准块的方 位和姿态。 根据这样的设想，利用“f i s h e rr o b o t 智慧模型构件制作简单的机械手 臂机构模型，以验证方案的可行性。将模型构件制作成多个转动副，以此作为机 械手臂的关节部位，既而组合装备出一个小型机械手臂空间跟踪装置的模型。空 间物体具有6 自由度，为了让机械手臂更加灵活，在模型制作中增加了一个轴向 自由度，使得整个机械手臂机构模型具有7 个自由度。其中，一个关节为万向节 具有2 个自由度，另外5 个自由度由2 个径向转动关节和3 个轴向转动关节构成。 在试验中曾尝试将冗余的一个轴向转动自由度去除，虽然理论上满足空间六自由 度的要求，但是在实际应用中很容易出现机构卡死的现象，使得整个机构模型运 动不够平顺，所以为了保证机构的整体运行状态无卡滞，最终仍采用了多一个冗 余自由度的方式来制作模型，如图2 9 所示。 上海大学碗士学位论文 奠 、 径自铰链 。 、轴向铰链 围29 机械手臂机构模型实物图 图21 0 机械手臂三维模型圈 在对机构模型各关节形式的反复模拟和调整后，最终确定了从基座到末端各 转动关节依次为：轴向l 、径向2 、轴向3 、径向4 、万向节5 、轴向6 。这种布 置形式使得末端执行器具有更大的灵活性和工作空间。应用s o l i dw o r k s 三维绘 图软件绘出机械手臂三维模型圈，如图2i 0 所示。 依据以上试验结果绘制机械手臂示意图，如图21 1 所示。在机械手臂示意 图的基础上建立d h 坐标系，如图2 1 2 所示。 图2 1 i 机械手臂示意图圈21 z 机械手臂d _ h 坐标系 上海大学硕士学位论文 设置连杆参数如表2 1 所示： 表2 1 机械手臂连杆参数 幺呸a id i 1 q 一瓦f2o l l 1 2 2 岛 霞| 2 0 3 色 一冗| 20 1 3 4 幺 0 1 4 o 5 b 一冗 2oo 6 皖 一冗| 2 1 6 0 7 良 001 7 按照连杆参数建立齐次变换矩阵，如下所示： “1 王= c 0 s 岛 s i n o i o o - s i n 2c o s 呸 c o s bc o s s i n f z i o s i n gs i n q c o s a is i n c r i c o s 0 将表2 1 中的连杆参数带入式2 1 ，得到如下7 个齐次变换矩阵： o 王= 2 t 3 = 4 t 5 = 6 l = c o s o l s i n 幺 0 0 c o s 8 3 s i n t 9 3 0 0 c o s 岛 s i n t 9 5 0 o c o s 鼠 s i n 0 7 o o 0 - s i n 幺0 0 c o s o l 0 - 10 1 l oo1 0 s i n a 3 0 0 c o s 0 3 0 - 10 1 3 oo1 0 一s i n t 9 5 0 0 e o s 0 5 0 - 10o oo1 s i n 良00 c o s 良00 01 1 7 oo1 o t 7 = 0 1 1 t 22 己3 t 44 t 55 t 66 t 7 1 t 2 = l 瞄幺 叶1 爹 5 t 6 = c o s t 9 6 s m 皖 o o ( 2 2 ) o t 7 描述了末端连杆坐标系 7 ) 相对基坐标系 o ) 的位姿。 a i c o s 只 a is i n b d i 1 c o s 反0 s i n 8 2 0 s i n 鼠0 c o s 良0 0101 ， oo01 一s i n 见0 c o s 幺0 01 oo 0 - s i n 皖 0 c o s 皖 - 10 oo 1 4c o s 幺 1 4s i n 幺 o 1 1 6 c o s 见 1 6s i n 9 6 o 1 1 3 ( 2 1 ) 上海大学硕士学位论文 假设最= 岛= 色2 幺2 0 5 = 吃= 岛2 3 0 。2 7 6 ；l x 乞2 ，3 2 厶2 名2z 7 2 l o o m m , 将此连杆参数代入表2 1 ，结果如表2 2 所示： 表2 2 某一位置机械手臂连杆参数 ba id i 1嚣| 黾一冗 201 0 0 2冗| 宅巧? 201 0 0 3 7 6一万2 01 0 0 4 兀 宅 o 1 0 0 o 57 c | 黾一万20o 67 c b一死21 0 0o 7石6001 0 0 将表2 2 中的各项数值代入式2 2 后，用m a t l a b 软件编程计算，得到如下 计算结果： 因为： o l = 0 4 9 9 7 0 3 2 2 0 - 0 8 0 4 1 o 肾州 0 3 6 1 0 0 7 6 6 4 o 5 3 1 3 o 0 7 8 7 4 - 0 5 5 5 8 0 2 6 6 7 0 l1 0 2 1 2 3 l0 3 0 6 4 9 3 6 2 7 4 0 1 0 0 0 0 unj，i 其中表示了末端连杆坐标系t ，j 相对基坐标系 o 的姿态，。另。r g 表示了末端连杆坐标系 7 相对基坐标系 o ) 的位置。 c o s ( x ! ! “x b ) c o s ( 髟“匕) c o s ( “z b ) 依据公式，a r b = lc o s ( r , 6 x 占) c x , s ( l “匕)c o s ( l “z 口) l ic o s ( z a “) c o s ( z ! ! “) c o s ( z ! ! “z b ) i 实质上a r b 为一正交矩阵，a r b 的三列为瓦，亏，乏在巧，i ，云上 lc o s ( x 0 4 墨) c o s ( s o “写) c o s ( x o “z 7 ) l1 0 4 9 9 7 0 3 6100 7 8 7 4 l 姿态：o r 7 = ic o s ( t o “五) c o s ( g “r 7 ) c o s ( t o “z 7 ) l = 10 3 2 2 0 0 7 6 6 4 0 5 5 5 8l lc o s ( z o “五) c o s ( z o “) c o s ( z 0 “z 7 ) l 【- 0 8 0 4 1 0 5 31 30 2 6 6 7j f - 11 0 2 1 2 3 位置：o g o r e = i1 0 3 0 6 4 9l l3 6 2 7 4 0 j 上海大学硕士学位论文 同时，绘制出大地坐标系同基准块坐标系之间的相对位置示意图，如图2 1 3 所示： yy p ，x 、z x ( a ) 视角一( b ) 视角二 图2 1 3 机械手臂坐标系变换情况示意图 从以上的机构模拟和图形计算中可以看出，用类似多自由度机器人手臂的方 法来实时检测内窥镜形状感知系统基准定位块空间位姿的变换，在理论上是具有 一定可行性的。 该方法具有以下优点：受环境和人的干扰小，医师的操作不影响传感器信息 的采集；鲁棒性能好，精度高：技术简单，适应性强；制作及维护成本低。但是 该机构也具有以下明显的缺点：机构的刚性运动会在一定程度上影响医生在操作 内窥镜时的感觉；系统具有一定的体积，轻巧性不够；为了防止出现卡死情况， 要依据灵活工作空间的要求对机械手臂系统进行优化，合理的安排各关节铰接处 的设计，而此种优化较为复杂；整个系统的重力会让操作的医师产生不适感；多 传感器信息采集所产生的累积误差比较大等。类机械手臂的检测方法是具有一定 创新意义的探索，但是考虑到本系统为改装，该方法的复杂设计会对原系统的机 械结构带来较大的改动，并且还会对医师的操作带来一定的负面影响，所以最终 不采用这一方案。 2 3 基于传感器应用的检测方法 以上两种方法为基准空间方位检测提供了一定的参考。但是视觉定位的方法 制作和维护成本高、技术复杂、计算量大、对环境要求高、对操作人员的技术要 求高；机械手臂的定位方法虽然创意新颖，但是在实际应用中还是有很大的欠缺。 所以，上述的两种方法都不能被采用。 随着测试、控制与信息技术的发展，传感器作为这些领域里的一个重要构成 因素受到了普遍重视，传感成为2 0 世纪9 0 年代的关键技术之一。随着m e m s 技 术的成熟，多种类型的传感器都实现了低价小型多功能化。本系统尝试与传感技 上海大学硕士学位论文 术相结合，从而实现检测方法的可行性和实用性。 根据本论文的研究目标，检测系统只需检测基准位置的姿态变化而无需检测 其他位置信息，所以经分析比较，决定采用技术成熟的倾角传感器来测量俯仰角 和横滚角，用电子罗盘测量方位角，并以此为基础，设计出传感器检测系统，以 达到实时检测内窥镜形状感知系统基准空间姿态的目的。然而，由于内窥镜形状 感知系统的基准固连在内窥镜手柄上，鉴于内窥镜手柄部位的实际体积较小，所 以对附加的传感器有严格的尺寸限制。那么能否找到尺寸小、质量轻、满足功能 需要的传感器，并可以与现有内窥镜合为一体，组成机构紧凑轻巧的检测系统就 成为了关键问题。 2 3 1 传感器的选择 2 3 1 1 系统技术指标 要选择传感器，我们首先要确定系统的各项技术指标以及对传感器的要求。 根据前期研究成果，将内窥镜手柄部位和已有内窥镜形状感知系统基准定位部分 作抽象模拟，绘制模型图，如图2 1 4 所示：定位块夹持住光纤光栅传感器的基 准位置，然后同内窥镜手柄部位的目镜固连，在智能内窥镜形状感知系统工作时， 封装好的光纤光栅传感器借用钳道进入肠镜实施曲率检测，随后进行三维空间曲 线拟合，将传感器在肠镜内的形状显示出来。 基准定位块 栅传感器 图2 1 4 内窥镜手柄及基准定位块模型图 本论文的研究对象就是光纤光栅传感器基准位置处的三维角位移变化情况。 如下图2 1 5 所示。 1 6 q n l - 海大学顶j 二学位论文 d z ( a ) 正视图 ( b ) 俯视图 e y 岛 图2 1 5 基准块坐标示意图 ( c ) 右视图 建立东北坐标系( n x ，e y ，d z ) ，n x 指向正北，e y 指向正东，d z 为重力加速 度方向。图中q 和y 是基准块同水平面的夹角既姿态角，其中q 为俯仰角， 上偏为正，下偏为负：y 为横滚角，顺时针为正，逆时针为负：1 3 是方位角也 称航向角、偏摆角，偏东为正，偏西为负。内窥镜医师在进行内窥镜手术时，内 窥镜手柄的空间角度变化为：横滚0 。二- - 3 6 0 。，俯仰和偏摆- 4 5 。+ 4 5 。所