（控制理论与控制工程专业论文）微创手术机器人培训系统关键技术研究.pdf

中图分类号： u d c ： 学校代码： 1 0 0 5 5 密级：公开 【0273 彘蕊犬瀑 硕士学位论文 微创手术机器人培训系统关键技术研究 r e s e a r c ho fk e yt e c h n o l o g yi nt r a i n i n gs y s t e mf o rm i n i m a l l y i n v a s i v es u r g i c a lr o b o t 南开大学研究生院 二。一。年五月 南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位 获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，l i l j ( 1 ) 学位获得者必须按规定提交学位论文 ( 包括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论 文，并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将 公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检 索、文摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向 教育部指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和 中国学术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文 数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答 辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 王壹置 2 0 1 0 年5 月2 7 日 南开大学研究生学位论文作者信息 论文题目微创手术机器人培训系统关键技术研究 姓名王春雷学号2 1 2 0 0 7 0 2 6 7 答辩日期2 0 1 0 年5 月2 6 日 论文类别博士口学历硕士团 硕士专业学位口高校教师口同等学力硕士口 院陈噘信息技术科学学院专业控制理论与控制工程 联系电话 1 3 6 1 2 0 8 2 5 8 7e m a i l c h u n l e i s k y 0 0 8 16 3 c o r n 通信地址( 邮编) ：天津市南开区南开大学伯苓楼一层机器人研究所( 3 0 0 0 7 1 ) 备注： 是否批准为非公开论文 否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所 取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包 含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名：王壹雷2 0 1 0 年5 月2 7 日 非公开学位论文标注说明 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级 口限制( 2 年)口秘密( 1 0 年)口机密( 2 0 年) 保密期限 2 0 年月日至2 0年月 日 审批表编号批准日期 2 0 年月 日 限制2 年( 最长2 年，可少于2 年) 秘密1 0 年( 最长5 年，可少于5 年) 机密2 0 年( 最长1 0 年，可少于l o 年) 摘要 摘要 先进机器人技术在医疗领域的广泛应用，拓展了医生的手术能力，提高了 手术的质量。然而，这些先进技术的应用对医生的操作要求越来越高，给医生 的培训带来巨大困难。针对此类问题，本文结合项目自行研制的多自由度微创 手术机器人，对手术机器人培训系统的设计展开研究。主要工作包括以下内容： 1 、结合所研制的机器人系统的特点与操作要求，分析了机器人本体及其多 种手术工具的几何建模与关节运动控制等问题。对由人体器官二维医学图像到 三维模型的多种重建算法进行研究，介绍了m a r c h i n gc u b e ( m c ) 算法的实现 流程。 2 、分析了虚拟手术中碰撞检测和软组织形变的实现算法，结合p h y s x 物理 引擎给出具体实现流程。另外，对软组织形变较大时出现的奇异现象进行分析， 提出了两种解决方案。 3 、分析了手术机器人主操作手各关节运动控制信号的采集流程。对主操作 手和机器人的运动学模型进行分析，给出了主操作手控制手术工具末端位姿的 具体实现方案，并实现了虚拟的从操作手与实际的主操作手的随动功能。 4 、对主操作手的动力学模型进行分析，给出了用于求解关节控制力的力雅 克比矩阵的推导过程，初步实现了力反馈效果，并通过多轴力传感器对反馈力 进行了标定。 以上工作是项目组研制的腹腔微创手术机器人系统的一部分，这部分的功 能通过机器人系统的工作过程表现出来，并通过各种实验得到了验证。 关键字：虚拟手术p h y s x三维重建碰撞检测软组织仿真 力反馈 a b s t r a c t a b s t r a c t a d v a n c e dr o b o tt e c h n o l o g yh a sb e e nw i d e l yu s e di nt h em e d i c a lf i e l d ，e x p a n d s t h ed o c t o r ss u r g i c a lc a p a c i t ya n di m p r o v e st h eq u a l i t yo fs u r g e r y h o w e v e r , t h e a p p l i c a t i o no ft h e s ea d v a n c e dt e c h n o l o g i e si n c r e a s e st h ed i f f i c u l t yo fd o c t o r s o p e r a t i o na n dt h et r a i n i n go fm e d i c s t os o l v et h e s ep r o b l e m s ，t h i sp a p e rs t u d i e st h e s u r g i c a lt r a i n i n gs y s t e mf o rm u l t i d o fm i n i m a li n v a s i v es u r g e r yr o b o t ，w h i c hh a s b e e n d e v e l o p e db yu s m a i nc o n t r i b u t i o ni n c l u d e st h ef o l l o w i n g ： f i r s t ，a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fd e v e l o p e dr o b o ts y s t e ma n do p e r a t i n g r e q u i r e m e n t s ，t h ep a p e ra n a l y z e st h ep r o b l e m so fg e o m e t r i c a lm o d e l i n gf o rr o b o ta n d i t sv a r i o u ss u r g i c a lt o o l s ，t h ec o n t r o lo f j o i n t sm o v e m e n ta n ds oo n f o rt h em o d e l i n g o fh u m a no r g a n sf r o mt w o - d i m e n s i o n a lm e d i c a li m a g et ot h r e e - d i m e n s i o n a lm o d e l ， w es t u d ys o m e3 dr e c o n s t r u c t i o n a l g o r i t h ma n di n t r o d u c et h ep r o c e s so ft h e i m p l e m e n t a t i o no fm a r c h i n gc u b e ( m c ) a l g o r i t h m s e c o n d ，t h ep a p e rs t u d i e st h ea l g o r i t h mo fc o l l i s i o nd e t e c t i o na n ds o f tt i s s u e d e f o r m a t i o na n ds o l v e sb o t ho ft h e mo np h y s xs d k i na d d i t i o n ，t h es i n g u l a r p h e n o m e n o ni nt h es o f tt i s s u ed e f o r m a t i o ni ss t u d i e da n dt w os o l u t i o n sa r ep r o p o s e d t h i r d ，t h ea c q u i s i t i o np r o c e s so ft h es u r g i c a lr o b o tm a s t e rm a n i p u l a t o rj o i n t s m o v e m e n tc o n t r o ls i g n a li ss t u d i e d t h ec o n t r o lo fs u r g i c a lt o o lb ym a i nm a n i p u l a t o r i sa c h i e v e do nb o t hm a s t e rm a n i p u l a t o ra n dr o b o t sk i n e m a t i c sm o d e la n a l y s i s f o u r t h ，t h ed y n a m i cm o d e lo fm a i nm a n i p u l a t o ri ss t u d i e da n dt h ed e r i v a t i o no f t h ef o r c ej a c o b i a nm a t r i xi sg i v e n i n i t i a l l y , t h ee f f e c to ff o r c ef e e d b a c ki sa c h i e v e d a n dt h ef e e d b a c kf o r c ei sc a l i b r a t e db ym u l t i a x i sf o r c es e n s o r a b o v ei st h ep a r to fp r o j e c tt e a md e v e l o p e da b d o m i n a lm i n i m a l l yi n v a s i v e s u r g e r yr o b o ts y s t e m t h ef u n c t i o no ft h i sp a r ti sr e f l e c t e db yt h er o b o t sw o r k i n g p r o c e s sa n dh a sb e e nv e r i f i e dt h r o u g hv a r i o u se x p e r i m e n t s k e yw o r d ：v i r t u a ls u r g e r y , p h y s x ，3 dr e c o n s t r u c t i o n , c o l l i s i o nd e t e c t i o n ，s o f t t i s s u es i m u l a t i o n ，f o r c ef e e d b a c k i i 目录 目录 摘要i a b s t r a c t 1 i 目录i i i 第一章绪论1 第一节引言1 第二节虚拟现实概述2 1 2 1 虚拟现实的概念及发展2 1 2 2 在医疗领域的应用3 第三节微创手术机器人培训系统概述5 第四节国内外研究现状及关键技术7 第五节本文的主要工作及章节安排1 0 第二章手术培训系统的架构1 2 第一节系统组成介绍1 2 第二节硬件组成1 3 2 2 1 主操作手1 3 2 2 2 图形工作站1 4 第三节软件组成1 4 2 3 1o s g 图形渲染平台15 2 3 2 p h y s x 物理引擎1 7 第三章虚拟手术软件系统关键技术研究2 0 第一节引言2 0 i l l 目录 第二节几何建模2 0 3 2 1 机器人及手术工具的建模2 0 3 2 2 人体器官建模一2 2 第三节机器人关节运动控制2 5 3 3 1 模型关节坐标系的创建2 5 3 3 2d o f 节点访问和运动控制2 6 第四节碰撞检测2 7 3 4 1 碰撞检测算法2 8 3 4 2 p h y s x 中刚体的碰撞检测3 1 3 4 3 碰撞点的跟踪实验及分析3 2 第五节软体形变3 4 3 5 1 软组织有限元建模及分析3 4 3 5 2p h y s x 中软组织的有限元建模3 7 3 5 - 3 软体形变的实现3 8 第四章手术机器人培训系统实现4 2 第一节引言4 2 第二节人机交互界面4 2 第三节主操作手控制机器人手术工具末端运动4 3 4 3 1 主操作手关节信号采集4 3 4 3 1 1 多路电位器信号采集及标定4 3 4 3 1 2 多路码盘信号的采集及标定4 7 4 3 2 主操作手控制机器人单个关节的运动实现4 9 4 3 3 主操作手末端姿态与机器人工具末端姿态的对应5 0 4 3 3 1 主操作手结构及运动学模型分析。5 0 4 3 3 2 机器人工具臂主动部分结构及逆运动学分析5 5 第四节虚拟内窥视角下主从末端位姿的对应6 1 4 4 1 虚拟内窥镜的实现6 1 4 4 2 主操作手末端姿态到内窥镜坐标下的映射6 3 t v 目录 4 4 3 内窥镜下主操作手末端位姿到从手主动部分基坐标的映射6 5 第五节主操作手控制虚拟机器人运动实现及结果分析6 6 第五章手术培训系统中力反馈的实现6 8 第一节引言6 8 第二节主操作手动力学分析6 8 5 2 1 主操作手动力学模型6 8 5 2 2 力雅克比矩阵的推导7 0 第三节主操作手力感觉的实现7 2 第四节反馈力的标定7 3 第六章总结与展望7 6 第一节全文总结7 6 第二节展望7 6 参考文献7 8 致谢8 2 个人简历、学术论文与研究成果。8 3 v 第一章绪论 第一章绪论 第一节引言 近年来，以腹腔镜技术为代表的微创外科手术( m i n i m a li n v a s i v es u r g e r y ， m i s ) 迅速兴起，许多传统手术都开始采用微创外科技术。伴随着对内窥镜和手 术工具的改进，微创技术能够胜任的外科手术越来越多，目前微创外科手术已 经涉及到众多领域，如：血管外科，器官移植，胸外科手术，内分泌外科等。 随着微创手术涉及领域的扩大以及手术复杂度的提高，传统的微创手术在 可靠性和精确性方面遇到了越来越大的挑战。首先，传统的微创手术依靠单一 腹腔镜提供的二维图像，缺少深度信息；其次，腹腔镜由辅助医生操作而非主 刀医生，这样大大降低了主刀医生的手眼协调性；再次，传统微创手术工具运 动自由度少，限制了医生手术操作的灵活性。传统微创手术的这些局限性阻碍 了其进一步的发展与普及。 为了突破这些障碍，世界上许多科学家一直在努力探索新的外科手术技术。 由于机器人相对于人而言，在一定的场合具有更高的可靠性和灵活性。因此， 机器人逐渐被引入到医疗领域i l j 。目前新型的微创手术机器人多采用主从模式， 医生通过主操作手对机器人末端工具进行控制，通过立体视觉系统观察手术视 野，完全可以实现接近人手复杂度的动作。并且随着技术的发展，手术机器人 借助其精密的末端工具和精确的定位，完成了许多传统微创手术所不能完成的 复杂手术，大大的拓展了医生的手术能力【2 j 【3 j 。 机器人在医疗领域的应用突破了传统微创手术的局限性，有效地提高了手 术的可靠性和精确性，减轻了医生的工作强度。但是这些先进技术的应用，也 相应地提高了对操作者的要求，医生需要经过大量的训练才能熟练操作机器人 进行手术。传统的医学培训本身就是一个时间漫长、花费昂贵的过程，加入对 手术机器人的操作以后更是增加了培训的难度，提高了培训的成本。因此，借 助于先进的计算机虚拟技术，开发手术培训系统不仅可以减少培训周期，降低 培训成本。同时还可以通过培训系统让临床医生在面对复杂手术时，提前对手 术过程进行规划、预演，提高医生处理各种突发情况的能力【4 j 。手术机器人培训 1 第一章绪论 系统的研究和发展对培养高水平微创外科手术人才，降低手术风险，提高整体 医疗水平有着非常重要的意义。 第二节虚拟现实概述 1 2 1 虚拟现实的概念及发展 虚拟现实技术简称v r ( 英文名：v i r t u a lr e m i t y ) 。这一名词是由美国v p l 公司创建人拉尼尔在2 0 世纪8 0 年代初提出的，是指采用以计算机为核心的现 代高科技手段产生一种虚拟的环境，用户通过特定的设备与虚拟环境进行交互， 可获得视觉、听觉、触觉等多种感知，并按照自己的意愿去改变虚拟环境【5 1 。 为了从技术的角度去定义这种虚拟的环境，1 9 9 3 年b u r d e a g 在e l e c t r 0 9 3 国 际会议上提出了一个“虚拟现实技术的三角形”，如图1 1 所示，形象地说明了 虚拟现实系统的基本特征，即：i m m e r s i o n ( 沉浸感) 、i n t e r a c t i o n ( 交互性) 、 i m a g i n a t i o n ( 想象力) ，也就是人们常说的虚拟现实的三“i ”特征【6 j ，它也表明 在虚拟现实中要以人为本，以人的感知为主导。理想的虚拟现实系统的设计要 尽量去“满足 人的需求，而不能是让人去适应系统本身。 图1 1 虚拟现实技术的三“i ”特性 一个典型的虚拟现实系统主要包括以下五个部分：虚拟场景、图像服务器、 虚拟现实软件、输入和输出设备。虚拟场景是整个系统的主体，涉及场景几何 模型、物理模型、动力学特征、光照等；图像服务器是整个系统运行的硬件基 础，它必须具备高效的图像渲染能力、多通道显示以及实时的操作系统等；虚 拟现实软件负责实时构造和参与虚拟场景的能力，涉及三维建模和物理仿真等； 输入和输出设备是用户“进入 虚拟世界的接口，涉及图像显示、声音交互、 力反馈和场景跟踪漫游等。 2 第一章绪论 目前，虚拟现实系统大体可分为四类：桌面虚拟现实系统、沉浸虚拟现实 系统、分布式虚拟现实系统和增强( 或混合) 现实系统。其中，桌面虚拟现实 系统也称窗口中的v r ，它主要是在个人计算机上实现，系统简单，成本较低， 主要应用于c a d 、c a m 、建筑设计和桌面游戏等领域；沉浸虚拟现实系统主要 用于各种体验器，使人有非常逼真的身临其境感，在各种培训、演示中经常用 到；分布式虚拟现实系统是在因特网环境下发展起来的，充分利用分布于各处 的资源，协同完成虚拟现实系统的开发，是沉浸虚拟现实系统在网络环境中的 进一步发展，美国大型军用交互仿真系统n p s n e t 7 】以及因特网上的多人游戏便 是此类系统；增强( 或混合) 现实系统借助计算机图形和可视化技术产生现实 环境中不存在的虚拟对象，并通过传感器技术将构造出的虚拟对象“放置 在 真实的环境中，从而达到将虚拟对象与真实环境融为一体的效果，这种系统既 可以减少构造复杂虚拟环境的开销，又可以对实际物体进行实时操作，达到了 一种亦真亦幻的境界。 美国是虚拟现实技术的发源地。从2 0 世纪8 0 年代末正式提出虚拟现实的 概念到现在，虚拟现实技术已经有了很大的发展，已成功的应用于军事、医疗、 航空、娱乐等多个领域【8 1 1 9 1 1 0 】【1 1 1 。目前在虚拟现实领域的研究主要集中在虚拟感 知、用户界面、后台软件和硬件等方面。美国宇航局的a m e s 实验室完善了头盔 显示器( h m d ) ，并将v p l 的数据手套产品化，使其具有较高的实用价值，其 研究的重点在于对空间站操纵的实时仿真上。乔治梅森大学研制出一套动态虚 拟环境中的流体实时仿真系统。日本主要致力于对虚拟现实游戏和建立大规模 虚拟现实知识库的研究。英国在虚拟现实技术某些方面的研究是领先的，例如： 分布式并行处理、触觉反馈设备设计等方耐1 2 】。总之，随着计算机技术、传感 器技术和机械制造等技术的快速发展，虚拟现实技术也在乘风前进，不断的日 臻完善，有着巨大的应用前景。同时，虚拟现实作为一个新兴的研究领域，尚 有许多问题值得去研究。 1 2 2 在医疗领域的应用 虚拟现实技术在医学领域的重要应用之一就是构建虚拟手术( v i r t u a l s u r g e r y ) 系统【1 3 】。虚拟手术是利用各种医学影像数据和医疗设备，借助于虚拟 现实技术在计算机中构建一个模拟的手术场景，医生通过对虚拟环境的操作和 3 第一章绪论 感受来进行手术前的规划、训练以及手术导航。虚拟手术集合了医学、计算机 图形学、生物动力学、机械学等诸多学科，是一个新型的交叉研究领域，在医 疗领域已经得到初步的应用【1 4 j 【1 5 1 【1 6 1 。 在复杂外科手术的术前规划方面，虚拟现实技术通过逼真手术场景的构建， 可以让医生对即将要面对的手术环境有一个“直观”的认知，进而能够“较为 客观地制定手术方案，降低手术的风险。在传统的手术规划中，医生只能凭 借以往经验，在大脑中通过想象来对手术进行模拟和方案制定，这样制定出来 的手术方案质量的高低，完全依赖于医生的临床经验和手术水平，不具一般性， 也很难将其与手术组中的其他成员完全共享。利用虚拟现实技术实现逼真的虚 拟手术场景可以让多个医生对同一个手术过程进行模拟，制定出最优的手术方 案，避免了单个医生的主观臆断，提高了手术规划的质量。同时，手术过程中 的辅助人员，也可以通过虚拟手术技术，提前了解主刀医生的手术过程，为手 术中可能出现的突发情况做好准备。 在神经心理学方面，虚拟现实技术可以让病人沉浸在计算机产生的三维虚 拟环境中，并通过传感器设备使其与存在多种刺激模拟下的虚拟环境进行交互， 这使得精神科医生能够通过控制虚拟环境的运行状态，实现对病人的治疗过程， 特别是在恐惧症和认知障碍疾病的康复等方面有着很好的疗效【1 7 】。例如，美国 利用虚拟现实疗法，对伊拉克战争中的老兵进行心理治疗效果明显。在认知障 碍疾病的康复治疗方面，虚拟现实技术可以模拟出多种场景变换与环境刺激来 对病人进行康复治疗，更为重要的是它还可以根据病人的自身情况设定不同的 治疗过程，同样的场景和任务也可以多次重复进行，达到事半功倍的效果。 在手术培训方面，虚拟现实主要是通过提供逼真的手术环境和带有力反馈 的手术器械给实习医生，供其进行交互式手术操作训练，帮助其掌握复杂的手 术过程或学习新的手术技术i l 引。随着医学技术的发展，借助于内窥镜的微创外 科手术越来越广泛，在追求手术创伤小、恢复快、病人痛苦小的同时，手术的 复杂程度越来越高，这就需要经过足够长时间的训练后，医生才能熟练掌握。 这样不仅使得培训周期变长，相应的成本也在提高。而虚拟现实技术的应用可 以让医生“沉浸”在虚拟的手术场景里，体验并学习如何应付各种临床手术情 况。因为其不需要每次都搭建真实的手术环境，所以大大的缩短了对医生的培 训周期，并且虚拟现实技术可以针对每个病人的不同情况来构建不同的手术场 景，能够让实习医生在较短时间里获得更多的临床经验。虚拟现实技术还可以 4 第一章绪论 让专家学者将较好的手术案例很方便地传授给一些小医院，特别是边远山区的 医生，对提高医学教育与训练的效率和质量有着非常重大的意义。 在远程医疗协作方面，通过引入先进的网络技术，将用于手术规划、训练 和治疗的虚拟现实系统网络化，使得更多不同地域的医生能同时参与到一个共 同的手术场景中去，通过视频和交互操作等各种手段，协同完成对同一病人的 诊断和手术规划，甚至可以合作进行手术【1 9 1 1 2 0 1 。但是这种技术对网络的实时性 要求较高，如果出现了不同地域的医生获得的信息不能同步的问题，也就失去 了远程医疗的意义，相反还会给病人带来极大的危险。 综上所述，虚拟现实技术在医疗领域的应用已经初见成效，并有着广阔的 发展前景和巨大的经济潜能。 第三节微创手术机器人培训系统概述 机器人技术应用于微创手术，可拓展微创手术医生的操作能力，改善医生 的工作模式，规范手术操作，提高手术质量，对微创手术的发展具有重要意义。 在发达国家已经出现了医疗机器人市场化产品，其中，由美国i n t u i t i v es u r g i c a l 公司成功开发出的达芬奇( d a n c i ) 主从操作外科手术机器人系统是目前应用 最成功的案例之一【2 l 】，如图1 2 所示。国内也已经有多家大医院引进该设备。解 放军总医院在2 0 0 7 年的时候就已经应用该机器人成功地为一名女患者实旖了微 创心脏手术。先进的机器人技术已经在医疗外科手术规划、微创精确定位操作、 康复护理以及医院服务等多方面得到了广泛应用。 随着医疗机器人的应用，医生的工作模式发生了变化。目前的手术机器人 大都采用主从模式，医生通过操作主操作手对远程的机器入进行控制来完成手 术过程，增加了手术的复杂度，提高了对医生的操作要求。因此，使用手术机 器人对病人进行手术并不是所有的医生都能够胜任的。实际中确实如此，在项 目的开发过程中，偶尔会跟解放军总医院的医生进行交流，从他们那里了解到， 在医院里只有固定的几位受过专门培训，并持有证书的医生可以使用d av i n c i 机器人对病人进行手术。由于手术机器人操作复杂，并且与传统的手术过程有 很大差别，因此所有的操作人员在事先都需要经过严格的培训，通过反复的操 作机器人来熟悉机器人手术流程。由于整套设备十分昂贵，并且手术工具的使 用都有一定的次数限制，因此培训成本很高，很多医生都只能通过观摩手术过 5 第一章绪论 程、听讲解来熟悉机器人的使用，实际操作非常有限，这样也延长了培训的周 期。 a ) 系统由机器人、控制柜和医生操作平台组成 b ) d av i n c i 机器人本体c ) 机器人末端手术工具 图1 2 达芬奇( d av i n c i ) 手术机器人系统 如何才能在不增加成本的前提下快速提高医生操作手术机器人的水平呢? 微创手术机器人培训系统的研究便是在这种需求之下应运而生。一个理想的手 术机器人培训系统应该包括：机器人操作主手、多传感器设备、力反馈装置、 运动行为分析器、动态场景生成器和图像显示设备。 微创手术本身具有复杂性和精准性，而手术培训系统是要在最大程度上模 拟微创手术过程。因此，对整个手术培训系统的设计提出了很高的要求。与其 它培训系统相比，其特点是：场景复杂，多为相互关联的人体软组织；人机交 互性强，通过多方面感知和操作虚拟场景；高分辨率立体显示，提供场景中的 6 3氇畚魄髓矮歹、慕多；鲁多；l，、扎菩霄，霄 。岁 第一章绪论 深度信息；真实力反馈，让医生指端有逼真的力觉感受。 借助于先进的计算机虚拟技术，为微创手术机器人开发出配套的手术培训 系统可使实习医生对不同的手术过程反复训练，还可以让医生对不常做的复杂 手术进行重复训练，以不断提高其手术水平。同时，它还有助于临床医生在面 对复杂的手术方案时，对手术过程进行规划、预演，提高正确处理各种突发情 况的能力。综上所述，机器人手术培训系统的研究和发展对推动先进机器人技 术在医疗领域的应用，培养高层次微g , j 夕b 科手术人才，提高整体医疗水平有着 非常重要的意义。 第四节国内外研究现状及关键技术 手术仿真系统的研究开始于2 0 世纪8 0 年代末。在1 9 9 6 年第四届医学虚拟 现实会议上s a t a v a 提出了三代医学仿真系统框架的概念：第一代着重于人体结 构组成的解剖学仿真；第二代考虑组织器官物理特性的物理学仿真；第三代考 虑组织器官生理机能的生理学仿真【2 2 1 。这一框架概念清晰地指出了医学虚拟仿 真系统在过去、现在以及未来的发展方向。当前世界各国研究人员对手术仿真 系统的研究正处于其发展框架的第二代，即考虑器官组织物理特性的物理学仿 真。 目前许多国家都在致力于手术培训系统的研究。在这方面日本和欧美发达 国家的研究起步较早，在虚拟手术技术的各个方面的研究也都处于领先地位并 取得突破性的成果。美国的d e l p 和r o s e n 开发了第一套用于医疗的虚拟现实系 统，主要用于研究人体肌肉腱移植手术的不同方法l 2 3 】。1 9 8 9 年，美国提出了“可 视人计划”，该项目由科罗拉多大学实施，分别于1 9 9 1 年和1 9 9 4 年选择了男女 活体各一个，在他们死后立即对尸体进行全方位扫描，获取人体连续横断面医 学图像，然后三维重建出虚拟的人体结构。该项目的实施对推动虚拟手术的发 展有着重大的意义，为虚拟手术的各项研究提供了准确的医学数据。德国的卡 尔斯鲁厄研究中心从1 9 8 6 年开始研发了一套三维的实时虚拟手术系统k i s m e t ( k i n e m a t i cs i m u l a t i o n , m o n i t o r i n ga n do f f - l i n ep r o g r a m m i n ge n v i r o n m e n tf o r t e l e r o b o t i c s ) ，2 0 0 0 年的时候该机构又在k i s m e t 的基础上开发了微创手术虚 拟系统( m i s ，m i n i m a l l yi n v a s i v es u r g e r y ) 睇4 j ，该系统利用有限元的方法对人 体器官进行建模，对肠胃进行了活性变形体的形态动态仿真和树形的动脉血管 7 第一章绪论 的仿真，并加入了力反馈设备，提供触觉感知，对手术过程的模拟达到非常逼 真的效果。 美国的m e n t i c e 公司一直致力于医疗领域的仿真研究，提供手术培训、医疗 教育等解决方案【2 5 1 。m e n t i c em i s t 微创手术培训系统是该公司的代表性产品， 该系统由两个内窥镜手术工具和一台计算机组成。手术工具与计算机通过电气 进行连接，医生操作手术工具与虚拟手术场景进行交互，如图1 3 所示。该系统 能够提供多种微创手术过程的培训。 a ) 系统硬件组成b ) 手术场景三维效果显示 图1 3 美国m e n t i c e 公司的m e m i c em i s t 系统 目前，美国的s i m b i o n i x 公司在手术培训系统的开发上处于领先地位，针对 各类手术过程开发了一系列的培训系统【2 6 1 。其中l a pm e n t o r 系统主要针对腹腔 镜手术过程的模拟，并具备对医生的操作进行评价的功能，如图1 4 所示。 图1 4 美国s i m b i o m x 公司的l a pm e n t o r 手术培训系统 8 第一章绪论 国内在这方面的研究起步较晚，浙江大学c a d & c g 国家重点实验室的研 究人员对生物体软组织的受力形变进行了深入的研究，通过对软组织生物力学 特性的分析，建立软体受力形变的粘弹性模型，较好地仿真了在外力作用下软 组织的形变匹7 1 。解放军总医院的研究人员利用p h a n t o m 力反馈设备开发了一 套鼻腔镜手术仿真系统【2 8 j ，用于对外科实习医生进行手术训练，系统针对临床 常见的四种手术过程进行了仿真。北京航空航天大学虚拟现实技术与系统国家 重点实验室与北京大学口腔医学院合作，以牙科手术中医生的触觉感受为研究 对象，重点研究了基于三角形网格模型的真实力触觉合成技术，成功研制了力 觉与视觉融合在一起的牙科手术培训系统的原型物理样机，实现了龋齿探测、 牙体钻削等典型牙科手术操作的模拟【2 9 】。 与国外相比，国内的虚拟手术培训系统还有较大差距，主要表现在：手术 对象的物理建模不够精确、虚拟手术场景过于简单、只能模拟少数的几个手术 过程等。另外，国内开发的培训系统所使用的硬件大多购买于国外的大公司， 例如解放军总医院在开发鼻腔镜手术仿真系统时，使用的是由美国s e n s a b l e t e c h n o l o g i e s 公司开发的p h a n t o m 力反馈设备【3 0 j 。这样虽然减少了开发周期， 但具体的底层实现不可获知，限制了对培训系统更深层次的研究。在多自由度 力反馈交互设备的研究方面国内的研究也不是很成熟。 手术培训系统的发展依赖于研究人员在各个关键技术上的突破，手术培训 系统所涉及的关键技术主要包括：手术对象建模、碰撞检测及响应、人体器官 软组织形变仿真、虚拟切割和缝合、真实感图像渲染、具有力反馈能力的操作 主手设计、听觉以及其它感觉交互设备的设计。 手术对象的建模是整个手术仿真系统的基础，包括人体器官和手术工具的 几何建模与物理建模。没有好的几何模型和物理模型，后续的碰撞检测、软体 形变、虚拟切割等工作便如空中楼阁，系统的逼真度必然大打折扣。手术对象 之间的碰撞检测是衡量手术训练系统精度的关键指标，精确的碰撞检测是提高 手术培训系统逼真度和沉浸感的关键，它为软体形变以及力反馈设备提供了力 的产生点和力的大小。人体器官软组织形变、虚拟切割和缝合是手术过程中手 术工具对虚拟器官的作用过程的体现，由于人体器官物理模型的复杂性，这一 部分往往是整个手术培训系统的难点，既要实现对实物的精确建模又要尽量降 低计算量，提高系统的实时性，这种矛盾一直存在于培训系统的研究中。具有 多感知交互设备的设计也是整个系统开发的难点，它是人与虚拟手术场景交互 9 第一章绪论 的接口，人能否真实的感受虚拟场景完全取决于此。 总之，手术培训系统的研究涉及计算机图形学、医学、生物力学、传感器 技术、机械学等多个学科，要完成一个理想的手术培训系统的开发还需要国内 外科研人员的共同努力。 第五节本文的主要工作及章节安排 本文主要针对微创手术机器人培训系统中的关键技术展开研究，是国家高 技术研究发展计划( 8 6 3 计划) 目标导向类课题“微创手术机器人关键技术与系 统集成研究”的一个组成部分，目的在于让医生能够快速掌握手术机器人的操 作流程并借此系统进行术前规划和手术预演，其研究成果在提高微创外科手术 水平，推动先进机器人技术在医疗领域的应用，减少手术失误风险，提高手术 质量等方面有着重要的意义。 本文主要研究内容如下： l 、针对项目中所研制的微创手术机器人的特点，通过对仿真系统的分析， 为该机器人系统制定出一套合适的培训系统开发方案。 2 、探讨手术培训系统中手术对象的建模方法：对于手术工具，采用基于三 维建模软件的方式进行建模，提高系统的开发效率；对于人体器官，本文研究 了通过医学图像数据三维重建的方法，使得模型更加精确。 3 、分析了o s g 中多关节模型各关节坐标系的建立并完成了主操作手运动 命令对虚拟从手各关节的运动控制。同时，对关节控制接口进行了封装，便于 后续的开发。 4 、对虚拟现实中各种碰撞检测算法进行分析，重点研究了基于o b b 的碰 撞检测算法，完成了适用于本系统的碰撞检测模块及其响应模块的开发。 5 、对手术培训系统中的人体软组织的物理建模及其形变算法变进行研究， 在前期工作的基础上对形变仿真程序进行优化，提高了渲染效率。 6 、对多路模拟信号采集和多路码盘信号的采集进行研究，并完成相应的通 讯模块的开发，实验表明该模块能够达到对机器人主操作手运动信息实时采集 的要求。 7 、对机器人主操作手和从手大臂进行运动学分析，完成主操作手对机器人 从手主动部分的运动控制。 】0 第一章绪论 8 、对手术培训系统中的力反馈技术进行研究，介绍了主操作手的动力学模 型和力雅克比矩阵的推导过程，通过对主操作手前端三个电机的控制初步实现 了反馈力感觉的效果。 全文共分六章，具体章节安排如下： 第一章绪论 介绍了手术培训系统的理论基础及研究的意义，分析了手术培训系统在国 内外的研究状况及其涉及的关键技术。 第二章手术培训系统的架构 从硬件组成和软件组成等方面分析了整个系统的架构。简单介绍了培训系 统中所使用的主操作手的结构。结合使用情况，对系统开发过程中用到的图形 渲染引擎和物理引擎作了详细介绍。 第三章虚拟手术软件系统关键技术研究 对于虚拟手术系统中的几何建模、机器人模型关节运动控制、碰撞检测和 软体形变等关键技术展开研究。针对相应模块给出具体实现方案并通过实验进 行验证。 第四章手术机器人培训系统实现 介绍了手术培训系统人机交互界面各个模块的功能。对主操作手与软件系 统的连接进行了研究。通过对主操作手、机器人以及虚拟内窥镜的运动学分析， 介绍了主操作手控制手术工具末端运动的实现流程。 第五章手术培训系统中力反馈的实现 通过对虚拟手术系统中力反馈模块的研究，结合对实际系统的分析，推导 出了计算主操作手控制力矩的雅克比矩阵，实现了初步的力反馈效果。 第六章总结与展望 对全文进行总结，指出当前系统中的不足以及下一步的研究方向。 第二章手术培训系统的架构 第二章手术培训系统的架构 第一节系统组成介绍 一个完整的手术培训系统包括三个基本部分：主操作手，虚拟手术软件系 统和图形工作站。 使用机器人进行微创手术是医生通过主操作手对机器人进行控制，将医生 手的动作映射到机器人手术工具末端来完成各类手术的过程。因此，微创手术 机器人培训系统的基本的硬件组成必然包括主操作手，并且其操作虚拟机器人 的流程应与实际机器人系统相同，这样才能达到对实习医生的培训效果。主操 作手