（模式识别与智能系统专业论文）虚拟手术系统的研究及其仿真平台开发.pdf

东北大学硕士学位论文摘要 虚拟手术系统的研究及其仿真平台开发 摘要 目前，随着我国数字化信息的飞速发展及在医疗健康领域的应用，使得与诊断和治 疗有关的信息量增长迅速，然而对这些信息有效运用和组织的手段远远不足，加上现代 医学已逐渐集中于“感官一决策一行动”这个模式，虚拟手术的出现给现代治疗学提供 了一个新的思维模式，改变了传统外科手术的盲目性。 虚拟手术作为正在发展起来的研究方向，是集医学、生物力学、计算机图形学、计 算机视觉、机械力学、机器人等诸多学科为一体的新型交叉研究领域。其目的是利用计 算机技术来模拟、指导医学手术所涉及的各种过程。在时间段上包括了术前、术中、术 后，在实现的目的上有手术计划制定、手术排练演习、手术教学、手术技能训练、术中 引导等。虚拟手术系统作为外科医生的训练器和手术计划工具，可以对手术预定方案进 行模拟操作；与先进的医疗器械相结合，可进一步应用于实际的手术过程。虚拟手术的 研究不仅有着重要理论意义，而且有着广阔的应用前景。 本文在剖析了虚拟手术系统构成的基础上，深入研究了虚拟手术系统的各项核心技 术。首先针对医学数据的特点，阐述了常用的医学图像预处理方法；然后对常用的几何 建模方法进行了分析比较，并对光线投射、移动立方体两种典型算法进行了详细地介绍。 在对光线投射算法进行深入研究基础之上，提出了一种基于光线投射算法的快速体绘制 算法。通过实验证明，该方法可以显著地提高体绘制速度；并且，论文讨论了虚拟手术 中的碰撞检测和变形计算涉及的常用方法。在虚拟手术的核心技术研究基础上，针对虚 拟手术中常见的操作方式，采用面向对象的设计技术，设计了一个灵活的易于扩充的虚 拟手术仿真平台，并在v c6 0 环境下完成了仿真平台的总体框架搭建。 关键词：手术仿真：面绘制；移动立方体法；体绘制：光线投射法；重采样 i i 东北大学硕士学位论文 a b s t r a c t t h er e s e a r c ho fv i r t u a ls u r g e r ys y s t e ma n dt h e d e v e l o p m e n to f s i m u l a t i o np l a t f o r m a b s t r a c t a l o n gw i t ht h ed i g i 【t i z e di n f o r m a t i o nd e v e l o p e da n da p p l i e di nt h em e d i c a lh e a l t h y d o m a i nw i d e l y , t h ei n f o r m a t i o nr e l a t e dt ot r e a t m e n ta n dd i a g n o s ei s g r o w i n gs p e e d i l yn o w h o w e v e r , t h eu t i l i z a t i o na n dt h eo r g a n i z a t i o no ft h i si n f o r m a t i o na r en o te f f e c t i v ea n d s u f f i c i e n tb yf a r , a n dm o d e mm e d i c a lh a sa l r e a d yf o c u s e do nt h em o d eo f “s e n s e d e c i s i o n - m a k i n g - a c t i o n g r a d u a l l y t h ea p p e a r a n c eo ft h ev i _ r r m ls u r g e r yp r o v i d e san e w t h o u g h tt ot h em o d e mt h e r a p e u t i c sa n dc h a n g e st h eb l i n d n e s st r a d i t i o n a l l ys u r g i c a lo p e r a t i o n a sad e v e l o p i n gr e s e a r c hi r e n d ，v i r t u a ls u r g e r yi san e w o v e r l a p p i n ga r e a , c o n s i s t i n go f m e d i c i n e ，b i o m e c h a n i c s ，c o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o n ，m e c h a n i c a ld y n a m i c s ，r o b o t i c s a n ds oo n 啊 g o a li st ou s et h ec o m p u t e rt e c h n o l o g yt os i m u l a t ea n di n s t r u c te a c hs t e po f p r o c e s sw h i c ht h em e d i c i n es u r g e r yi n v o l v e s a saw h o l ei tc o n t a i n sa 1 1o ft h ep e r i o d so ft h e o p e r a t i o n i na r c h i v i n gt h ea i mo ft h es u r g e r y , i tp r o v i d e dw i t l lt h eg u i d i n gi np r o c e s so ft h e s u r g e r ya n dt h ep l a n n i n g ，t e a c h i n ga n dt r a i n i n ge t c o fi t t h ev i r t u a ls u r g e r ys y s t e ma st h e s u r g e r yi r a i n i n l ga n dp l a n n i n gi n s t r u m e n to fas u r g e o n ，w h e nm a k i n gt h es u r g e r yp l a n , i tm a y s i m u l a t et h ea c t u a lo p e r a t i n gp r o c e s s ；w h e nu n i f y i n gw i 也t h ea d v a n c e dm e d i c a li n s t r u m e n t i t m a yf b r t h e ra p p l yt ot h ea c t u a ls u r g e r yp r o c e s s t h er e s e a r c ho fv i r t u a ls u r g e r yn o to n l yh a s t h ew e i g h t i l yt h e o r e t i c a li m p l i c a t i o n s ，b u ta l s oh a st h eb r o a d l yp o t e n t i a la p p l i c a t i o n b a s e do na n a l y z e dt h ec o n s t i t u t i o n so fv i r t u a ls u r g e r ys y s t e m , t h i sp a p e rs t u d i e dv a r i o u s c o r et e c h n o l o g yo fi tt h o r o u g h l y f i r s t l y , t h i sp a p e re l a b o r a t e dt h ec o m m o n l yu s e dd a t a p r e t r e a t m e n tm e t h o da i m e da tt h ec h a r a c t e ro fm e d i c i n ep i c t u r e t h e nt h r o u g ht h ec o n t r a s t ，i t a n a l y z e dt h eg e o m e t r yc o n s t r u c t st h em o l dm e t h o d w h i c hu s e dc o m m o n l y , a n di n t r o d u c e dt h e t w ot y p i c a la l g o r i t h m - t h er a yc a s t i n ga n dt h em 甜c h i l l gc u b e si nd e t a i l s i m u l t a n e o u s l yi ta l s o a n a l y z e dt h er e a l t i m e f a c t o rw h i c hr e f l e c t e dr e c o n s t r u c t i o na c c o r d i n gt os t u d y i n go nt h e r e s e a r c ho fr a yc a s t i n gt h o r o u g h l y , a n dp r o p o s e dt h ei m p r o v e m e n ta l g o r i t h m t h r o u g ht h e e x p e r i m e n t , t h es p e e do fr e c o n s t r u c t i o nc a nb ee n h a n c e do b v i o u s l y ；a n dt h e ni td i s c u s s e d c o l l i s i o nd e t e c t i o n ，d i s t o r t st h ec o m p u t a t i o na n do t h e rc o m m o n l yu s e dm e t h o d sw h i c h i n v o l v e di nt h ev i r t u a ls u r g e r y u n d e rt h ei n s t r u c t i o no fc o r et h e o r y , t h ep a p e ru s e d o b j e c t - o r i e n t e dt e c h n i q u et od e s i g nav i r t u a ls u r g e r ys i m u l a t i o np l a t f o r m ，a n dc o m p l e t e dt h e f r a m eo ft h ep l a t f o r mu n d e rt h ee n v i r o n m e n to fv c6 0a p p o i n t e dt ot h eo p e r a t i o nm o d e s i i i 东北大学硕士学位论文a b s t r a c t w h i c hc o m m o n l yu s e di nt h ev i l t l 脚s u r g e r y k e yw o r d s ：v i r t u a ls u r g e r ys i m u l a t i o n ；s u r f a c er e n d e r i n g ；m a r c h i n gc u b e s ；v o l u m er e n d e r i n g ； r a yc a s t i n g ；r e s a m p l i n ga l g o r i t h m i v 东北大学硕士学位论文 第一章绪论 第一章绪论 1 1 引言 日新月异的数字化信息发展及在医疗健康领域的应用，使得虚拟手术( v i r t u a l s u r g e r y ) 出现成为可能。虚拟手术作为一个新兴发展起来的研究方向，正在受到越来越 多人的关注。虚拟手术仿真( v i r t u a ls u r g e r ys i m u l a t i o n ) 是专门用来模拟在手术过程可能 遇到的各种现象的虚拟现实( v i r t u a lr e a l i t y ) 应用系统。其研究内容包括对医学数据的交 互与可视化、虚拟人体器官在虚拟手术器械作用下的各种变化的模拟及对操作人员的各 种感官反馈( 如视觉反馈和力反馈等) 的模拟等，虚拟手术仿真是虚拟现实技术在手术训 练中的重要应用。其相关研究涉及计算机图形学、计算机视觉、弹性力学、生物力学、 机器人学、医学等诸多领域【1 1 。 本文在查阅了大量相关文献，深入的研究了虚拟手术中的各项核心技术，然后搭建 了一个虚拟手术仿真平台( v i r t u a ls u r g e r ys i m u l a t i o np l a t f o r m ) ，并对其中部分核心算法 进行了改进，通过实验证明效果良好。 1 2 虚拟手术系统的研究背景及意义 现代科学技术的发展越来越体现多门学科的交叉和渗透。虚拟现实技术和现代医学 的飞速发展和交叉融合使得虚拟手术越来越受到各国人们的重视，现在各国都在至力于 开发手术模拟系统。 从1 8 9 8 年伦琴发明了x 射线到2 0 世纪7 0 年代的x 线计算机断层成像的出现， 医学诊断的模式发生了很丈的变化，医生的诊断越来越依赖于直观的影像信息。核磁共 振( m a g n e t i cr e s o n a n c ei m a g i n g ) 、正电子发射计算机断层显像( p o s i t r o ne m i s s i o n c o m p u t e dt o r n o g m p h y ) 等成像设备的出现更加开阔了医生的视野，为医生的诊断和治疗 带来了很大的帮助。采用计算机图形学和图像处理技术对图像三维信息的提取和三维显 示可以帮助医务人员模拟治疗和手术过程等。将计算机图形、图像技术应用于三维医学 数据，主要集中于三维医学图像的可视化方面的研究。可视化的研究以及虚拟现实技术 的飞速发展共同促进了虚拟手术技术的发展。虚拟现实( v i r t u a lr e a l i t y ) ，是一种可以创 建和体验虚拟世界( v i r t u a lw j r l d ) 的计算机系统。虚拟环境是由计算机生成的，通过视、 听、触觉等作用于用户，使之产生身临其境般感觉的交互式视景仿真。因而，为了研究 如何设计和构成一个身临其境的虚拟现实系统，需要包括计算机图形学、图像处理与模 苎生查兰塑主主堡垒墨 第一章绪论 式识别、智能接口技术、人工智能技术、多传感器技术、语音处理与音响技术、网络技 术、并行处理技术和高性能计算机系统等。虚拟手术系统是虚拟现实技术在现代医学中 的应用。它是一个融合计算机技术、计算机图形学、传感器技术、生物力学、现代医学、 图像处理、计算机视觉、机器人学、科学计算可视化等学科的多学科交叉研究领域。 虚拟手术系统是一个专门用来模拟在手术过程中可能遇到的各种现象的虚拟现实 应用系统，所涉及的内容包括医学数据的交互与可视化，以及对于组织器官变形的模拟 和各种感官反馈的模拟。自上个世纪8 0 年代末9 0 年代初开始，由于步 科手术新技术 的发展推动了手术仿真系统的研究，手术计划用于该研究领域时可以模拟实际的操作过 程；与先进的医疗器械相结合，可进一步应用于实际的手术过程。虚拟手术系统的研究 不仅有着重要的理论意义，而且有着广阔的应用背景。传统的手术训练，在经验丰富的 医生演示后，实习医生往往通过基于人造模型、尸体、动物或病人等对象进行练习。人 造模型真实感不够，尸体资源有限且昂贵，动物活体组织及结构与人体差异较大，基于 病人练习还涉及法律和道德等问题。虚拟手术仿真系统不仅有助于解决上述问题，并可 使实习医生对不同的手术过程反复训练，还可以让医生对不经常做的复杂手术重复练习 以保持其手术水平，还有助于临床医生对将要做的手术进行规划、模拟，以便制定合理 的手术方案。同时虚拟手术可以用计算机代替医生进行手术方案的三维构思比较客观、 定量，且其信息可供箍个手术小组的每一位成员共享。如果引入c t ( c o m p u t e r t o m o g r a p h y ) 等三维图像，就可对具体图像与同行进行交流，在虚拟的空间t w i r t i l a ls p a c e ) 进行三维手术模拟，并制订出较为完善的手术方案。如果所设想的空间能与现实空间及 位置正确地对应，在手术中就可随时以此作为参考。这种基予图像信息构成且位置吻合 的假设空间称为增强现实( a u g m e n t e dr e a l i t y ) 2 埘，这与一般意义上的虚拟现实不同，虚 拟现实是把现实中不存在的东西，真实地感触到，而增强现实是在实物的图像上增加现 实的( 或不可见的) 信息。 总的来说，虚拟手术模拟系统就是通过精确的人体组织器官造型( 几何建模和物理 建模) ，来逼真地模拟组织器官在手术器械的外力交互作用下变形乃至被切割的过程， 并通过视觉、听觉、触觉反馈以及其他通道的感观反馈形式来提供逼真的手术感觉。 1 3 虚拟手术系统的国内外研究概况及其应用 医学成像在过去的三十年来取得了巨大的发展，在七八十年代分别出现的c t 和 m 烈成像技术为真正的三维医学图像提供了数据源，解决了三维图像所提供的信息不能 2 东北大学硕士学位论文 第一章绪论 对治疗做出准确诊断和定量规划的问题。 1 3 1 虚拟手术系统的园内外研究概况 当前，国外已经有许多研究机构和商业公司对医学虚拟现实尤其是在虚拟医学手术 仿真训练等方面都进行了一定的研究和实践。如早在1 9 9 2 年美国i n t e g r a t e ds u r g i c a l s y s t e m s 公司开发了一个o r t h o d o c t m 图像处理系统，根据c t 图片进行了3 d 建模和 手术规划，为手术提供所有需要的数据，帮助医生完成监控和虚拟手术【4 】。纽约大学医 学中心正在使用一种带有实时数据融合功能的解剖结构显示系统。使用该系统，外科医 师可对大脑深处的肿瘤切除进行术前计划，在手术过程中对肿瘤实现实时可视化，并将 计算机生成的图像叠加于手术区域之上【5 】。美国达特茅斯医学院开发的“交互式多媒体 虚拟现实系统”。对于手术训练方面处于较前沿的是美国波士顿力学研究中心，他们采 用的方式是利用偏振眼镜观看场景、虚拟手术器械模拟操作，该方法还处于研究探索阶 段。加利福尼亚的s a n f r a n c i s c o 大学外科系与伯克利学院的电子工程与计算机科学系对 虚拟腹腔手术的研究等。另外，有一些从事虚拟现实技术开发的公司也针对医学手术领 域研制出了一些产品，包括体数据可视化的软件包、专用的虚拟手术器械等。英国的 t h e i n s t i t u t eo f l a r y n g o l o g ya n d o t o l o g y 开发了一个v r 系统，他们使用实时体绘制技术， 能够对病人的数据进行配准，并且对手术仪器进行跟踪i s 。日本名古屋大学基于图形工 作站建立三维手术模拟系统，并至力于开发出可供多人同时操作的手术模拟机构，其中 岛肋研究室进行了支气管内窥镜手术的模拟。g e o r g i a 理工学院图形可视化及应用中心， 进行了手术模拟过程中的内脏器官实时变形模拟相关的研究。新加坡k e n tr i d g e 生物 医学实验室开发的虚拟颅内可视和导航系统( v ia n ) 利用多种影像技术获得患者的 数据( 磁共振、磁共振血管造影、磁共振静脉造影、c t 等) ，并通过这些数据库构造虚拟 环境，对神经外科治疗轴内和轴岁 脑瘤和血管畸形的手术进行计划和模拟f 7 】。 在国内，大部分的研究工作集中在对医学图像的三维重建，对手术过程中仿真碰撞 以及软组织变形仿真等方面的研究。清华大学、浙江大学、北京大学医学院、青岛大学 等院校及研究单位在基于计算机图形学的医学图像三维可视化算法研究领域也取得了 较大的成果。清华大学开发了一个计算机辅助立体定向神经外科手术系统，该系统基于 实时可视化绘制、机器人和虚拟现实技术，辅助医生完成立体定向神经外科手术。通过 虚拟现实设备，系统可以创造一个虚拟手术环境和虚拟病人。在这个虚拟环境中，医生 可以进行虚拟手术，对医生以后的诊断和手术起到培训和教学的作用【8 l 。青岛大学针对 东北走学硕士学位论文 第一章绪论 对治疗做出准确诊断和定量规划的问题。 1 3 。l 虚拟手术系统的国内外研究概况 当前，国外已经有许多研究机构和商业公司对医学虚拟现实尤其是在虚拟医学手术 仿真训练等方面都进行了一定的研究和实践。如早在1 9 9 2 年美国i n t e g r a t e ds u r g i c a l s y s t e m s 公司开发了一个o r t h o d o c t m 图像处理系统，根据c t 图片进行了3 d 建模和 手术规划，为手术提供所有需要的数据，帮助医生完成监控和虚拟手术【4 。纽约大学医 学中心正在使用一种带有实时数据融合功能的解剖结构显示系统。使用该系统，外科医 师可对大脑深处的肿瘤切除进行术前计划，在手术过程中对肿瘤实现实时可视化，并将 计算机生成的图像叠加于手术区域之上p j 。美国达特茅斯医学院开发的“交互式多媒体 虚拟现实系统”。对于手术训练方面处于较前沿的是美国波士顿力学研究中心，他们采 用的方式是利用偏振眼镜观看场景、虚拟手术器械模拟操作，该方法还处于研究探索阶 段。加利福尼亚的s a nf r a n c i s c o 大学外科系与伯克利学院的电子工程与计算机科学系对 虚拟腹腔手术的研究等。另外，有一些从事虚拟现实技术开发的公司也针对医学手术领 域研制出了一些产品，包括体数据可视化的软件包、专用的虚拟手术器械等。英国的 t h ei n s t i t u t eo f l a r y n g o l o g ya n do t o l o g y 开发了一个v r 系统，他们使用实时体绘制技术， 能够对病人的数据进行配准，并且对手术仪器进行跟踪【6 j 。日本名古屋大学基于图形工 作站建立三维手术模拟系统，并至力于开发出可供多人同时操作的手术模拟机构，其中 岛肋研究室进行了支气管内窥镜手术的模拟。g e o r g i a 理工学院图形可视化及应用中心， 进行了手术模拟过程中的内脏器官实时变形模拟相关的研究。新加坡k e n tr i d g e 生物 医学实验室开发的虚拟颅内可视和导航系统( v l v la n ) 剥用多种影像技术获樗患者的 数据( 磁共振、磁共振血管造影、磁共振静脉造影、c t 等) ，并通过这些数据库构造虚拟 环境，对神经外科治疗轴内和轴外脑瘤和血管畸形的手术进行计划和模拟 。 在国内，大部分的研究工作集中在对医学图像的三维重建，对手术过程中仿真碰撞 以及软组织变形仿真等方面的研究。清华大学、浙江大学、北京大学医学院、青岛大学 等院校及研究单位在基于计算机图形学的医学图像三维可视化算法研究领域也取得了 较大的成果。清华大学开发了一个计算机辅助立体定向神经辨科手术系统，该系统基于 实时可视化绘制、机器人和虚拟现实技术，辅助医生完成立体定向神经外科手术。通过 虚拟现实设备，系统可以创造一个虚拟手术环境和虚拟病人。在这个虚拟环境中，医生 可以进行虚拟手术，对医生以后的诊断和手术起到培训和教学的作用f s l 。青岛大学针对 可以进行虚拟手术，对医生以后韵诊断和手术起到培训和教学的作用 ”。青岛大学针对 东北大学硕士学位论文第一章绪论 虚拟手术的各个核心技术如三维重建 9 1 、碰撞检测c 1 0 1 、切割变形计算 1 1 - 1 2 ，也做了一系 列的研究。 1 3 2 虚拟手术系统的应用 虚拟手术是利用各种医学影像数据以及虚拟现实技术，在计算机中建立一个模拟环 境，医生借助虚拟环境中的信息进行手术计划、训练，以及实际手术过程中引导手术的 新兴学科。其主要用途有： ( 1 ) 手术方案的制订 手术方案能够利用图像数据，帮助医生合理、定量地制定手术方案，对于选择最佳 手术路径、减小手术损伤、减少对临近组织损害、提高肿瘤定位精度、执行复杂外科手 术和提高手术成功率等具有十分重要的意义。虚拟手术系统可以预演手术的整个过程以 便事先发现手术中问题。虚拟手术系统能够使得医生能够依靠术前获得的医学影像信 息，建立三维模型，在计算机建立的虚拟的环境中设计手术过程、进刀的部位、角度、 提高手术的成功率。 ( 2 ) 手术培训 由于8 0 的手术失误是人为因素引起的，所以手术训练极其重要。医生可在虚拟手 术系统上观察专家手术过程，也可重复实习。虚拟手术使得手术培训的时间大为缩短， 同时减少了对昂贵的实验对象的需求。由于虚拟手术系统可为操作者提供一个极具真实 感和沉浸感的训练环境，力反馈绘制算法能够制造很好的临场感，所以训练过程与真实 情况几乎一致，尤其是能够获得在实际手术中的手感。计算机还能够给出一次手术练习 的评价。在虚拟环境中进行手术，不会发生严重的意外，能够提高医生的协作能力。 ( 3 ) 术中导航与术中监护 介入治疗是在手术过程中进行荧光透视法、超声、m r i 下，在图像的引导下进行定 位。而虚拟手术的手术导航无须在介入环境下，将计算机处理的三维模型与实际手术进 行定位匹配，使得医生看到的图像既有实际图像，又叠加了图形，属于计算机增强现实。 如手术使用了第二种成像手段，例如内窥镜，则将实时观测的图像与术前c t 或m r i 进行匹配定位融合，对齐两个坐标系并显示为图形，引导医生进行手术。 ( 4 ) 降低手术费用 现代外科医疗检测系统造价昂贵，医疗成本也很高。虚拟手术能够缩短病人的恢复 周期、降低病人和医院的开支。虚拟手术不受手术设备的制约。 4 东北大学硕士学位论文第一章绪论 ( 5 ) 远程干预 远程干预能够使得在手术室中的外科医生能实时地获得远程专家的交互式会诊。交 互工具可以使顾问医生把靶点投影于患者身上来帮助指导主刀夕 科医生的操作，甚至通 过遥控帮助操纵仪器。这能使专家们技能的发挥不受空间距离的限制。 1 4 虚拟手术系统的研究难点 目前与医学相关的虚拟现实应用主要包括：手术、内窥镜检查和放射外科等。其中， 虚拟医学手术仿真是一种技术难度较大的应用。与其它虚拟现实应用相比，它的研究难 点是： ( t ) 由于人体数据的复杂程度高、量大，采用现有数据组合生成最终虚拟手术使用的人 体模型数据集的建模方法还有待研究； ( 2 ) 虚拟场景复杂，需要产生多层次、多种形态、相联关系复杂的三维虚拟人体组织； ( 3 ) 虚拟手术仿真的逼真性较低，主要原因是不同虚拟人体组织( 尤其是软组织) 的精 确解剖结构和几何模型细节层次的建立以及三维实时显示算法仍有待进一步的改进 和优化： ( 4 ) 虚拟组织的各种行为模型( 即真实动态物理模型，如在受到外力时的组织实时形变 等) 的建立还不够完善和真实； ( 5 ) 多种不同来源的三维医学影像数据的融合技术尚有待发展； ( 6 ) 人机交互性强，要求定位和反馈精确度高。 1 5 论文结构及主要工作 本文主要研究了与虚拟手术相关的核心理论技术，在此基础上开发了一个虚拟手术 仿真平台。目前该仿真平台支持d i c o m 、r a w 、b m p 、j p e g 、i m 0 多种数据格式，可 以对三维数据场进行不同的重建方法。目前该系统可以稳定运行于w i n d o w s 操作系统 下。同时本文针对虚拟手术几何建模中的光线投射算法运算度慢、运算量大这些问题， 对制约实时性的各个因素进行了分析，并提出了改进算法。 全文共分六章，章节安排和主要内容如下： 第一章绪论，本章主要介绍了虚拟手术系统的研究背景及意义，国内外在虚拟手 术方面的研究现状以及虚拟手术系统的研究难点，和本文研究的主要内容。 第二章虚拟手术系统的结构与功能，本章主要从软件和硬件两方面对虚拟手术系 统的结构进行了介绍，同时对虚拟手术系统的功能也进行了阐述。 一一 东北大学硕士学位论文 整= 主壁垒 兰维建模与可视 第三章虚拟手术系统核心理论基础，本章主要从体数据的获取、 化、碰撞检测及形变计算几个方面进行了分析介绍。 第蹬章快速重建算法研究，本章首先介绍了光线投射算法和移动立方体算法的一 般理论，然后对影响该算法的实时性因素进行了分析，并提出一种加速算法，最后给出 实验结果。 第五章虚拟手术仿真平台的设计与实现，本章详细地介绍了虚拟手术仿真系统的 开发。主要包括系统的需求分析、系统的功能模块设计、系统的实现，最后展示了系统 的运行效果。 第六章总结与展望，本章总结了全文的研究工作，并对系统的进一步完善和未来 的研究方向进行了探讨。 6 东北大学硕士学位论文 第二章虚拟手术系统的结构与功能 第二章虚拟手术系统的结构与功能 2 1 引言 虚拟手术系统是虚拟现实技术与现代医学的结合。在虚拟环境中，用户通过虚拟工 具( 虚拟手术刀) 来改变虚拟场景中重建出来的对象状态。为了使用户获得沉浸感、真 实感，操作者的动作所引起模型的物理变化应该尽可能地反映真实人体组织的行为。另 外，虚拟手术系统的设计还需要在实时性和真实感之间做一折衷。本章主要从虚拟手术 系统的结构及功能两方面加以讨论。其中在虚拟手术系统结构上主要从硬件组成和软件 组成两方面来讨论。 i 1 0 图2 1 虚拟手术系统的结构功能图 f i g2 1t h es t r u c t u r ea n df u n c t i o no f v i r t u a ls u r g e r ys y s t e m 从图2 1 的虚拟手术系统功能结构图中，可以看出构成虚拟手术系统的几个主要功 能部件，及虚拟手术的工作模式。 东北大学硕士学位论文第二章虚拟手术系统的结构与功能 2 2 虚拟手术系统的结构 针对虚拟手术的特点，本文将从硬件和软件两个方面对虚拟手术系统进行阐述。 2 2 1 虚拟手术系统的硬件组成 总体上来说，虚拟手术系统主要由主计算机、实时交互设备、数据采集设备、手术设 备四部分组成。 ( 1 ) 主计算机 主计算机是系统的核心部分，主要提供图像预处理、可视化、碰撞检测、形变计算、 以及外部接口功能。 ( a ) 图像预处理主要完成滤除图像采集时由于设备的随机扰动所带来的噪声，从采 样设备获取的原始图像数据提取出特定的组织，还包括为了减少由于数据采集 时的序列图片间距过大，所进行的层间插值等操作。 ( b ) 建立真实感绘制所需的模型。如果采用面绘制方法，就需要抽取特定组织的表 面，建立相应的表面模型：如果采用直接体绘制方法，则需通过转换函数对体 数据赋予颜色、不透明度等信息。 ( c ) 碰撞检测主要功能是发现碰撞并对碰撞做出响应。如虚拟手术刀不能前进，或 人体的组织开始发生形变等。 ( d ) 形变计算主要是模拟在手术过程中，由于刀具与软组织接触、软组织问相互作 用产生碰撞所造成人体组织的形变。 ( e ) 外部接口主要完成和硬件进行通信及数据传输。 ( 2 ) 实时交互设备 主要包括虚拟手术的触觉反馈和视觉反馈设备以及虚拟手术刀的空间位置获取，其 目豹是增强用户在手术模拟中的沉浸感。用户的沉浸感取决于系统的实时性和真实感， 实时性有赖于系统的带宽，真实感则取决于几何模型、物理模型、计算模型和真实感绘 制。 ( 3 ) 数据采集设备 从c t 或m r i 设备获取c t 、m r i 数据或d i c o m 格式数据，然后转化为统一格式的 三维规则体数据矩阵。 ( 4 ) 手术设备 用户( 医生) 根据术前制定的手术计划，以及手术过程中的实时辅助设备，来对患者 东北大学硕士学位论文 第二章虚拟手术系统的结构与功能 进行病灶切除。 2 2 2 虚拟手术系统的软件组成 根据虚拟手术要实现的功能，本文将虚拟手术系统软件划分成数据获取、预处理、 可视化、碰撞检测、变形计算五个模块，其中模块构成及各模块间的关系如图2 2 所示。 c t i r i l 数据聚集 图2 2 虚拟手术系统的软件组成 f i g2 2t h es t r u c t u r eo f v i r t u a ls u r g e r ys y s t e m ( 1 ) 数据获取 从c t 或m 甜等设备获取一系列人体断层扫描数据。对于本仿真系统来说，数据获 取指从的数据库中读取指定的体数据到内存中，其支持d i c o m 、r a w 、i m 0 、b m p 、 j p e g 多种数据格式。 ( 2 ) 预处理 在医学图像的获取过程中，由于影像设备中各电子器件的随机扰动和周围环境的影 响，使图像多少含有噪声和失真。数据的预处理就是针对上述问题，要抑制噪声、增强 图像特征、提高信噪比。在不损坏图像轮廓及边缘等重要信息的前提下，尽可能多地滤 除噪声，使图像清晰，视觉效果好。 ( 3 ) 可视化 可视化是虚拟手术系统的研究基础，其后续工作是在可视化基础上来完成的。可视 化基本方法主要有两种：一种，先从医学图像中勾勒出轮廓，然后进行轮廓连接，用中 l 塾茎塑主芏垡堕查 苎三主垒垫量查墨竺塑丝塑量兰堂 间几何图元来近似地表示重建出来的物体；另一种，对体数据密度值映射上颜色和阻光 度，然后用光线投射合成最终的显示图像，这种方面不会生成中间的近似几何元。生成 对象的几何模型后，所得到的只是点、线、面的集合，简单的绘制不能实现对象的真实 感要求，需采用光照模型绘制出重建出来的结果。 ( 4 ) 碰撞检测 在虚拟现实和仿真等领域中，碰撞是一个基本而关键的研究课题。精确的碰撞检测 对提高虚拟环境的真实感和沉浸感有着至关重要的作用。在虚拟手术系统中，软组织变 形是由于操作者的手术器械和软组织接触所引起的。碰撞检测的加入才能使后续的变形 计算成为可能，碰撞检测的结果是对几何模型实施变形计算或进行切割等操作的控制参 数。 ( 5 ) 变形计算 变形计算是基于物理模型和计算模型的结果。融合了物理模型所定义的对象物理属 性的计算模型可以计算出几何模型在外力作用下的形变和应力。变形计算不但是影响系 统真实感的一项关键因素，也是制约虚拟手术实时性的一个瓶颈问题。 2 3 虚拟手术系统的功能 为了有效地对虚拟手术系统进行有层次的管理，使用户了解虚拟手术系统的功能， 本文采用了图2 0 1 所示的一种组合设计思想，即在不同的组合模式下，系统能实现不同 的功能，用户可以使用该系统进行三模型下的手术工作。 模式一：虚拟环境下的手术模式 在该模式下的虚拟手术系统，利用医学影像数据，在通过主计算机熏建出来的虚拟 人体上进行病灶观察、术前规划、手术训练等。 模式二：真实手术模式 在该模式下，用户不借助任何虚拟环境的辅助信息，直接对病人进行手术。 模式三：术中导引模式 在该模式下，手术前系统根据获得的可视化数据信息熏建出虚拟人体模型，利用体 视化分析与识别技术确定病变区域并规划出手术路径。而实际手术中，由于切割和挤压 变形或较大体积的病变被切除会造成影像的漂移，使之与术前影像之间产生偏差，会影响 到术中病变定位的准确性、病变切除的完整性。为了改善这种状况，手术中数据采集设 备将实时地提供给主计算机图像信息，系统将动态监测并消除影像漂移造成的误差，实 查苎查堂塑主兰堡垒查 苎三主垒垫查墨丝塑丝塑鱼兰堂 时反馈手术中器械到达的位置和病变切除情况，引导医生进行手术。 2 4 小结 本章详尽地介绍了虚拟手术系统的结构与功能。在硬件上主要从主计算机、实时交 互设备、数据采集设备、手术设备四大部分来分别介绍。在软件上根据虚拟手术要实现 的功能，本文将虚拟手术系统软件划分成数据获取、预处理、可视化、碰撞检测、变形 计算五个模块。在文中采用一种组合的思想，对虚拟手术系统进行了不同模式下的结构 与功能设计，在不同的硬件组成条件下，虚拟手术系统可以对应地在不同模式下进行工 作。 东北大学硕士学位论文 第三章虚拟手术系统的核心理论基础 第三章虚拟手术系统的核心理论基础 3 1 引言 本章是虚拟手术仿真平台开发的理论基础，虚拟手术仿真平台实现依赖于本章所介 绍的各个核心理论，同时本章所介绍的理论对虚拟手术仿真平台的实现效果，无论是从 实时性上还是从真实感上都会产生很大影响。所以弄清本章的各项核心技术，及其优缺 点是很必要的。 本章主要从数据格式及数据预处理、几何建模型、碰撞检测及形交计算四个大的方 面来介绍。为了解决不同医学设备之间、不同软件开发商开发的医学软件之间信息交换 问题，文中首先介绍d i c o m 标准1 1 3 , 1 4 】，这也是本仿真平台所实现的功能之一，同时也 介绍了r a w 等多种其它数据格式。接着对得到的数据进行预处理，以增强后续可视化 效果。在可视化部分主要从面绘制、体绘制两个方面来介绍，并分析了各种方法的特点。 本章最后概述了碰撞检测及变形计算中常用的计算方法。 3 2 体数据格式及其预处理 c t 、m r i 和p e t 的发展，医生已经可以较易获得病人有关部位的数据。c t 打破传 统的胶片感光成像模式，通过计算机重构人体器官或组织的图像，使医学图像从二维走 向三维，使人们从人体外部可以看到内部。磁共振成像系统在恒定磁场的基础上，通过 施加一定的线性梯度磁场，由发射射频脉冲激发成像物体产生共振信号，再通过接收电 路将这些信号变成数字信号。p e t 把核技术与计算机技术结合起来。经核素标记的示踪 剂注入人体后，核素衰变过程中产生的正电子湮灭通过电子检测和计算机重构成像，可 以得到人体代谢或功能图像。 3 2 1 体数据格式 ( 1 ) d i c o m 3 0 2 0 世纪8 0 年代以来，为了利用网络在不同设备和医疗诊断系统之间交换图像数据 和诊断信息，国外开始制定专门针对医学信息通信的协议。1 9 8 3 年，美国放射学会 ( a m e r i c a nm a n u f a c t u r e r sa s s o c i a t i o n ，n e m a ) 成立了一个联合委员会开发相关标准，并 于1 9 8 5 年发布了a c r - n e m a 标准。目前，a c r - n e m a 标准已经演变成为 d i c o m 3 o ( d i g i t a li m a g i n ga n dc o m m u n i c a t i o ni nm e d i c i n e ) 标准。现在，各个厂家的医疗 东北大学硕士学位论文 第三章虚拟手术系统的核心理论基础 仪器和医学诊断系统都已经开始使用国际化的通信和数据格式标准d i c o m 3 0 。d i c o m 标准的出现解决了不同厂家设备的互连问题，同时为远程医学应用提供了基础。d i c o m 文件格式主要为： d i c o m 文件数据包括有前后两部分构成：信息文件头和影像数据。信息文件头开 始一般为1 2 8 字节的开场自全部设为0 ，后可跟4 个字节的d i c o m 前缀“d i c m ”，其 次是按标记字段由小到大顺序排列的数据元素，其存储了与标记字段对应的相关信息。 标记字段由两个字节组号和两个字节的元素号麸同构成，盘n ( o 0 0 8 ，0 0 0 6 ) 。 在d i c o m 标准中，数据集合( d a t as e t ) 表示现实世界信息对象的一个实例。数据集 合由数据元素( d a t ae l e m e n t s ) 组成。数据元索包括对该对象取值和属性的编码。根据数 据元素是否必须出现，其分为以下几种类型： 第1 类必须的数据元素 1 c 类有条件的数据元素 第2 类必须的数据元素 2 c 类有条件的数据元素 第3 类可选的数据元素 按照组号的奇偶，数据元素又分为标准数据元素和私有数据元素，标准数据元素的 组号为偶，但不包括0 0 0 0 ，0 0 0 2 ，0 0 0 4 ，0 0 0 6 。私有数据元素的组号为奇，但不包括 0 0 0 1 ，0 0 0 3 ，0 0 0 5 ，0 0 0 7 。 数据集合和数据元素的结构如图3 1 所示。 图3 1d i c o m 数据集合与数据元素的结构 f i g3 1t h es t r u c t u r eo f d i c o m r e c o r d s e ta n de l e m e n t s 从图3 1 可以知道，数据元素由3 个或4 个字段组成。其中3 个字段即：标记字段、 值长度字段和值字段是每个数据元素所必须包括的。另一个字段即值表述字8 ( v a l u e 东北大学硕士学位论文 第三章虚拟手术系统的核曾理论基咄 r e p r e s e n t a t i o n ：v r ) 为可选的，v r 定义了数据值域( v a l u ef i e l d ) 的类型和格式。v r 的类 型很多，总体上可分为字符串、整型浮点型。如数据元素包含v r 域，称为显式v r ( e x p l i c i t v r ) ，否则叫隐式v r ( i m p l i e i t v r ) 。下面的表3 1 给出了使用显式值表述时的数据结构， 表3 2 给出了使用隐式值表述时的数据结构。 表3 1 显式值表述时数据元素的结构 t a b l e3 1 t h es t r u c t u r e o f d a m e l e m e n t s f o r e x p l i c i t v a l u er e p r e s e n t a t i o n 标记( t a g )值表述( v r )值长度( 1 ，l )值( v a l u e ) 组号元素号 “o b ” 保留3 2 位无符号偶数字节长、根据 1 6 位无1 6 位无 “0 w ” 2 字节整数v r 和网络传输协 符号整符号整“s q ”4 字节议编码的数据元 数数 “u n ” 素的值。如果长度 未定，需序列分界