（生物医学工程专业论文）心血管手术规划模型雕塑研究.pdf

北京工业大学工学硕士学位论文 a bs t r a c t c a r d i o v a s c u l a rd i s e a s eo f t e nb r i n g ss i g n i f i c a n th a r mt oh u m a n sh e a l t hb e c a u s e o fi t sm g hm o r t a l i t ya n dt h e r e f o r ep r e v e n t i o n ，d i a g n o s i sa n dt r e a t m e n th a sr o u s e d p e o p l e sg r e a t e s ta t t e n t i o n w i t ht h ed e v e l o p m e n to fm o d e mm e d i c a lt e c h n o l o g y , t r e a t m e n tt e c h n o l o g yo fc a r d i o v a s c u l a rh a sa d v a n c e dal o t h o w e v e r , i ti si n e v i t a b l e t h a tt h es e l e c t i o np r o c e s so fs u r g i c a lm e t h o d sh a sb e e nb e c o m i n gm o r ea n dm o r e c o m p l e x ，s op r e - s u r g i c a lp l a n n i n go fc a r d i o v a s c u l a rs u r g e r yi sr e a l l yi n d i s p e n s a b l e c a r d i o - s u r g i c a lp l a n n i n gi st h ep r e o p e r a t i o ne v a l u a t i o no ft h es u r g i c a lo u t c o m e t h r e es t e p sw e r ei n c l u d e di nas u r g e r yp l a n ：f i r s t ，as e r i e so fi m a g e so fp a t i e n t s l e s i o n sp a r t sw a sg a i n e da n dt h e3 - dm o d e lw a s r e c o n s t r u c t e d ；s e c o n d ，t h em o d e lw a s s c u l p t u r e da c c o r d i n gt os u r g i c a lo p e r a t i o ni nv i r t u a le n v i r o n m e n t ；t h i r d ，h e m o d y n a m i c e f f e c t so ft h e o p e r a t i o nr e s u l tw e r ea n a l y z e d a m o n ga l ls u r g i c a lo p e r a t i o n s ， e s p e c i a l l yi nc a r d i o v a s c u l a rs u r g e r y , t h em o d e lw i l lb er e s c u l p t u r e di nal o to f c l a s s i c a lo p e r a t i o n s o u rg r o u ph a ss t u d i e di n3 dr e c o n s t r u c t i o na n dh e m o d y n a m i c a n a l y s i s ，t h u sm o d e ls c u l p t u r ei nc a r d i o v a s c u l a rs u r g i c a lp l a n n i n gw i l lb es t u d i e di n t h i sp a p e r m o d e ls c u l p t u r eb a s e do nh a p t i cd e v i c ef o rc a r d i o v a s c u l a rs u r g i c a lp l a n n i n gw a s s t u d i e di n t h i sr e s e a r c h f i r s t l y , t h r o u g ha n a l y z i n ga n dd i s p l a y i n gt h es t r u c t u r e so f m o d e l ，av i s u a ls i m u l a t i o ne n v i r o n m e n tw a sc o n s t r u c t e d s e c o n d l y , o p e r a t i o n so f m o d e lw i t hh a p t i cd e v i c ew e r es t u d i e d i nt h i sp a r t 。c o l l i s i o nd e t e c t i o nb a s e do nb s p t r e e ，s i m p l eg e s t u r e s ，s u c ha sg r a b ，w a r p ，a n db e n dw e r ed i s c u s s e d f i n a l l y , t h e o p e r a t i o no fb l o o dv e s s e lb y p a s sw a ss i m u l a t e d ac a r d i o v a s c u l a rv e s s e l sm o d e lw a s i m p o r t e dt ot h i ss y s t e ma n dam o d e lo fb y p a s sv e s s e lw a sc o n s t r u c t e d - t h e nt h e b y p a s sm o d e lw a ss c u l p t e dw i t hb e n do p e r a t i o na n dg r a b b e dt or e a s o n a b l ep o s i t i o no n t h ec a r d i o v a s c u l a rv e s s e l sm o d e l l a s t l y , t h r o u g hb o o l e a no p e r a t i o n ，a ni n t e g r a t e d m o d e lo fr e - - s c u l p t u r e d b y p a s s a n d r e - - s c u l p t u r e d c a r d i o v a s c u l a rv e s s e l sw e r e e x p o r t e d t h i sp a p e ri sa p r e l i m i n a r ys t u d yo nm o d e ls c u l p t u r ef o rc a r d i o v a s c u l a rs u r g e r y p l a n n i n g ，i nw h i c hg e o m e t r i c a ls c u l p t u r eb a s e do nh a p t i cd e v i c ew a sd i s c u s s e da n d r e a l i z e d t h i sr e s e a r c he s t a b l i s h e dab a s i so fs t u d yo ns i m u l a t i n gc o m p l e xs u r g i c a l o p e r a t i o n sa n dm e c h a n i c a lc h a r a c t e r i s t i c si n v o l v e dc a r d i o v a s c u l a rs u r g i c a lp l a n n i n g k e y w o r d ss u r g i c a lp l a n n i n g ；m o d e ls c u l p t u r e ；h a p t i c ；v i r t u a lr e a l i t y i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：墨塑日期：至q q 窆生垒目 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 第1 章绪论 第1 章绪论 1 1 本课题的研究背景及意义 心血管疾病是危害人类健康的严重疾病，其死亡率居各类死亡原因之首，因 此心血管疾病的预防、诊断和治疗已经成为当今世界关注的重点，也是各种研究 的热点所在。现代医学的发展将成像技术、外科手术和药理学治疗方案引入心血 管疾病的诊断和治疗，医疗技术有了很大的进步，治疗的方法也有了更大的选择 余地，仅就冠心病而言，根据病情的不同就有手术搭桥、支架式介入治疗、药物 及基因治疗等多种治疗反感。然而，心血管疾病治疗方法选择范围的扩大以及病 理特征的不断变化，也导致了治疗方案决策过程的复杂化。目前，这一决策过程 仍主要依靠医生的临床经验，即根据以往病例的治疗状况来评估当前病人的治疗 效果，从而规划手术方案，选择治疗方法，缺乏了对当前病人特定情况的准确分 析和疗效预测。由于上述情况的出现，外科手术规划与治疗决策在现代医学的心 血管手术治疗中发挥着越来越重要、有时甚至是不可替代的作用，如动脉粥样硬 化病灶性的血流动力学仿真等。特别地，随着现代高性能计算技术的发展，大规 模、高精度的生物力学仿真更是在临床医学中展示出了前所未有的发展前景。 在心血管手术的很多手术方式中，如介入治疗、手术搭桥等，血液在血管内 流动的血流动力学因素都对治疗的效果以及后期的并发症有着很大的影响。血流 动力学因素对心血管疾病的影响主要体现在以下两方面，一是因为血管的血流动 力学因素与血管内膜加厚、内皮细胞损伤、内膜平滑肌细胞增生、粥样硬化斑块 形成等有着密切关系；二是血流动力学因素对血管的几何形状强烈敏感，即即使 血管的几何形状产生微小的变化，血流动力学因素也会产生明显的差异，从而对 患者产生严重的影响。例如，f o n t a n 手术中的全腔肺动脉吻合术，手术前后血 管中的血流动力学参数变化非常显著，甚至很多患者都在这一手术步骤之后失去 生命。因此，在手术规划、评估的过程中，应当充分地考虑血流动力学因素对 手术效果和长期有效性的影响。 正因为血流动力学因素与心血管疾病治疗的效果以及长期有效性密切相关， 所以在手术规划决策过程中，引入计算机流体力学( c f d ，c o m p u t a t i o n a lf l u i d d y n a m i c s ) 的方法对治疗方案可能产生的血流动力学因素进行预测就显得尤其重 要。因此，血流动力学数值模拟就成为心血管手术规划的最终步骤。然而，血流 动力学的数值模拟是基于虚拟心血管模型而存在的，即需要建立各种虚拟的手术 规划模型，以对不同类型的手术或术式进行比较与优化。典型的心血管手术，如 血管搭桥手术或在血管中介入血管支架来扩大管腔等，都会改变血管的几何形 态，这就需要用于心血管手术规划的模型具有“再塑性”，以模拟术后血管的几 北京工业大学工学硕士学位论文 何形状。本课题的研究目标就是建立一个基于力觉反馈的，可以对解剖真实的心 血管模型进行“雕塑”的软件系统。 1 2 心血管手术规划的研究现状 长期以来，研究人员早已认识到基于血流动力学心血管手术规划的重要性， 也进行了大量的相关研究。所谓手术规划，即是指手术前，获并进行三维重建得 到病灶处的三维模型，结合医生的解剖学和病理学知识，依照手术方式操作三维 模型，最后对术后模型进行血流动力学分析，评估手术效果。由此可见，手术规 划包含医学图像的获取、三维重建和血流动力学分析三个主要步骤。 医学图像的获取和三维重建都依赖于医学影像技术的发展。近年来，医学成 像技术的发展使得医学影像分辨率更高，成像效果更好，同时也推进了三维重建， 即医学影像三维可视化的发展。三维可视化模型能够形象逼真地反映人体器官的 解剖结构，能够进行动态旋转观察、任意剖面显示等。为了达到三维可视化的要 求，目前应用的图像数据建立三维可视化模型的方法大体分为两类：面绘制 ( s u r f a c e b a s e dr e n d e r i n g ) 和体绘制( v o x e l b a s e dv o l u m er e n d e r i n g ) 。面绘制最 大的特点是采用曲面造型技术，生成数据场等值面的曲面表示，再采用面光照模 型计算绘制图像。面绘制的缺点是在分割过程中许多三维数据场中的细节信息被 丢失，结果的保真性较差。体绘制直接研究光线穿过三维物体数据场时的变化， 得到最终的绘制结果。体绘制的这种直接性，非常符合人的视觉过程，保留了大 量的细节信息，提高了图像的保真度【2 】。 针对心血管手术所需的心脏模型而言，其解剖和生理上的复杂性与特殊性决 定了建立三维模型的难度。由于受早期的图片分辨率、断层厚度等限制，建立的 心脏及其血管模型往往不够完整。可视人研究( v 职，v i s i b l eh u m a nr e s e a r c h ) 的提出，在一定程度上解决了这一问题。可视人研究是为了满足医学、运动学、 工业等多领域对于数字化可视人的要求而提出的。1 9 8 7 年，美国国家医学图书 馆( n h l ) 的长期计划首次将可视人研究提上日程【3 j ，称v h p ( v i s i b l eh u m a n p r o j e c t ) ，并于1 9 9 6 年建立了包括c t 、m 和数字图片美国男性和女性可视人 数据库，图像的分辨率和断层厚度都有了长足的进步。作为v h r 的开端，v h p 推动了其他国家可视人研究的发展。此后，中国和韩国的科研工作者分别于2 0 0 3 年、2 0 0 5 年建立了中国可视人( c v h ) 数据库和韩国可视人( v k h ) 数据库【4 j ， 且l iq y t 5 1 、q i u l 6 和郭燕丽j 等人依据c v h 数据库建立了相应的三维模型，如 图1 1 所示。 医学影像学和三维可视化的发展为基于解剖真实模型的手术规划提供了基 础，也促进了血流动力学分析的发展。早期的血流动力学研究受到影像学的限制， 并不是真正面向个性手术规划，而是相对较为理论的数值模拟。这一阶段的研究 第1 2 绪论 对象主要是动脉粥样硬化的瘸灶部位，用于血流动力学数值模拟的虚拟模型是基 于c a d 的理想化模型，研究内容也集中于从统计平均的角度研究血流动力学因 素( 如蹙面切应力) 与血管疾病特别是动脉粥样硬化之间的关系。这一阶段的研 究中，对模型的“再塑”是通过c a d 的方法来实现的，一方面对模型的变形难 以处理。另一方面构造的模型也过于“生硬州w 。 图1 - 1 基于c v h 的重建模型示例 f kl - 1e x a m p l e so f 3 dr e c o t l s t r a e t e do r g a n so r 自m b a s e do f t t h e c v h 血 a s e t 随着医学影像学和可视化的发展，血流动力学分析也进入了基于医学图像的 个性化( p a t i e m - s p e c i f i c ) 血流动力学数值模拟阶段，研究内容则偏重于预测特 定个体的血流动力学因素，产生了基于医学影像的手术引导和规划。事实上，在 基于医学图像的心血管手术规划开始发展以前，已经被应用在神经外科、脊柱手 术、整型外科等很多领域“1 “，而后才逐渐被应用于心血管手术系统。在这一阶 段，s t a n f o r d 大学的c h a r l e s a t a y l o r 建成了世界上第一个虚拟血管系统实验室， 其实质就是一个数值计算平台。在这一平台上，t a y l o r 等人尝试研究了基于m r 的主髂动脉闭塞症血流动力学手术规划i l 引”。此外，类似的还有p e r k t o l dk 等人 对冠状动脉疾病”1 以及m i g l i a v a c e a 等人对先天性心脏病l 6 1 1 的研究。 目前，心血管手术规划已经开始步入第三阶段。这一阶段心血管外科手术规 划是完全面向医学临床应用的。作为第二阶段的进一步发展。要求血流动力学数 北京工业大学工学硕士学位论文 值模拟的虚拟模型必须是解剖和生理真实的，即“血液流动虚拟现实”，是基于 血流动力学数值模拟的血管手术规划的最新发展方向。这一阶段，国内外都展开 了大量的研究，如d i a b ea 等人根据m r 图像建立三维模型，并模拟t c p c 手 术后模型结果，并通过实验和数值模拟两种方法来评估手术效果“”】。q is u n 等 人利用c t 图像的重建模型对双向肺动脉与上下腔静脉吻合术的手术效果进行探 讨 j 9 l 。最新的研究成果如s o r e n s e n t s 等人o o 】和k e r v m p e l d c a n 等人嘲的手术规划 系统中，都己包含了对解剖真实的心血管模型进行“再塑”，以模拟手术步骤， 预测手术结果的研究。如图1 - 2 ，1 - 3 所示。 p h i - 2 基于两个p b 蚰t o m o m m 的手术模拟 f i 9 1 也s u 哂c a ls h n u m h o n 椭t w o p h a n t o m o m 帕d e v i c e s 茶知 圈国瞎! 宅醣 雷l o 狭窄血管加宽补片术和冠状动脉搭桥术 尉目1 3 d i l a t i o n o f r p a l p a b r a n c hs t e n o s i s a n d c o r o l l a r y a r t c r y b y p a s s 虽然国外已有将力反馈器用于心血管手术规划模型雕塑的研究报道，但国内 还未见此类报道，因此本文研究基于力反馈器的心血管手术规划模型雕塑。 1 3 基于力觉反馈的虚拟现实系统研究现状 随着计算机图形硬件和软件的发展，计算机仿真的逼真度越来越高。视觉是 人类获取信息的主要渠道，因此，早期的计算机仿真研究主要集中在三维图形仿 真技术研究，即研究如何惟妙惟肖地构建一个逼真的视觉场景【2 l 】。医学应用方面， 研究人员通过各种各样的方式来实现视觉仿真，包括视频( 如内窥镜和腹腔镜手 术模拟) ，m r i 和c t 的体数据重建等等【丑】。然而，对人类获取信息能力的研究 第l 章绪论 表明，力触觉是除视觉之外最重要的感觉。2 0 0 2 年m a r c0e r n s t 在 n a t u r e ) ) 中指出，人的视觉偏差直接依赖于力触觉信息的修正【2 3 ，2 4 o 因此，近年来伴随 着力触觉设备的迅速发展，其在各种计算机仿真系统中的应用也成为了研究的 热点。目前，一些仿真系统已经包含了力觉反馈来给操作者提供一个不仅“看得 见”而且“摸的着”的虚拟环境。近两年发布的电子游戏半条命2 和f a r c r yi n s t i n c t s 就已经包含了基于力反馈的刚体和流体仿真【2 5 1 。力反馈的应用大大加强了系统的 人机交互水平，n o g u c h i 等人将其应用于电磁学教学【2 6 l 、b a x t e r 等人将其应用于 电脑绘图 2 7 】以及v i d h o l m 等人将其用于图像分割口8 都取得了很好的效果。 医学研究方面，人们也已经不满足于医学图像的三维可视化，而是越来越多 地将力反馈其应用于手术教学、培训、诊断、术前计划、康复和手术器械的建模 和分析中。虚拟现实( v i r t u a lr e a l i t y ) 技术使得外科医生可以灵活地与仿真环境 进行交互，获得听觉、视觉以及触觉的反馈，而不对真实的病人造成任何伤害【2 9 】。 早期的手术仿真主要集中于内窥镜和腹腔镜手术，结构和步骤的复杂性都受到严 重限制 3 0 1 。而后随着计算机水平和力觉反馈装置的进步，力觉反馈开始被广泛应 用到各个其他科室。2 0 0 2 年，w a g n e r 等人开发了基于力反馈视网膜手术训练系 统 3 ；2 0 0 5 年，w e b s t e r 等人又将力反馈应用于白内障手术中的撕囊术过程的仿 真中【3 2 】。2 0 0 6 年，g a n gs o n g 等人提出了基于力反馈的远程康复系统【3 3 】。此外， 应用于骨科、心脏外科等很多科室的手术仿真、训练也不断取得进展m3 4 1 。国内 同样有很多这一领域的研究成果，台湾中原大学蔡明达等人2 0 0 5 年在原有的骨 科整形手术仿真系统基础上，增加了提供力觉反馈的骨组织钻孔模拟，用户可以 通过力反馈器感觉到虚拟手术器械接触到骨头的感觉【”】；北京航空航天大学的张 玉茹、王党校等人，提出了牙齿切割模型的建立和变形分析方法f 3 州，最近又应用 双通道触觉交互系统，研究了齿科手术中工具问交互受力的情况【3 7 1 。 目前，国内对于利用力反馈装置进行模型雕塑的研究较少，特别是对复杂的 心血管手术模型进行“再塑”，并将其应用于心血管手术规划的研究还不多见。 1 4 本文主要研究内容 本课题旨在建立一个基于力反馈装置的模型雕塑平台，并初步实现对心血管 手术中手术步骤的模拟，具体研究内容包括： 1 模型的可视化 模型的输入是可视化的第一步。输入接口研究了常用的两种三维表面模 型格式，其一是由a m i r a 软件输出的h y p e r s u r f a c e 文件，其二是在工业和医疗行 业都广泛应用的s t l 文件。研究的内容包括对文件的解析、拓扑重构和数据结 构的设计等等。 调用o p e n g l t m 函数库的对模型进行视觉渲染，与力反馈开发包 北京工业大学工学硕士学位论文 o p e n h a p t i c st o o l k i t 配合实现力觉渲染。 2 力觉反馈装置的研究 本文所述系统的主要特点即是基于力反馈装置的研究，因此力觉反馈的引入 是本文的重要研究内容之一，实现模型的“可触化”。 o p e n h a p t i c s 是与力反馈装置相配套的开发包，是实现力觉反馈的编程基 础。通过调用o p e n h a p t i c st o o l k k 中的函数对力觉反馈环境进行设置，并给予视 觉渲染实现对模型的力觉渲染。 通过设置相应的回调函数，实现力反馈装置对视景中模型的操作。非形 变操作可以替代鼠标实现对模型的拖拽、平移、缩放等功能；形变操作则可以实 现对模型的表面的修改，如沿轴向的拉伸、绕轴向的扭转等。 3 搭桥血管的建立 血管搭桥是心血管手术中一种常见的手术方式，因此也是本文的研究内容之 一o 通过相应的数学函数，建立由规则三角网格组成的可调节直径等参数的 理想血管模型，并在血管模型的两端和中心点建立3 个控制点，作为后续血管形 变的控制点。 由力反馈装置对3 个控制点进行操作，应用二次b e z i e r 曲线模型实现对 血管的弯曲、扭转变换。 采用力反馈器对模型的非形变操作对血管模型进行平移，并通过b o o l e a n 运算得到搭桥后的模型，进行输出。 1 5 本文结构 第1 章，概述了手术仿真规划，特别是心血管手术规划的意义，并着重介绍 了手术规划中基于力反馈装置的模型雕塑平台的作用及意义，以及国内外基于力 觉反馈的模型雕塑的研究现状，介绍了本文的主要研究内容。 第2 章，简要介绍了系统的总体结构，从视觉反馈、力觉反馈两方面进行了 叙述。视觉反馈主要概述了o p e n g l 函数库及其在本系统中的设置；力觉反馈从 系统所采用的p h a n t o mo m n i 力觉反馈设备以及与之配套的软件开发包 o p e n h a p t i c st o o l k i t 两方面做了介绍，为实现软件开发系统中图像处理和可视化 算法打下基础。此外本章介绍了软件系统的基本功能，并详细阐述了其中表面 模型的输入及显示功能和鼠标对模型的简单操作。其中模型的输入和显示包括对 h y p e r s u r f a c e 模型和s t l 模型的文件解析，以及对两种文件格式的拓扑重构，并 统一于系统设计的输入接口数据结构。 第3 章，主要介绍了力反馈装置对模型的基本操作，包括碰撞检测、非形变 操作和形变操作。碰撞检测是实现力反馈装置对虚拟模型操作的第一步，也是首 要步骤。非形变操作阐述了通过力反馈装置对模型实现拖拽、旋转等动作，而形 第1 蕈绪论 _i i i l l 变操作则详述了基于轴向的拉伸和围绕轴向的扭转两种基本的手术操作。 第4 章，详述了对模型进行血管搭桥的功能实现，由血管模型的建立、基于 b e z i e r 曲线的血管形变以及模型的布尔运算三部分组成。本章对b e z i e r 曲线、 m o l l e r 算法等做了较为详细的探讨，并阐述了算法的软件实现流程。最后，利用 本系统，对a m i r a 软件输出的心脏模型，进行的f o n t a n 手术中第二阶段的血管 搭桥的手术模拟，验证软件功能。 最后对全文做出总结和展望。 一9 一 第2 章 系统总体结构 第2 章系统总体结构及基本功能 作为基于力反馈器的模型雕塑平台，本系统由软件系统和硬件系统两部分构 成，同时其软件部分又包含视觉反馈和力觉反馈两部分。本章即分别从软、硬件 系统，视、力觉反馈几方面对系统结构做一介绍。同时，本章还将大致阐述系统 的基本功能，如模型的输入和显示、鼠标对模型的操作等。 2 1 软件系统的开发环境 2 1 1 软件系统的总体结构 本系统由p c 机和力反馈器两个硬件装置组成，与之相应的软件系统，由视 觉反馈接口。图形显示部分和力觉反馈接口3 部分组成，如图2 1 所示。 p c 机 - - 一 基于p h a n t o mo m n i 的基于o p e n g l 的 - - - 一 视觉反馈接口- - +力觉反馈接口 图2 1 系统架构 f i g 2 - 1a r c h i t e c t u r eo f t h es y s t e m ( 1 ) 基于o p e n g l t m 的视觉反馈接口：该接口用于接收p c 机传出的各种模型 形态变化，进行坐标变换等操作，并最终将模型的形态显示在p c 机上，使用户 得到一个看起来真实的环境。 ( 2 ) p c 机：p c 机既是系统显示的终端，又是整个系统的中介。一方面，p c 机向视觉反馈接口发出模型的变化信息，使用户获得视觉反馈；另一方面，p c 机与力反馈器进行交互，实现力触觉反馈。 ( 3 ) 基于p h a n t o mo m n i 的力觉反馈接口：与视觉反馈接口不同，力觉反馈接 口与p c 机之间是双向交互的信息传递。一方面，通过力反馈器的位置、状态， p c 机采集操作者的动作，判断其对模型的不同操作模式；另一方面，力反馈器 也接收经过计算后由p c 机发出的信息，将虚拟力施加到操作者，从而在触觉上 逼近真实环境。 2 1 2 硬件配置 本建模平台的硬件开发环境为i m e l ( r ) c o r e ( t m ) 2d u o3 0 0 g h z 的c p u ，配 备3 0 0 g 内存和2 5 0 g 硬盘，1 9 英寸高分辨率彩色显示器( 支持1 4 4 0 x 1 2 0 0 显示 分辨率、3 2 位真彩色) 。大内存和海量的硬盘存储空间对于医学对象可视化和系 统建模是不可或缺的，宽大的显示范围和较高的显示分辨率有助于获得更为清 晰、细节更为丰富的3 d 图像，便于临床医生根据图像进行高质量的检查和诊断。 建模系统运行的目标配置为i n t e lp e n t i u mi v2 o g h z 的c p u ，配备2 g 内存 和1 2 0 g 硬盘，2 1 英寸高分辨率彩色显示器( 支持1 9 2 0 9 0 0 显示分辨率、3 2 位 北京工业大学工学硕士学位论文 真彩色) 。由于系统处理的对象为3 d 模型，包含大量的图像数据，并需要进行 较为复杂的计算，因此要求目标配置具有大内存及较高的c p u 速度，以及较好 的显示分辨率。 硬件配置中的力反馈装置p h a n t o mo m n i 将在2 3 节中进行详细介绍。 2 1 3 软件配置 2 1 3 1 操作系统 建模系统基于m i c r o s o f tw i n d o w sx p 技术实现，可以运行于w i n d o w s2 0 0 0 系列和w i n d o w sx p 操作系统上。基于w i n d o w sx p 技术的建模平台系统充分利 用了全3 2 位处理能力、方便的线性内存地址、受保护的虚拟地址空间以及真实 可靠的多任务机制。此外，w i n d o w s 系统是目前应用最为广泛的操作系统，为用 户提供了友好的图形用户界面，使得用户与程序之间的交互操作更为方便有效， 也保证了用户能够较快地熟悉本建模系统。 2 1 3 2 开发工具 建模系统在m i c r o s o f tv i s u a ls t u d i o2 0 0 5 平台下开发，采用v c + + 2 0 0 5 编译 器，该集成开发环境( i d e ) 提供了面向对象的开发方式和可视化的开发工具，极 大地提高了软件开发的效率。v c + + 最主要的特征是提供了m f c 类库，封装了 w i n d o w sa p i 接口函数，充分利用类的继承性、封装性、多态性，可以方便地设 计自己需要的类，也方便以后功能的升级和软件复用，开发时利用v c + + 的应用 程序生成向导功能可以很容易的生成基于对话框、s d i 或m d i 应用程序框架， 使得开发者能将主要精力集中在所要解决的具体问题上。此外，建模系统的视觉 反馈依靠o p e n g l t m 函数库实现，其具体功能将在2 2 中描述。 2 2 视觉反馈系统 2 2 1 o p e n g l t m 介绍 o p e n g l t m ( o p e ng r a p h i c sl i b r a r y ) 是图形图像行业领域中应用最为广泛的 2 d 3 d 图形a p i ，是一个定义了一个跨编程语言、跨平台的编程接口的规格，它 用于三维图象( 二维的亦可) 的显示、描述、形变等等。从诞生至今，o p e n g l t m 已经催生了各种计算机平台及设备上的数千优秀应用程序。o p e n g l t m 是独立于 视窗操作系统或其它操作系统的，亦是网络透明的。在众多行业领域中，例如 c a d 、内容创作、能源、娱乐、游戏开发、制造业、制药业及虚拟现实等等， o p e n g l t m 已经帮助程序员实现了在p c 机、工作站、超级计算机等硬件设备上 的高性能、极具冲击力的高视觉表现力图形处理软件的开发。 作为一个专业的图形程序接口，o p e n g l t m 是个功能强大，调用方便的底 层图形库，其前身是s g i 公司为其图形工作站开发的i r i sg l 。i r i sg l 是一个 工业标准的3 d 图形软件接口，功能虽然强大但是移植性不好，因此s g i 公司便 第2 覃系统总体结构 i l l i i i i _ ii i i ! ! ! 曼! 曼! 曼曼曼! ! 曼曼! 曼曼 在i r i sg l 的基础上开发了o p e n g l t m 。o p e n g l t m 还是与硬件无关的软件接口， 可以在不同的平台如w i n d o w s9 5 、w i n d o w sn t 、u n i x 、l i n u x 、m a c o s 、o s 2 之间进行移植。因此，支持o p e n g l r m 的软件具有很好的移植性，可以获得非常 广泛的应用。由于o p e n g l t m 是图形的底层图形库，没有提供几何实体图元，不 能直接用以描述场景。但是，通过一些转换程序，可以很方便地将a u t o c a d 、 3 d s 3 d s m a x 等3 d 图形设计软件制作的d x f 和3 d s 模型文件转换成 o p e n g l t m 的顶点数组。o p e n g l t m i 拘英文全称是“o p e ng r a p h i c sl i b r a r y ”，顾名 思义，o p e n g l t m 便是“开放的图形程序接口”。虽然d i r e c t x 在家用市场全面领先， 但在专业高端绘图领域，o p e n g l t m 仍具有独特的优势，占有不可替代的地位， 被众多研究人员采用。 当o p e n g l t m 对场景中的图像进行渲染时所执行的主要操作有【3 8 】： ( 1 ) 根据几何图元创建形状，从而建立物体的数学描述。 ( 2 ) 在三维空间中排列物体，并选择观察复合场景的有利视角。 ( 3 ) 计算所有物体的颜色。颜色可以是由应用程序明确指定的，也可以是根据特 定的光照条件所确定的，或者是通过把纹理贴到物体的表面而获得的，或者 是上述三种操作的混合产物。本系统中即是由明确指定的颜色和光照组合而 成的。 ( 4 ) 把物体的数学描述以及与物体相关的颜色信息转换为屏幕上的像素。这个过 程称为光栅化( r a s t e r i z a t i o n ) 。 2 。2 2 系统o p e n g l t m 设置 为了在程序的视景中显示由o p e n g l t m 函数绘制的模型，首先就需要对 o p e n g l t m 进行设置，完成初始化。 2 2 2 1 像素初始化及定义 像素格式是o p e n g l t m 窗口的重要属性，它包括是否使用双缓冲，颜色位数 和类型以及深度位数等。像素格式可由w i n d o w s 系统定义的所谓像素格式描述 子结构来定义( p i x e l f o r m a t d e s c 对p t o r ) ，该结构定义在w i n d o w s h 中。 在使用o p e n g l r m 函数之前，必须对像素的存储格式等信息进行定义。 通过相应设置，程序支持窗口绘图、o p e n g l t m 以及双缓冲，并设置o p e n g l t m 的绘制色彩为r g b a 格式，且为2 4 位的真彩色。 o p e n g l t m 提供两种颜色模式：r g b ( r g b a ) 模式和颜色索引模式( 调色 板) 。在r g b a 模式下所有颜色的定义用r g b 三个值来表示，有时也加上a l p h a 值( 表示透明度) 。r g b 三个分量值的范围都在0 和1 之间，它们在最终颜色中 所占的比例与它们的值成正比。如：( 1 、1 、0 ) 表示黄色，( o 、0 、1 ) 表示蓝 色。颜色索引模式下每个象素的颜色是用颜色索引表中的某个颜色索引值表示 ( 类似于从调色板中选取颜色) 。由于三维图形处理中要求颜色灵活，而且在阴 北京工业大学工学硕士学位论文 影，光照，雾化，融合等效果处理中r g b a 的效果要比颜色索引模式好，所以， 本系统采用r g b a 模式。 o p e n g l t m 提供了双缓存来绘制图像，即在显示前台缓存中的图像同时，后 台缓存绘制第二幅图像。当后台绘制完成后，后台缓存中的图像就会显示出来， 此时原来的前台缓存开始绘制第三幅图像，如此循环往复，以增加图像的输出速 存 d 己o 2 2 2 2 光源设置 正如在日常生活中阳光和云的存在导致我们看到的大海色彩可能完全不同 一样，光照的设置也影响着o p e n g l t m 渲染后的模型是如何反射或吸收光线的。 o p e n g l t m 的光源大体分为三种： ( 1 ) 环境光( a m b i e n t l i g h t ) ，即来自于周围环境没有固定方向的光。全局环境光 是一种特殊的环境光，它不来自特于某种定光源，通常做为场景的自然光源。 ( 2 ) 散射光( d i f f u s el i g h t ) 来自同一个方向，照射到物体表面时在物体的各个方 向上均匀发散。 ( 3 ) 镜面光( s p e c u l a r l i g h t ) 则是来自于同一方向，也沿同一个方向反射。 2 2 2 3 材质设置 在o p e n g l t m 中，用材料对光的三原色( 红绿蓝) 的反射率大小来定义材料 的颜色。与光源相对应，材料的颜色，也分为环境色，漫反射色和镜面反射色， 由此决定该材料对应不同的光呈现出不同的反射率。由于人所看到物体的颜色 是光源发出的光经物体反射后进入眼睛的颜色。所以，物体的颜色是光源的环境 光，漫反射光和镜面反射光与材料的环境色，漫反射色和镜面反射色的综合。 例如：o p e n g l t m i 拘光源色是( l r 、l g 、l b ) ，材质色为( m r 、m g 、m b ) ，那 么，在忽略其他反射效果的情况下，最终进入眼睛的颜色是( l r 串m r 、l g * m g 、 l b * m b ) 。 2 2 2 4 投影方式设置 投影方式，即指选择观察物体的角度和范围。三维绘图中，采用不同的视点 和观察范围，就会产生不同的观察效果。然而，由于计算机只能显示二维图形， 所以在表示真实世界中的三维图形时，需将三维视景转换成二维视景。这是产生 三维立体效果的关键。o p e n g l t m 提供了两种将3 d 图形转换成2 d 图形的方式。 正投影( o r t h o g r a p h i cp r o j e c t i o n ) 和透视投影( p e r s p e c t i v ep r o j e c t i o n ) 。其中， 正投影指投影后物体的大小与视点的远近无关，通常用于c a d 设计；而透视投 影最显著的特征就是透视缩短( f o r e s h o r t e n i n g ) ，即离视点近的物体大，离视点 远的物体小。透视投影中，视景体被看作一个金字塔的平截头体，如图2 2 所示， 即位于视景中的物体被投射到金字塔的顶点，从而产生近大远小的效果。 三：茎至耋呈：蓄耋 十i i + i 圈2 - 2 平截头体示意图 f i g - 2 - 2s c h e m a t i cd i a 擘a m o f f i i l s t u m 2 3 力觉反馈系统 2 3 1p h a n t o mo m n i 介绍 力觉反馈系统是本系统的重要组成部分。以往计算机用户只能通过视觉和听 觉与其进行交互，很明显，力触觉作为许多应用场合最重要的感知方式没有被加 进去。同样，现存的手术规划系统也大多只包含了视觉交互，缺少感知信息的系 统与真实手术场景还相差甚远。6 自由度力反馈装置的出现改变了这一切。本课 题采用由s e n s a b l c 公司生产的p h a n t o mo m n i 装置作为力反馈装置。该装置是 由美国s e n s a b l c 公司设计生产的一系列力反馈装置之一。它可以提供非常大的 工作空间和反馈力，以及6 自由度的运动能力，是该系列中最具便携性的产品。 本课题采用p h a n t o mo m n i 作为力反馈输入装置，并利用其力量反馈达到模拟真 实触感的目的。p h a n t o mo m l f i 装置由底座、机械手臂和代理铁笔( s t y l u s ) 组成， 如图2 3 所示，其中白圈所示位置即为铁笔与虚拟模型的作用点。 岫2 - 3 p h a n t o m o m m 蛀置 f 培2 - 3 p h a n t o m o m n i d e v i c e p h a n t o mo m n i 的机械手臂可以实现与人的手臂相同的6 自由度运动，其运 动方向如图2 _ 4 所示，6 个自由度的旋转分为宏观和微观两种，图中蓝色实线所 示为3 个宏观旋转方向，红色虚线则为3 个微观旋转方向。在程序中，面对 图2 - 5 h i p 及s c p 示意图 f i g2 - 5 h i p s c p 23 2p h a n t o mo m n i 初始化 力反馈装置的初始化是使用力反馈装置的必要前提，其中包舍力反馈装置硬 件的初始化和软件初始化两种。硬件初始化对力反馈装置进行力量、坐标等参数 第2 章系统总体结构 i i_ 的校准。在力反馈装置使用一段时间后，会出现坐标偏差的情况，即力反馈装置 的手臂活动范围与实际可移动范围不符，这就需要采用p h a n t o mo m n i 自带的配 置软件进行硬件初始化配置。软件初始化则是指在每次使用力反馈装置时都需要 进行一系列的测试，包括检查力反馈装置是否与p c 机相连接、力反馈器是否处 在工作准备状态等等。 2 3 3o p e n h a p t i c st o o l k i t o