（电路与系统专业论文）基于虚拟现实技术的针灸医疗训练系统研究[电路与系统专业优秀论文].pdf

摘要 随着针灸医疗事业的不断发展，对合格的针灸医疗师的需求扩大。而传统的 针灸医疗训练方式的低效性，这不仅阻碍的针灸医疗技术的进一步发展，而且给 受训者带来了一定的负担。因此开发一种自然易学的训练方式至关重要。本文分 析了传统的针灸训练方式，找出了这些训练方式存在的缺陷，提出研究开发基于 虚拟现实技术的虚拟针灸训练系统v a m t ( v i r t u a la c u p u n c t u r em e d i c a lt r a i n i n g ) 系统，这个系统不仅克服了传统针灸训练方式的不足，而且增加了训练时的沉浸 感、趣味性，在很大程度上可以提高受训者的积极性和训练效果。 本文对v a m t 系统及其主要关键技术做了研究，主要内容概括如下几点： a 本文在概括了针灸医疗训练方式的发展历程，分析了目前现有训练方式 的优缺点的基础上，提出了基于三维针灸穴位人的训练方式。 b 以自然人机交互理念为指导，提出了基于虚拟手的人机交互模式，从针 灸训练的实际训练要求出发，设计了v a m t 的整体结构。 c 最后实现了v a m t 系统的主要功能。经过测试，达到了较好的效果，取 得了预期的目标。 关键词：虚拟现实，针灸，手势，碰撞检测，虚拟场景，虚拟手，交互 浙江大学硕士研究生学位论文 a b s t r a c t w i t hc o n s t a n td e v e l o p m e n to fa c u p u n c t u r em e d i c a li n d u s t r y ，t h er e q u i r e m e n to f q u a l i f i e da c u p u n c t u r i s ti sm o r ea n dm o r e b u tl o we f f i c i e n c yo ft r a d i t i o n a l m e d i c a l t r a i n i n gn o to n l ye m b a r r a s sa c u p u n c t u r ed e v e l o p m e n t ，a tt h es o m et i m e ，h a sb r o u g h t t r o u b l e st ot h et r a i n e r s s od e v e l o p i n gan a t u r a l l ya n de a s yl e a r nt r a i n i n gw a yi sv e r y i m p o r t a n t t h i s t e x t a n a l y s e t h e d i s a d v a n t a g e so ft r a d i t i o n a lt r a i n i n gm o d e ， r e s e a r c h i n g a n d d e v e l o p i n g an e wt r a i n i n g s y s t e m ，w h i c h o n ei sc a l l e d v a m t ( a c u p u n c t u r i s tm e d i c a ls y s t e m ) ，i t sn o to n l yc o n q u e rt h ed i s a d v a n t a g e so f t r a d i t i o n a lt r a i n i n gm o d e ，b u ta l s oe n h a n c ei m m e r s i o na n di n t e r e s t i n g ，a tt h es o m e t i m e ，i m p r o v et r a i n i n ge f f e c tm o r ea n dm o r e t h i st e x th a ss t u d i e dv a m ts y s t e ma n di t sm a i nk e yt e c h n o l o g y , i t sm a i n c o n t e n ts u m m a r i z e da sf o l l o w s a t h i st e x ts u m m a r yt h ed e v e l o p m e n to fm e d i c a lt r a i n i n go fa c u p u n c t u r e ， a n a l y z et h ep l u s e sa n dm i n u s e so ft r a i n i n gw a ye x i s t i n g l ya tp r e s e n t ，p r o p o s et h e t r a i n i n gw a y b a s e do nt h r e e - d i m e n s i o n a lp e o p l ea c u p u n c t u r ea n dm o x i b u s t i o n b t h r o u g hd i s c u s sa c t u a lr e q u i r e m e n ti na c u p u n c t u r e ，d e s i g nt h es t r u c t u r eo f v a m ts y s t e m ，v a m tc o n s i s e so ft w op a r t so fs y s t e m s ，h a r d w a r e ( a p p a r a t u so f s e n s i n g ) a n ds o f t w a r e ，t h ea p p a r a t u so fs e n s i n gi st h ei n t e r f a c eo ft r u ew o r l da n d v i r t u a lw o r l d ，f i n i s ht h ec o l l e c t i o no f j o i n td a t ao fh u m a nb o d y , t h es y s t e ms o f t w a r e m a i n l yf i n i s h e st h et r e a t m e n to ft h es e n s i n gd a t a ，f o r m u l a t i o no fv i r t u a ls c e n e ，a n dt h e s i m u l a t i o na c u p u n c t u r et r a i n i n g c f i n a l l y , h a v i n gr e a l i z e dt h em a i nf u n c t i o no fv a m ts y s t e m ，t h es y s t e m a t i c f u n c t i o n i n c l u d e st w op a r t s ，o n ep a r ti st h ef o r m u l a t i o no ft h es c e n e ，i n c l u d i n g s e t t i n g - u po fd i g i t a la c u p u n c t u r ep e o p l ef i c t i t i o u s l ya n dr e n e w a lo ft h ev i r t u a ls c e n e ； a n o t h e rp a r ti st h es i m u l a t i o nt r a i n e di na c u p u n c t u r e ，i n c l u d i n g l o o k i n gf o rt h e p o s i t i o no fp o i n t ，h o l dn e e d l e ，e n t e rn e e d l e ，c o m p e t e n tn e e d l et r a i n i n g ，c a l la l s o c o m b i n ed i f f e r e n c eo fc a v e ，g r a s pd i f f e r e n te n t e rn e e d l ed i r e c t i o n ，a n g l e ，w e i g h t ，e t c k e y w o r d s ：v i r t u a lr e a l i t y , a c u p u n c t u r e ，g e s t u r e ，c o l l i s i o nd e t e c t ，v i r t u a ls c e n c e ，v i r t u a lh a n d ，i n t e r a c t i o n 浙江大学硕士研究生学位论文 第一章绪论 1 1 虚拟针灸系统研究的意义和目的 针灸医学是中医学的重要组成部分，数千年来，为中华民族的健康和发展 做出了不可磨灭的贡献。加快针灸医学的普及、推广和发展，将成为中医针灸走 向世界、面向全球的重要突破口。但是培养一个合格的针灸医疗师是很困难的， 除了针灸学本身具有一定的难度外，没有给受训者提供一个合适的训练方式也是 一个重要的原因。现代的针灸医疗训练方式主要是借助于实体模型或者二维模 型，它们各自都存在一定的缺陷，实体模型查找未知穴位有一定的困难，二维图 片模型缺少立体感。基于以上这些原因，我们觉得寻找一种新的训练方式迫在眉 睫。本文研究的目的就是提出一种新的针灸训练系统，这种系统不仅能解决现有 训练方式存在的一些弊端，而且更加具有实用性。经过调研和分析，本文觉得将 虚拟现实技术和针灸医疗结合能够很好的解决这个问题。 1 2 针灸训练方式的发展历程 针灸训练方式的发展变化主要表现在用于针灸训练的对象的变化，目前国内 的训练模型经历了以下几种形式的发展： 1 2 1 基于传统实体模型的训练方式 用于针灸教学的人体针灸模型在中国也有悠久的历史。最早运用于针灸训练 模型是由铜铸成的实体模型，里面装有铜铸成的脏腑，表面的穴位由一个个孔表 示，孔内装满水或水银，外封黄蜡，古代从事针灸医疗的人主要是通过这种模型 来进行训练的。而现代，用于辅助针灸教学的人体模型也比比皆是，但大都改用 塑料或是橡胶等便宜易造型的材料制作。 1 2 2 基于二维图片的训练方式 虽然实体模型形象直观，但是实体模型不便于查找未知穴位，如果想要查 4 浙江大学硕士研究生学位论文 找未知穴位需借助书本，因此，后来人们提出了基于二维图片的穴位模型，通过 跟：f l a s h 技术有效结合，将二维穴位图片制作成f l a s h 文件，通过动画来形像的表 现出每种针灸的手法，以及在针灸过程中人体组织的反应。对于二维图片模型， 可以看出它的特点是图文并茂，形象直观。但是毕竟是二维平面模型，空间立体 感稍差一些。对于有些空间立体感不强的读者来说，读懂这些模型和能有一定的 困难。此外，大多数穴位是按照经络分布的，这种分块的模型也不利于经络的显 示和观察。因此后来许多学者提出基于数字穴位人的针灸训练方式。 1 2 3 基于三维虚拟穴位人的训练方式 由于实体模型和二维图片模型各自存在着缺点，因此我们通过建立计算机三 维数字模型，这种训练方式可以更好的帮助中医针灸学的教学工作。三维模型不 但可以图文并茂，而且便于在数百个穴位中查找；同时借助于三维交互工具可以 进行自然的交互；如果配以虚拟现实的显示技术，学员可以看到和实体模型一样 的效果；不仅如此，借助三维建模工具，可以形象逼真的给出在交互过程中人体 组织的反应。显然基于三维虚拟穴位人的训练方式是一种很好的选择。 1 3 虚拟针灸训练系统的研究背景 1 3 1 自然人机交互技术的发展 人们从自然语言理解、多通道交互、笔式交互以及智能用户界面等方面开展 了很多工作。由于计算机科学发展水平的限制，在计算机和人类之间还存在一条 鸿沟。人机交互就是连接人和计算机的桥梁。人机交互系统应当以人为核心还是 以计算机为核心? 对这个问题的回答远比做起来容易。人们都讨论人机交互系统 应当以人为核心，但实际做的有几个? 由于人类比计算机有更好的适应性或者说 更易于屈服，而且以计算机为中心的人机交互系统对于设计人员来说相对容易， 因此现在大部分的人机交互系统都是以计算机为核心的，人成了计算机的奴隶。 现在的情况很严峻，一方面很多用户面对不自然的人机交互变得麻木不仁，认为 w i m p 交互是人类使用计算机的自然方式：另一方面，目前的信息行业从业人员 虽然打算采用用户为中心的设计，但也没有突破w i m p 交互的框框。 浙江大学硕士研究生学位论文 随着人机交互技术的发展，自然人机交互越来越多的应用到当前的系统中。 自然人机交互通俗的说就是人通过日常行为来与计算机进行交互。在自然人机交 互提出来之前，人机交互的主要途径是键盘和鼠标。但是，现在随着技术的不断 的发展，特别是图形、图像技术的突飞猛进，仅仅鼠标和键盘不在能满足系统的 要求了。当前，随着虚拟现实技术、三维交互技术的发展，新的交互设备层出不 穷，这些设备的出现带动了整个自然交互的发展。 1 3 2 虚拟现实技术的兴起 虚拟现实( v i r t u a lr e a l i t y ) 是一种由计算机和电子学创造的虚拟世界，是一个 看似真实的模拟环境，通过多种传感设备，用户可根据自身的感觉，使用人的自 然技能对虚拟世界中的物体进行观察和操作，参与其中的事件，同时提供视、听、 触等直观而又自然的实时感知，使参与者沉浸于这个虚拟环境之中。 虚拟现实技术主要包括虚拟场景、感知、自然技能和传感设备等方面。虚拟 场景是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的v r 应 该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、 触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能 是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与 者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五 官。传感设备是指三维交互设备。常用的有立体头盔、数据手套、三维鼠标、数 据衣等穿戴于用户身上的装置和设置于现实环境中的传感装置，如摄像机、地板 压力传感器等。 早期的v r 技术一般都用于娱乐方面，直到8 0 年代初也主要是用于娱乐方 面。目前，欧美和日本的一些大学、研究所和公司正从事于v r 这种下一代人机 晁面技术的研究。现在，v r 技术已广泛应用于科技领域，某些技术成果已作为 商品进入市场。美、日、欧等工业国家预备将该项技术作为竞争未来市场的关键 手段。v r 技术现已在产品设计、制造、产品安全试验、建筑设计、电影拍摄、 娱乐体闲、体育健身、教育培训、军事演习、医疗诊断等诸多领域得到应用。 6 浙江大学硕士研究生学位论支 1 3 3 虚拟现实技术在医学领域的应用 虚拟现实在医学领域的应用前景非常广泛，作为一门新兴的学科，虚拟现实 在医学领域的应用备受瞩目，虚拟现实技术可以广泛地应用于虚拟人、辅助诊断、 手术模拟、远程医疗、医学康复、医学教育及训练系统等诸多方面。 虚拟现实技术在远程医疗中的应用：虚拟现实技术与网络技术结合，可以使 得医生亲自对远程的患者进行一定的操作，也就是说，医生们根据传来的现场影 像通过键盘、鼠标、数字手套等输入设备来进行手术操作，其一举一动可转化为 数字信息传递至远程患者处，控制当地的医疗器械的动作 1 】，1 9 9 9 年，世界上 首例实验性远程手术在美国成功进行。 虚拟现实技术在手术中的应用：将计算机技术、虚拟现实技术、医学成像技 术、图像处理技术及机器人技术与外科手术相结合，形成了计算机辅助外科手术 ( c o m p u t e ra i d e ds u r g e r y ，c a s ) 。虚拟手术是利用各种医学影像数据反馈功能让操 作人在切割组织时感受到器械的压力，能按实际数据和虚拟现实技术在计算机中 建立一个虚拟环境，医生借助虚拟环境中的信息进行手术计划、训练，以及在实 际手术过程中引导手术的新兴学科。美国波士顿力学研究中心的脉管缝合仿真系 统、斯坦福大学的s r i 虚拟腹腔镜系统、奥地利布鲁斯克大学医院的高级虚拟矫 正截骨术系统【2 】。 其它医学领域的应用：在临床诊断上，利用三维重构技术开发的纯软件医学 虚拟现实已经开发出许多虚拟内窥镜的软件，可以使医生的视线在病人体内甚至 毛细血管中自由航行，这种动态的实时显示对临床诊断具有非常重要的价值：在 整形外科领域，运用虚拟现实技术，能够模拟术后的效果，避免可能出现的不和 谐之处；在远程医疗领域，虚拟现实技术也有着巨大潜力，例如在偏远的山区， 通过远程医疗虚拟现实系统，患者不进城也能够接受名医的治疗：对于危急病人， 还可以实施远程手术，这时医生只要对病人模型进行手术，他的动作就可以通过 卫星传送给远处的手术机器人，手术的实际图像通过机器人上的摄像机还能够传 回到医生的头盔立体显示器，并将其和虚拟病人模型进行叠加，为医生提供有用 的信息 3 】。 目前，国际上已经有不少基于虚拟现实的手术训练和模拟系统出现。例如： t s e n g 等【4 】开发的基于微机的具有力反馈功能的腹部手术模拟器；c o t i n 等【5 】开 浙江大学硕士研究生学位论文 发的介入式心脏外科手术训练系统；b a u r 等【6 】的基于虚拟现实和力反馈的内窥 手术模拟器；d o w n e s 等【7 用于训练腹部手术关键技术的虚拟环境；m c c a r t h y 等【8 】用于膝关节手术训练的虚拟环境；瑞典首都斯德哥尔摩手术科学部研究制 作的虚拟现实腹腔镜手术模拟器，高精度的仿效了器官和组织的解剖。 1 3 4 虚拟现实技术在针灸医疗领域的应用 虚拟现实在医学领域的应用前景非常广泛，作为一门新兴的学科，虚拟现实 在医学领域的应用备受瞩目，虚拟现实技术可以广泛地应用于虚拟人、辅助诊断、 手术模拟、远程医疗、医学康复、医学教育及训练系统等诸多方面。 虚拟现实技术在远程医疗中的应用：虚拟现实技术与网络技术结合，可以使 得医生亲自对远程的患者进行一定的操作，也就是说，医生们根据传来的现场影 像通过键盘、鼠标、数字手套等输入设备来进行手术操作，其一举一动可转化为 数字信息传递至远程患者处，控制当地的医疗器械的动作【1 】，1 9 9 9 年，世界上 首例实验性远程手术在美国成功进行。 虚拟现实技术在手术中的应用：将计算机技术、虚拟现实技术、医学成像技 术、图像处理技术及机器人技术与外科手术相结合，形成了计算机辅助外科手术 ( c o m p u t er a i d e ds u r g e r y ，c a s ) 。虚拟手术是利用各种医学影像数据反馈功能让 操作人在切割组织时感受到器械的压力，能按实际数据和虚拟现实技术在计算机 中建立一个虚拟环境，医生借助虚拟环境中的信息进行手术计划、训练，以及在 实际手术过程中引导手术的新兴学科。 其它医学领域的应用：在临床诊断上，利用三维重构技术开发的纯软件医学 虚拟现实已经开发出许多虚拟内窥镜的软件，可以使医生的视线在病人体内甚至 毛细血管中自由航行，这种动态的实时显示对临床诊断具有非常重要的价值；在 整形外科领域，运用虚拟现实技术，能够模拟术后的效果，避免可能出现的不和 谐之处：在远程医疗领域，虚拟现实技术也有着巨大潜力，例如在偏远的山区， 通过远程医疗虚拟现实系统，患者不进城也能够接受名医的治疗；对于危急病人， 还可以实施远程手术，这时医生只要对病人模型进行手术，他的动作就可以通过 卫星传送给远处的手术机器人，手术的实际图像通过机器人上的摄像机还能够传 回到医生的头盔立体显示器，并将其和虚拟病人模型进行叠加，为医生提供有用 n k x 学硕士n 究生学位论文 的信，g 3 】。 目前，国际上已经有不少基于虚拟现实的手术训练和模拟系统出现。例如： 美国波士顿力学研究中心的脉管缝合仿真系统、斯坦福大学的s 融虚拟腹腔镜系 统、奥地利布鲁斯克大学医院的高级虚拟矫正截骨术系统 2 】。t s e n g 等 4 】开发的 基于微机的具有力反馈功能的腹部手术模拟器；c o t i n 等【5 】开发的介入式心脏外 科手术训练系统；b a u r 等【6 的基于虚拟现实和力反馈的内窥手术模拟器；d o w n e s 等 7 】用于训练腹部手术关键技术的虚拟环境；m c c a i r t h y 等 8 】用于膝关节手术训 练的虚拟环境；瑞典首都斯德哥尔摩手术科学部研究制作的虚拟现实腹腔镜手术 模拟器，高精度的仿效了器官和组织的解剖。 1 4 本文的工作与主要内容 1 4 1 本文的工作 本文在自然交互理论的指导下，采用结构化生命周期法开发了专门用于针灸 医疗训练的v a m t 系统。本文所做工作如下： a 、本文在概括了针灸医疗训练系统的发展历程，分析目前现有训练模型的 优缺点的基础上，提出了基于三维针灸穴位人的训练方式。 b 、以自然人机交互理念为指导，提出了基于虚拟手的人机交互模式，从针 灸训练的实际训练要求出发，设计了v a m t 的整体结构。 c 、最后实现了v a m t 系统的主要功能，系统的功能包括两大块，一部分是 虚拟训练场景的生成，包括数字针灸穴位人的建立，虚拟场景的更新；另一部分 是针灸训练的模拟，包括查找穴位位置的训练，持针、进针、行针手法的训练， 还可以结合所学腧穴的不同，掌握不同的针刺方向、深浅度等技能。 1 4 2 本文各章节内容的安排 第一章提出了虚拟针灸训练系统开发的目的和意义，分析了虚拟针灸训练 系统的研究背景及其发展历程。 第二、三章主要是介绍了系统的关键技术，第二章分析了虚拟场景的建模技 术，对不同建模技术进行了分析和比较。最后提出了本系统所采用的建模技术； 9 浙江大学硕士研究生学位论文 第三章分析了虚拟手技术，首先提出了基于虚拟手交互的框架，然后介绍了用虚 拟手进行交互时需要的传感设备，分析了如何实现虚拟手的映射，最后提出了基 于虚拟手的操作方法，分析了在操作过程中用到了两类关键技术：碰撞检测技术 和手势识别技术。 第四章首先提出了系统的方案和框架，然后介绍了虚拟针灸穴位人的创建， 分析了系统的功能，实现了系统中关键技术，从虚拟场景建立、数据采集及其映 射、系统操作和操作反馈四部分对系统进行分析。 第五章对本文的研究开发工作进行了总结，并提出系统还不够完善及可开 展的后续工作。 l o 浙江大学硕士研究生学位论文 第二章v a m t 系统的场景建模 一个逼真的训练场景不仅能使受训者身临其境，提高训练自身的趣味性和积 极性，同时提高了训练的效果。系统通过三维建模工具和o p e n g l 图形接口来实 现训练场景的构建。本系统的仿真模型分成两类，一类通过基于三维建模工具建 模，通过o p e n g l 读取和控制，比如人体模型和周围的一些场景；另外一类是通 过o p e n g l 图形接口建立和控制，包括穴位、虚拟手。通过建模工具建模可以加 入纹理，看起来更加逼真、更加接近实际，但是不便于控制，通过o p e n g l 来建 模虽然缺乏真实感，但是便于控制、操作灵活，实现起来简单。目前，基于图形 的建模和基于图象的建模是虚拟场景建模的两大支撑技术 1 1 】。本章首先介绍了 常见的建模技术和场景真实感增强技术，然后分析了系统中采用的建模方式和场 景的构成。 2 1 典型的建模技术 2 1 1 图形建模技术 三维几何造型主要是指利用三维空间的物体经过并、交、差等集合运算和旋 转、移动、尺寸变换，产生满足设计者要求的复杂的几何形体。所以三维立体物 体的造型是虚拟环境建模的核心和基础 1 2 】。以o p e n g l 为例来介绍一下基于 o p e n o l 的图形建模技术。 在虚拟场景中，虚拟物体通常是由多边形面片组成，在处理上采用对多边型 顶点的信息进行描述和存储，根据表面的不同几何特性，物体有以下几种基于图 形的建模方式 1 3 】。 a 、对于规则的物体表面，可由数学函数造型来形成。例如对于二次曲面、 超次曲面、隐函数曲面等直接用函数实现很方便；在o p e n g l 中直接提供了绘制 二次曲面的函数，如g l u c y l i n d e r o 绘制圆柱台、g l u s p h e r e o 绘制球面等。 b 、对于不规则的曲面，则采用数据点定义较好。通过数据点定义的曲面一 般称作样条曲面，它由一系列离散坐标点来确定，如b e z i e r 曲面、b e t a 曲面、 n u r b s 曲面等；在o p e n g l 中提供了基于b e z i e r 曲线和曲面的求值器，并可直 浙江大学硕士研究生学位论文 接利用函数g l u n u r b s s u r f a c e o 通过定义曲面控制点来绘制n u r b s 曲面。 任何几何元素的定义及图形的输入与输出都是在一定的坐标系中完成的，在 图形生成与输出的各个阶段中采用不同的坐标系的目的是为了方便设计者的操 作，提高图形处理的效率。图2 1 表示了虚拟场景建模时从局部坐标系下的景物 到设备坐标系中的图形的三维坐标变换流程。 图2 1 坐标变化的流程 2 1 2 基于图像的建模技术 尽管经典的图形学发展已经能在很短的时间里产生具有相当复杂度的真实 感图形( 每秒几百万个多边形) ，但是其固有的矛盾却无法使它满足高级v r 应用 的要求。于是，上世纪9 0 年代，国际上v r 行业内兴起了一种新的研究热潮一 一基于图象的建模与绘制技术( i b m r ) ，此技术试图从根本上打破原有绘制技术 的禁锢，在虚拟环境绘制中取得了很好的实验效果。 i b m r 主要是通过两种途径来利用图像构建三维场景 1 4 ： a 、用真实世界的相片或计算机预先生成的场景画面，来直接作为系统的输 人，以二维的、基于图象的方法构建场景，消除了以往的建模和绘制过程。典型 的例子就是纹理映射技术( t e x t u r e m a p p i n g ) 和环境映照技术 ( e n v i r o n m e n t m a p p i n g ) 。 b 、利用从照片中抽取出来的三维信息，重构传统的几何模型。 2 1 3 混合建模技术 建模过程中，既要避免复杂场景几何模型的大计算量，又要满足绘制实时性 要求，可以将基于几何的绘制技术、基于图象的绘制技术有机结合起来，采用基 于图形与图象的混合建模方法。 浙江大学硕壬研究生学位论文 基于图形渲染的建模技术注重虚拟场景交互行为的仿真和可实现性，用于用 户希望与之产生交互作用的场景对象。基于图象的建模技术注重虚拟场景的视觉 真实性，可用于交互要求少并且复杂的场景，用图象的插补、变形、拼合等方法 来构造一个尽可能符合视觉要求的纯虚场景，尽管纯虚场景中的虚拟物体是二维 图象中的纯虚对象，用户不能与之交互，但人们仍可凭借双目立体视觉技术和头 盔显示器来获取用户相对于图象中纯虚对象的深度信息。运用基于图象的建模技 术将现实世界的真实三维环境( 现实物体对象的集合) 转变为计算机中的虚拟世 界三维环境的过程，称为实物虚化，而经过基于图形渲染的建模技术把人们头脑 中的主观意义上的概念对象转变为计算机虚拟世界中可感知和可操作对象的过 程称为虚物实化。虚实结合可以创建既有真实感，又有可交互的虚拟场景。实物 虚化和虚物实化是虚拟场景混合建模中具有不同目的的矛盾而又统一的两个方 面 2 0 】。尽管基于图形与图象的混合建模技术集基于图形渲染建模与基于图象的 建模的优点于一体，但是其实现也带来很多技术上的困难和人机交互的难度，如 两种场景的无缝连接和交互时的场景变换等问题尚待解决。 2 1 4 三维建模工具在场景建模中的应用 虽然o p e n g l 的辅助库中提供了一些复杂的形体模型的命令，但o p e n g l 并没有 提供更为复杂的三维模型的高级命令。在这种情况下，如果完全通过基本的几何 图元点、线、多边形来构建模型，势必十分困难；另一方面，由于3 d 图形技术的 发展，形成了非常多的3 d 建模软件，这些软件建模一般比较方便，但又难以对其 进行控制和交互。因此，如何有效地利用这些资源，对于快速开发可视化系统具 有非常现实的意义。本文介绍几种典型的建模软件以及他们是如何被o p e n g l 的读 取和显示的。 a 、3 d s 文件的输入和处理 关于如何用o p e n g l 读取和操作3 d s 文件的方法，很多文献 1 5 、1 6 都有详细 的论述。在这里介绍一种将3 d s 文件转换成o p e n g l 文件的方法。这种转换需要使 用一个工具v i e w 3 d s e x e ( 网上可以找到该工具) ，在命令行中输入模型文件的名 称，如v i e w 3 d s e x em o d e l n a m e 3 d s ，或者直接将3 d s 文件拖至l j v i e w 3 d s 上。将弹 出一个窗口，在窗口中会显示需要转换的3 d s 模型。将会在当前目录中生成o p e n g l 浙江大学硕士研究生学位论文 程序，包括与模型名相同的h 和g l - - 个文件。生成c 代码后，将模型的h 和g l 文件拷贝到当前建立的工程目录中。就可以完成对模型的读取与显示。但是这种 方法的缺点是在读取模型的纹理时会出现一些问题，比如只能读取部分纹理，或 着不能读取纹理。 b 、0 b j 文件的输入和处理 o b j 文件是a l i a s w a v e f r o n t 公司开发的三维动画软件m a y a 的一种数据输出 类型，它定义了对象的几何和其它的一些特性。由于它的文件结构非常简单，所 以适合在应用程序中读取或进行3 d 文件格式的转化 1 7 。0 b j 文件不仅可以定义 多边形模型，也可以定义自由曲面模型。多边形模型就是可以用点、线、面等基 本元素构造的模型，而自由曲面模型是指使用参数曲面造型定义的模型。 c 、其它三维格式文件的输入和处理 接下来介绍一种网络上比较流行的三维数据格式w r l 文件在o p e n g l 中的输入 与处理。w r l 文件资源非常多，是网上虚拟显示的一种标准文件格式，它是一个 文本文件，格式非常简单。在文件的开头，是有关本文件创建的一些信息，接下 来是文件的具体数据，包括材质、变换、面、顶点等信息，其中绝大部分是3 d 场景中点的坐标信息以及索引点的信息。w r l 文件中也有与o p e n g l 相对应的关键 字，如t r a n s l a t i o n 、r o t a t e 、s c a l e 等 1 8 、1 9 。了解了w r l 文件的格式后，就 可以构造适合的数据结构模型，通过o p e n g l 来输入和读取该文件。 最后要说明的是，现在网上有很多关于3 d 文件格式的转换工具，如 c o n v e r t e r 、3 de x p l o r e r 等。这些工具可以将一些格式的3 d 文件转换为需要的3 d 文件格式，然后任用已经开发的输入和处理的o p e n g l 程序来应用这些文件。但需 要注意，有些工具在转换3 d 文件的时候，只能保存和转换模型的几何信息，而所 有的纹理信息则在转换过程中全部丢失。遇到这种情况，可以试试其它的工具。 2 2 系统真实感增强技术 最早的计算机图形都是线画图形，随着光栅图形显示器的出现，具有连续色 调的真实感图形逐渐成为计算机图形学研究的主流。一般地，真实感图形绘制需 要经历以下4 个步骤：虚拟场景造型；取景变换和光栅化；消隐( 可见性计算) ； 可见点处的光亮度计算 2 1 1 。我们不难发现，传统真实感图形绘制算法追求的是 图形的真实感和高质量，而对每帧画面的绘制速度并没有严格的限制，而虚拟现 1 4 浙江大学硕士研究生学位论文 实系统要求的实时图形绘制技术本质上是一种限时计算技术，即要求算法必须在 给定的时间内完成对场景的绘制，这在场景比较复杂的情况下会因为计算量较大 而无法实时交互。因此，虚拟场景的绘制实际上是对图形真实感和绘制实时性这 个两难抉择的一个折衷。我们往往通过损失图形质量来快速绘制画面，这里图形 质量的损失主要指图形真实感的降低和走样程度的加重。例如，采用局部光照明 模型和降低画面分辨率来加速绘制。 下面就本方案设计中用到的真实感图形生成流程来介绍，并说明这些技术如 何在o p e n g l 中具体实现。 2 2 1 虚拟场景的取景变换 在创建完虚拟物体后，我们还有一些工作要做，那就是把这些模型放在三 维空间中的适当位置，并选择适当的角度进行观察，这对于观看场景中的三维模 型是至关重要的。为了观察场景中的模型，需要进行取景变换，而取景变换就是 不同坐标系之间的转换。 任何三维几何对象都是在场景坐标系中建立的，但屏幕上所显示的只是在给 定视点和视线方向的情况下，三维物体在垂直于视线方向的二维成象平面( 屏幕) 上的投影。将几何对象的三维坐标转换到屏幕上的象素坐标，需要进行一系列的 坐标变换，这些变换统称为取景变换。取景变换主要包括物体从场景坐标系到摄 像机坐标系的变换、摄像机坐标系到屏幕坐标系的变换。取景变换的过程如图 2 2 所示。 图2 2 取景变化流程图 在o p e n g l 图形库中透视投影的取景体被设计成为一个截去了顶的四棱柱 浙江人学硕十研究生学位论义 体，i e i 止l 取景体有时称为观察锥。在o p e n g l 中，我们用函数g l u l o o k a t o 定义 观察者的视点位置、视线方向及向上方向，用函数g l u p e r s p e e t i v e 0 来定义当前取 景体，得到的视图体四棱锥如图2 3 所示。 巾一纡嚣- 吁紫睁豢 2 2 2 虚拟场景的光照 图2 3 裁剪所得的视图体 现实世界中，物体所表现的颜色都是光照作用的结果，物体都不同程度地具 有发射光线、吸收光线、反射光线和透射光线的能力，光线照射到物体表面上时， 被物体吸收的那部分光转化为热能，其余部分则被反射或透射，正是这部分反射 或透射的光线传到我们的视觉系统中，我们力感觉到物体的存在及其所特有的形 状和色彩。 光和物体的相互作用是非常复杂的，难以实时模拟，o p e n g l 在光照的实际 效果和实时绘制速度之间采取一种折衷的处理方法，这种方法就是只在物体的几 何顶点处进行光照计算 2 3 1 。o p e n g l 光照模型将光线细分为四个独立的组成部 分：发射光、环境光、散射光和反射光。所有这四个组成部分都单独计算，然后 办累加到一起，照亮一个顶点产生的颜色按下式计算： 顶点颜色= 该顶点发射光的颜色+ 由材质环境光属性放大的全局环境光颜色 + 从各个光源发出，经过衰减的环境光、散射光和镜面反射光颜色 2 2 3 纹理映射技术 在不考虑物体表面纹理的时候，我们只能生成颜色单一的光滑景物表面、往 往由于其表面过于光滑和单调，看起来反而不真实。而人们是依据这些纹理细节 浙江大学硕士研究生学位论文 来区别各种具有相同形状的景物，因此景物表面纹理细节的模拟在真实感图形绘 制技术中起着非常重要的作用，我们将景物表面纹理细节的模拟称为纹理映射技 术。自从7 0 年中期c a t m u l l 首次采用纹理映射技术生成景物表面纹理细节以来， 纹理映射技术得到了广泛的研究和应用。这种技术把来自现实世界的位图文件映 射到物体的表面，使物体的外观看起来与现实世界中的物体相似或相同，从而增 强了物体的真实感 2 7 1 1 2 8 。 a 、纹理映射算法 1 、透视投影纹理映射技术 2 9 】。该技术首先要求用户给定投影方向w ，任 意取一个垂直于w 的平面作为投影平面，然后再在投影平面上任选一个向量u ， 则我们可方便的建立一个投影坐标系e u v w ，这里e 为w 所在轴线与投影平面 的交点。此时，景物表面上任一点p ( u ，v ，们所对应的纹理坐标为： ( ) ：g f 兰，兰，dl ( 2 1 ) ww 其中w = d 为投影平面方程。 该技术由于将纹理图象直接投影到景物表面来获取景物表面的纹理坐标，因而 其实现非常简单，目前这种技术已经实用。 2 、两步法纹理映射技术。对于球、圆柱等二次曲面或参数曲面所构造的物 体表面，进行纹理映射时较为容易；而对于非参数化面片拼接的多面体，不像各 种样条曲面以及二次曲面那样存在着内在的参数化，为解决多面体的参数化问 题，只能依靠基于中介曲面的映射方法。这就是b i e r 和s l o a n 提出的两步法纹理 映射技术 3 4 】。 算法的核心思想是：引进一个包围景物的中介三维曲面作为中间映射媒需要 根据实际物体的形状选择中介曲面，其基本过程可用下面两个步骤来完体成。 第一步称为s 映射：将二维纹理空间映射为一个简单的三维物体表面上，如 圆柱面、球面等：第二步称为o 映射：将中介曲面上的纹理映射到景物表面。 这样，纹理空间到景物空间的映射可由s 映射和o 映射复合得到。 b 、o p e n g l 中的纹理映射 纹理映射是一个复杂的过程，也是基于图象建模技术的一个关键。通常的 做法是：首先指定纹理，然后说明纹理如何应用于几何模型片原的每一个象素点， 1 7 浙江大学硕士研究生学位论文 最后利用纹理坐标和几何坐标绘制场景。使用纹理映射必须执行以下几个步骤： 1 、指定纹理。纹理通常是二维的，也可以是一维或三维的，这可以根据应 用程序的需要进行选择。在最简单的情况下，纹理是一幅二维图象。描述纹理的 数据，每个纹理单元可以包括l 到4 个元素，用来表示从一个常数，到用( r ，g b ，a ) 四元组所能表示的任何事物。使用一种称为m i p m a p p i n g 的高级技术，程序员可 以用不同的分辨率来指定一个单一的纹理。 2 、指定纹理应用的方式。程序员可以用下面3 种功能中的任何一种，根据 片原和纹理图象数据中的颜色来计算最终的r g b a 值： ( 1 ) 可以简单地用纹理颜色作为最终的颜色，这种方式如贴花一样，纹理被 粘贴在片原的表面上： ( 2 ) 也可以用纹理来调整片原的颜色或颜色比例，该技术对光照和纹理的综 合效果是非常有用的； ( 3 ) 还可以用纹理值将一个固定的颜色与片原的颜色融合在一起。 3 、激活纹理映射在绘制场景之前需要激活纹理映射。激活或取消纹理映射 的函数是g l e n a b l e o 或g l d i s a b l e o ，其参数可以为g l _ t e x t u r e _ i d ， g le x t u r e2 d 或g lt e x t u r e3 d ，分别代表一维、二维或三维的纹理图。 4 、指定纹理坐标和几何坐标，绘制场景。在粘贴纹理之前，必须说明纹理 相对于片原是如何排列的。也就是说，必须指定场景中物体的纹理坐标和几何坐 标，同时还要指定如何处理【0 o ，1 0 】范围之外的纹理坐标。 2 3 针灸穴位人的建模 2 3 1 数字针灸穴位人概述 现在，用于辅助针灸教学的人体模型比比皆是，但大多采用塑料或是橡胶等 便宜易造型的材料制作。随着计算机技术发展，有人应用计算机技术建立二维人 体模型，辅助受训者学习针灸穴位的知识。总体看来，传统实体模型的特点是： 直观，学员可以近距离观察每个穴位的位置，但是每个穴位的精确位置还需要根 据传统中医的定位语言以及穴位的特点来寻找，也就是说学员还需要对照文字资 料来寻找穴位的精确位置。另外这种实体模型也不便于查找某个未知穴位的位 浙江丈学硕士研究生学位论文 鬣。二维平面模型的特点是图文并茂，形象直观，缺点是空间立体感稍差一些。 对于那些空间立体感不强的读者来说，读懂这些模型可能有一定的难度。此外， 大多数穴位是按照经络分布的，这种分块的模型也不利于经络的显示和观察。 基于以上凡点分析，本文逶过研究认为建立计算桃三维穴短模型可以更好的 帮助中医针灸学的教学工作。三维模型不但可以图文并茂，而且便于在数酉个穴 位中查找。如果配以虚拟现实的显示技术，学员可以看到和实体模型一样的效果。 2 3 2 数字针灸穴位入的创建 通常穴位人建模有两种方式：正向工程法和逆向工程法。 一萃孛是正向工程法，所谓歪向工程法就是先通过三维建模工具建立入体模 型，人体模型的尺寸、各个部分的比例是对实体模型的一个缩影；然后建立人体 的穴位和经络，穴位和经络的确定是严格按照中医针灸学的定义来实现的。 另稀是逆向工程法，所谓逆向工程法是通过扫描仪扫描整个实体模型，获 取每个穴位的空间坐标，然后按照这些坐标来建立人体穴位模型。 接下详细的介绍这两种方法的实现。 a 、正向工程法 第一步要建立人体模型，模型的建立主要是同过三维建模工具3 d m a x 、m a y a 等。这燕不做具体介绍。 第二步需要用图形开发包将这些模型读入到虚拟场景釉中，这是个复杂的 过程，不同的三维建模工具所建的模型文件格式是不一样的，要采取不同的读入 方式；不露的贴盈文件也需要不同的映射方式。之前我们已经提到如何雳o p e n g l 来读取3 d s 文件，在这里我们就不再重复介绍。 b 、逆向工程法 l 、获取人体穴位坐标 扫描实体模型。手持扫描枪与实体保持一定的距离，让激光线扫过物体表面 所有的地方。扫描后得到的是大量的点云数据，也就是大量的点的坐标。这些点 是建立虚拟人体模型的原始数据。获取穴位点。当模型扫描结束后，模型上穴位 点的坐标被立即记录下来，取点的方法是用拾取坐标的专用笔的笔尖点在实体模 型的穴位的位置，就可以用计算机记录一个穴位的坐标。 1 9 浙江人学硕士研究生学位论文 2 、生成三角形面集模型 建立三角形面集模型的过程分为两个部分，点处理阶段和面处理阶段。扫描 得到的数据是大量的点的坐标，还需要用软件将这些点进行处理然后生成曲面模 型。处理的过程包括：降噪，去除冗余的点，用抽样的方法减少点的数量。反复 进行图所示的流程直至得出较为满意的面集模型，虽然这么做可以基本上得到模 型所希望的外形要求，但是还是有很多细节部分十分的粗糙，影响了穴位的显示。 因此在面处理阶段需要对很多细节部位进行修饰。图2 4 显示了点到面的处理过 程。 降噪 曲率抽样 = 】二 网络抽样 二】二 一致抽样 二 二 随机抽样 二】二 w r a p 进入面处理