虚拟现实技术在医学领域的应用概述.docxVIP

研究生课程考试成绩单（试卷封面）院 系学习科学中心专业学习科学学生姓名田水学号143369课程名称虚拟现实技术课程编号 S301108授课时间20142015学年 第118周周学时2学分2考核论题虚拟现实技术在医学领域的应用概述简要评语总评成绩（含平时成绩）备注任课教师签名： 日期： 注：1. 以论文或大作业为考核方式的课程必须填此表，综合考试可不填。“简要评语缺填无效。2. 任课教师填写后与试卷一起送院系研究生教务员处。3. 学位课总评成绩以百分制计分。虚拟现实技术在医学领域应用概述1. 虚拟现实概念从本质上说虚拟现实技术就是一种先进的计算机用户接口，它通过给用户同时提供诸如视、听、触等各种直观而又自然的实时感知交互手段，最大限度地方便用户的操作，从而减轻用户的负担、提高整个系统的工作效率。根据VR所应用的对象的不同，VR的作用可以表现为不同的形式，例如将某种概念设计或构思可视化和可操作化；实现逼真的遥现场效果；达到任意复杂环境下的廉价模拟训练目的等。虚拟现实的定义可以归纳如下:虚拟现实是利用计算机生成一种模拟环境(如飞机驾驶舱、操作现场等)，通过多种传感设备使用户“投入”到该环境中，实现用户与该环境直接进行自然交互的技术。这里所谓模拟环境就是用计算机生成的具有表面色彩的立体图形，它可以是某一特定现实世界的真实体现，也可以是纯粹构想的世界。传感设备包括立体头盔（Head Mounted Display）、数据手套 （Data Glove）、数据衣（Data Sult）等穿戴于用户身上的装置和设置于现实环境中的传感装置（不直接戴在身上)。自然交互是指日常使用的方式对环境内的物体进行操作（如用手拿东西、行走等）并得到实时立体反馈。虚拟现实技术具有以下四个重要特征：(1)多感知性（Multi-Sensory）所谓多感知就是说除了一般计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知、甚至应该包括味觉感知、嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制，目前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉、运动等几种，无论从感知范围还是从感知的精确程度都无法与人相比拟。(2)存在感（Presnece）又称为临场感（Immersion），它是指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难以分辨真假的程度（例如可视场景应随着视点的变化而变化），甚至比真的还“真”，如实现比现实更逼真的照明和音响效果等。(3)交互性（InIteraetion）交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性）。例如，用户可以用手去直接抓取模拟环境中的物体，这时手有握着东西的感觉，并可以感觉物体的重量（其实这时手里并没有实物），视场中被抓的物体也立刻随着手的移动而移动。(4)自主性（Autonomy）是指虚拟环境中物体依据物理定律动作的程度。例如，当受到力的推动时，物体会向力的方向移动、或翻倒、或从桌面落到地面等。2. 虚拟现实技术在医学领域应用概述在现实世界中，人从外部世界获取信息的渠道是五种感觉（视觉、听觉、触觉、味觉、嗅觉），其中主要来源是视觉（70%）和听觉（20%）。因此，视觉成像和可视化在VR中起主要作用。虚拟成像系统预定义一个给定的或者想象的场景，现在正朝更逼真的现实性发展。虚拟现实按表现形式大致可以分为参数化虚拟现实和增强虚拟现实两种。参数化虚拟现实就是把真实的图像重叠在虚拟成像环境上；而其对偶过程，即增强现实，是把预先获取的或预先计算好的数据和视频影像重叠在真实成像环境上。通过高速通讯网络系统，VR系统可以同远程手术系统或远程医疗系统中的遥感器和激励器交互作用。这些系统由一些分散的单元围绕一个控制中心组成。通过虚拟环境技术，外科医生在一个远距离的环境中可以使用微型仪器进行微型介入手术操作。微型介入的概念包含了信息获取和治疗，对微型技术和纳米技术的发展提出了更高的要求，目前存在三个主要的也是最基本的问题;器械微型化、能源供应和生物相容性。多媒体系统和协作系统可以有效地应用于VR数据的处理和管理。世界各国尤其是发达国家都对VR在医学上的应用给予了高度的重视，投入了大量的人力物力进行研究，有些国家还成立了专门VR研究机构。例如：美国国家医学图书馆可视化人计划（/research/visible/）;Houston大学虚拟环境技术实验室的VR在腹腔镜外科教育和培训中的应用(/surgery)；Colorado大学卫生科学中心人模拟中心，是美国Visible Human Project的一部分，创立了Visible Human Male和Visible Human Female数据库（/sm/chs）；美国Georgia技术研究所图像可视化和使用中心，致力于虚拟现实环境在手术模拟方面研究（/gvu/）；Mayo Clinic生物医学成像研究中心有一个虚拟现实辅助手术计划（/bir/home.html/）；美国Rutgers大学CAP虚拟现实实验室主要从事VR在医学上的应用（/urlab/）；日本国家癌症中心医学虚拟现实研究开发实验室（http:/www.ncc.go.jp）进行虚拟现实技术在医学领域方面的研究开发工作；日本Nagoya大学生物医学工程系微型系统工程实验室主要从事3D医学图像处理以及虚拟内窥镜方面的研究（http:/www.bmse.mech.nagoyan.ac.jp/）；另外日本Jikei大学高维医学成像研究所（http:/www.jikei.ac.jp/）；也在从事VR及相关技术在医学领域中的研究开发等等。我国在这方面的研究尚处于起步阶段，只有为数不多的机构在进行如远程医疗、计算机辅助手术、器官3D显示等方面的初步技术研究。在医学领域的应用前景非常广泛，Rosen认为，VR将构成最终实用的手术模拟器。作者描绘了虚拟现实技术的某些应用：医学教育、训练系统、辅助诊断、可行性研究、手术模拟、医学康复、远程医疗等诸多方面。但是，这些应用都存在很大的局限性，它们多是基于一种特殊结构的简化模型，或者是基于预处理原始图像的，又由于有些设备的实用性不是太好，目前还没有一种VR系统能够完全地用于具体的临床应用。虚拟现实离完全实用化还有很大差距。虚拟现实技术现在在医学方面的应用主要有以下几个方面：1.虚拟人体解剖图(virtual anatomic atlas.VAA)人体解剖图谱一直是学习和识别人体特征结构的主要工具。以往的人体解剖图大多是以3D形式描绘的插图或是一些实际解剖结构的图片，而虚拟人体解剖图是数字化3D解剖图谱，能让使用者在没有任何外界干扰的情况下自由地观察、移动和生成解剖结构，更快捷地学习和了解解剖信息。德国汉堡Eppendorf大学医学院医学数学和数据处理研究所建立了一个VOXELMAN的虚拟人体。这个虚拟人体系统功能如下：(1)任意选择观察视点，可以做内窥镜观察，也可以作立体观察；(2)任意模拟解剖、手术和穿刺；(3)模拟放射成像；(4)可以得到任意器官和组织的名称、类型、描述以及结构等解剖信息；(5)可以测量器官或组织间的距离。目前国际上最好的人体解剖图谱数据库是可视化人数据库(visible human data，VHD)，是由美国国家医学图书馆发起的可视化人计划(visible human project ，VHP)建立的三维人体的CT、MRI和解剖切面的数字化人体图像库。VHD包括可视化男人(visible human male)和可视化女人(visible human female)两个图像数据库。Visible Human数据库已经成为构造电子医学图书馆和虚拟解剖环境的理想基础。万维网(WWW)为数字图书馆的推广提供了多快好省的传播媒介。自从发行以来，Visible Human数据在虚拟现实以及其它领域上得到了广泛地应用。2虚拟人体功能(vitual human function)人体某一个器官或系统的功能一般是不可见或难以表现的，因为它所表现的往往是生命现象的机理，例如心脏的跳动、人的步态、手部的运动等。如果建立起真正的虚拟人体功能，对于医学教育、医学研究和治疗都有不可估量的应用价值。欧洲的CHARM(comprehensive human animation resources model)计划，旨在建立一个结构化的人体动力学模型。其特征表现在重建的器官可以任意移动和变形，同时保持彼此间的力学关系，从而真实地反映人体的动态行为。法国ENST-Bretagne大学研制成了一个虚拟人类步态模拟器。以3D医学图像为基础，研究人的下身解剖结构，实现了人的下半身骨骼运动步态的模拟。日本Waseda大学成功地开发了一种手套式接口，其形状和材料同手术用的手套很相似。使用者戴上手套，用真实的手部运动操纵虚拟空间中的许多种目标。当在一个真人体上做手术时，使用者可以通过它控制在虚拟空间中的多种数据如MRI、3DCT、3D图像序列等。这种新型的手套式虚拟接口，用来处理手术过程中出现的许多数据，它既不会防碍医生的正常操作，又能让医生自由地控制手术过程的虚拟环境，把人的实时手部运动复制到虚拟控制中。3虚拟手术模拟(virtual surgery simulation，VSS)日益复杂的外科技术（尤其是微型介入外科技术）要求采用新的方法培训外科医生，以提高他们的手术技能。模拟器上反复的训练可以获得更高的安全性；手术模拟器可以模拟对人体内的重要区域的手术；手术前的模拟实验还可以改善预期手术的设计。模拟和训练都是与手术辅助有关的。眼科手术、放射治疗、颅面外科、心脏外科、肝胆外科等都是目前研究的主题。在手术模拟中，例如模拟切除一个肿瘤，需要观察目标附近组织的内部3D结构，并且要从当前活动点指出并确定要切除的肿瘤位置。但是要想显示组织的3D内部结构并确定目标的位置是非常困难的。在实时手术模拟中，随时需要确定下一步的动作，是移动活动点还是移走某部分对象，这时要求做到既快又准。一个3D模拟系统应当能够在一个图像上显示足够多的3D内部结构。日本Jikei大学医学院高维医学成像研究所使用虚拟现实技术开发出了一种手术规划系统，它能在虚拟空间中模拟用手术刀切割皮肤和器官（对应于虚拟空间中的弹性目标），并且采用力反馈设备反馈操作者手部压力，提供一种力感受功能。4远程手术(telesurgery)远程手术诞生在美国的NASA，其最初的目的是能够让医生在一个地球基站中对太空中的某个宇航员进行手术。它可以作为一种远距离的医疗干预方法或是在本地医疗基础设施不足的情况下的应急措施。外科医生在一个虚拟人体模型上进行手术操作。使用传感器感受他的和种手术动作，这些动作信号经高速通讯网络传递给一个手术机器人，由机器人对病人进行手术。远程手术的最基本也是最关键的技术要求就是快速双向数据传输。手术现场的视频图像连续不断地传递给外科医生，通过一个头置式俱MD)显示装置，叠加在他面前的人体模型图像上。为了有效地操纵手术器械，还需要加上其它的信息如触觉、听觉、压力等。美国军方也在开发远程虚拟手术系统。这个系统由一个供外科医生使用的控制台和一个远程手术单元组成，在战场上得到了实际应用，并且效果很好。5虚拟医学教育和培动(vitual medical education and training)医学教育也是VR的一个主要应用领域。VR技术可以用作医学教学、新生培训、技能测试、技术学习、手术计划等诸多方面。例如VR3D医学模型可以显示人体解剖图谱，用来帮助新生或医生更好地学习和了解人体解剖结构；VR手术模拟可以让医生在手术之前学习新的手术方法和程序，练习所制定的手术计划，在手术之后，也能让医生温习或重复全部手术过程，并且能够对医生的技能进行测定。技能测试是VR训练模拟器的一个重要特点。实际上，人的解剖结构和疾病种类因人而异，这些差异将会给医生的诊断带来困难，增加手术的复杂性和难度，而错误的诊断或手术将会导致非常严重的后果，例如大出血、器官损伤甚至死亡。VR技术就能够为同样的疾病提供多种情况，解决这些差异带来的问题。当计算机技术取得更长足的发展时，医生在给病人做手术之前，可以在VR模拟环境中反复地练习和检查那些复杂的手术程序。可以用VR技术检测医生的技术变化。随着年龄的增大，医生的灵活性就会降低，此时要对其手术技能进行测试就比较困难了。由其它医生对他的技能进行测试，往往带有偏见等主观色彩，不太可靠。目前还没有一个方法能判断何时医生的技术下降到了不能进行手术的地步。VR手术模拟器就能够完成这个任务。6.虚拟现实在康复医学上的应用(VR in rehabilitation medicine)VR在康复医学上也有广泛的应用，可以用来检测残疾程度和康复状况。Rutgers大学设计成了一种敏感手套，用于记录手指的运动和力，手套利用记录数据和力反馈信息启动相应的康复疗法。病人的康复情况可以借助VR工具(如手套式、头置式设备)得以改善GreenleafMedicalSystem已经向市场推出了一种可以为有听力障碍者提高听力的装置，其敏感手套感受手指位置的变化，变成文字显示在屏幕上，或通过声音合成器变成声音。日本Nagasaki应用科学技术研究所建立了一种基于“动作接口”的增强环境，用于病人的生理功能和定位能力测试，提供有效的康复训练计划。7体积图像中的3D导航(3D navigation in volume image)VR的一个现实可行的目标是体积图像中的3D自由导航。实际上，目前这种研究尚处于模拟阶段。3D自由导航可以为更复杂的虚拟现实系统提供一种实验场所。有了虚拟导航，就可以进行许多手术前和手术后的处理工作。例如，在初始体积图像中定位传感，预示将要发生轨迹，观察在模拟过程上预先定义的轨迹等等。最后，结合虚拟成像引导医生的介入过程，这个过程可以是以远程方式也可以是以局部方式进行的。所有的操作都是在医生不在病人身边的情况下进行的，使用的工具同远程手术中使用的一样。一个理想的虚拟导航模型应当是一个非常符合实际响应模式的模型，能够按照病人固有的运动和虚拟手术工具的动作变化而变化。例如建立起了一个虚拟传感器后，内窥镜能够感受到感兴趣的表面区域，应当能让使用者交互式控制传感器的定位和轨迹，最后把传感器所提取的信息变换成一个可解析的图像，使用者通过观察返回的图像再控制传感器的位置，由此真实地溶入到虚拟环境之中去。以空间序列形式显示的体积图像的变化，构成了唯一的虚拟显示空间。由于没有了图像的预处理过程，所以虚拟环境包含了所有感受到的原始信息。使用者可以随意控制传感器的参数，以显示某个结构表面或者在不同的解剖结构之间进行切换。8虚拟内窥镜(virtual endoscope)内窥镜电视手术是VR的一个非常有吸引力的应用领域，在最近几年中得到了巨大的发展。主要原因有二个，一是可以减少病人手术死亡率，二是可以减少病人的住院时间和医疗成本。然而，在发展过程中也为医生带来了不少的实际问题：医生对病人的直接观察和对手术区域的接触减少了，手术也就变得更复杂了；另外，内窥镜的视场有限，对大范围的手术非常不利。ARIMA虚拟病人系统最先把医学上的增强现实表现的虚拟解剖结构应用于内窥镜手术之中。它发明了一种成像模式：介入式X线视频断层成像(IVT)。这是一种用于图像引导手术的新兴的成像模式，在手术进行时，实时地显示手术器械相对于病人解剖结构的空间位置。视频成像探测器是一个由光学观察器、照明系统和电子3D传感器组成的一个特别的摄像机，当与内窥镜组合时，用来从不同角度检查腔体的内部结构或者空心器官。9虚拟医疗中心(virtual medical center，VMC)虚拟医疗中心是一个智能化计算机化的临床服务功能，用以代替医生所起的作用。VMC的核心是一个智能中央处理