医学虚拟现实与临床医疗课件

医学虚拟现实与临床医疗医学虚拟现实与临床医疗医学虚拟现实与临床医疗一、概述

二、生物医学工程研究的主要内容

三、医院中的生物医学工程——临床工程

四、医学虚拟现实2021/11/142第一页，共80页。一、概述

二、生物医学工程研究的主要内容

三、医院中的生物医学工程——临床工程

四、医学虚拟现实2020/11/142第二页，共80页。一、概述定义内涵特点2020/11/143第三页，共80页。什么叫生物医学工程 生物医学工程〔BiomedicalEngineering,BME〕是运用自然科学和工程技术的原理和方法，研究人的生理、病理过程，提醒人体的生命现象，并从工程角度解决防病治病问题的一门综合性学科。一、概述2020/11/144第四页，共80页。美国国立卫生研究院有关名词命名专家组的定义：

生物医学工程学是结合物理学、化学、数学和计算机科学与工程学原理，从事生物学、医学、行为学或卫生学的研究：①提出根本概念，产生从分子水平到器官水平的知识；②开发创新的生物学制品、材料、加工方法、植入物、器械和信息学方法；③用于疾病预防、诊断和治疗，病人康复，改善卫生状况等目的。一、概述2020/11/145第五页，共80页。早期的生物医学工程也称为医学工程学(MedicalEngineering)：综合运用数理科学原理和现代工程技术研究和解决根底医学和临床医学中问题的分支学科。

临床工程学〔或临床医学工程学〕(ClinicalEngineering)：综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。一、概述2020/11/146第六页，共80页。生物医学工程是工程学与生物医学结合的产物理念上是综合与分析的结合结果上是工程技术或产品为生物医学效劳一、概述2020/11/147第七页，共80页。工程学〔综合〕生物医学工程学科的内涵工程学〔综合〕信息反响市场产品生物医学〔分析〕医学检验装置开发理论想法2020/11/148第八页，共80页。生物医学工程学科的特点生物医学工程学工程学电子学计算机科学力学材料科学机械制造学-----------生物医学生物学神经科学内科学外科学矫形科学

--------综合分析2020/11/149第九页，共80页。二、生物医学工程

主要研究内容2020/11/1410第十页，共80页。医学道德与伦理解剖与生理生物力学康复工程与辅助技术生物材料学组织工程学生物医学仪器生物医学传感器生物信号处理生物电现象生物医学工程主要研究内容生物系统建模与仿真基因组学和生物信息学计算生物学与复杂性理论放射成像医学成像光学和激光在生物医学中的应用数字化医疗设备和技术微型诊疗系统…………2020/11/1411第十一页，共80页。生物材料的应用例2020/11/1412第十二页，共80页。模型及仿真的实例心脏模型的计算机仿真膝关节模型的计算机仿真例2020/11/1413第十三页，共80页。电学模型计算机模型教学模型力学模型心脏例2020/11/1414第十四页，共80页。微型诊疗系统

－－消化道检测胶囊美国SmartPillDiagnositics,Inc.研制的SmartpillTM

智能药丸，用于监测胃肠道压力和肠道运转时间。美国Medtronic公司的BravoTM药丸可吸附在食道上实时监测PH值，已进入临床。例2020/11/1415第十五页，共80页。消化道微型手术机器人韩国胶囊式内窥镜机器人〔Endoscopicmicrocapsule〕，在多关节式药丸系统中，集成了微型摄像头、微型泵、组织活检钳、PH值传感器等微型设备，系统具有主动运动与姿态控制功能，可以完成局部药物释放、图像采集、PH值测定、组织活检、治疗等多种功能。例2020/11/1416第十六页，共80页。三、医院中的生物医学工程

——临床工程2020/11/1417第十七页，共80页。临床工程的定义与内涵医疗仪器设备工程医院信息工程医疗影像信息工程远程医疗工程临床诊断医疗工程临床工程的学科建立临床工程2020/11/1418第十八页，共80页。临床工程学临床工程学

(ClinicalEngineering)：

综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。2020/11/1419第十九页，共80页。国家教委已在2004年明确我国生物医学工程专业教育的方向和目标，从生物医学工程与仪器、生物材料与组织工程、生物医学信息、临床工程四个方向向国际先进水平靠近。国家卫生部医院管理研究所和中华医学会医学工程学会也于2005年开场了“临床工程师资格认证〞工作。尽管还没有相应的法律、法规支持和纳入标准化，但这一大步的前进仍具有可喜可贺的里程碑意义。BME专业教育和人才培养2020/11/1420第二十页，共80页。临床诊断医疗工程2020/11/1421第二十一页，共80页。〔一〕、定义利用数字影像、计算机及空间定位技术制定合理的手术方案并进展手术模拟。CAS基于计算机，对大量数据信息高速处理及控制更平安、更准确。它可以对图像进展三维重建和融合，术前充分评估患者的情况，规划手术路径、方案，模拟手术。术中追踪手术器械，引导手术。确定手术范围，从而使外科手术更加准确、平安和微创化。

计算机辅助外科手术

(computeraidedsurgery，CAS)2020/11/1422第二十二页，共80页。医学图像CTMRIPETDSADRI外科医生结合图像立体定位系统光学定位机械定位超声定位电磁定位患者手术器械配合配准跟踪三维显示〔二〕、组成2020/11/1423第二十三页，共80页。1、光学定位法2、机械手定位法3、超声波定位法4、电磁定位法5、混合定位系统〔三〕、立体定位系统2020/11/1424第二十四页，共80页。〔四〕、配准用计算机图像处理技术将各种影像模式投影在一个坐标系下，融合成新的医学模式。按操作分为:基于外部特征基于内部特征2020/11/1425第二十五页，共80页。〔五〕、应用神经外科术血管畸形手术脊椎手术内镜手术关节置换手术耳鼻喉科手术骨科手术教学2020/11/1426第二十六页，共80页。四、医学虚拟现实计算机和电子技术创造的新世界看似真实的模拟世界2020/11/1427第二十七页，共80页。虚拟现实〔VirtualReality，VR〕：一种基于可计算信息的沉浸式交互环境。采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进展交互、相互影响，从而产生等同亲临真实环境的感受和体验。虚拟现实2020/11/1428第二十八页，共80页。虚拟现实_范畴虚拟现实是高度开展的计算机技术在各种领域的应用过程中的结晶和反映。图形学图像处理模式识别网络技术并行处理人工智能……数学物理通信气象地理美学心理学社会学……2020/11/1429第二十九页，共80页。虚拟现实_关键技术实物虚化：现实世界空间向多维信息化空间的一种映射，主要包括根本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等。虚物实化：确保用户从虚拟环境中获取同真实环境中一样或相似的视觉、听觉、力觉和触觉等感官认知。高性能计算处理技术：主要包括数据转换和数据预处理技术；实时、逼真图像生成与显示技术；多种声音的合成与声音空间化技术等。2020/11/1430第三十页，共80页。虚拟现实_特点沉浸感(Immersive):用户将感觉不到身体所处的外部环境而“融合〞到虚拟世界中去;交互性(Interactive):用户可通过三维交互设备直接控制虚拟世界中的对象并获得反响;虚拟环境中人的参与与反响人机交互的有效性人机交互的实时性2020/11/1431第三十一页，共80页。虚拟现实_特点多感知性(Multi-Sensory):VR系统具有感知视、听、触、嗅、味等多种信息的能力;设想性〔Imagination〕：VR应具有广阔的可想像空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意设想客观不存在的甚至是不可能发生的环境。2020/11/1432第三十二页，共80页。沉浸式虚拟现实系统〔ImmersiveVR〕增强式虚拟现实系统〔AugmentedVR〕桌面式虚拟现实系统〔DesktopVR〕分布式虚拟现实系统〔DistributedVR〕虚拟现实系统分类2020/11/1433第三十三页，共80页。沉浸式虚拟现实系统是一种高级的、较理想的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种仿佛置身于真实世界之中的感觉。沉浸式ＶＲ系统

〔ImmersiveVR〕2020/11/1434第三十四页，共80页。沉浸式虚拟现实系统的特点具有高度实时性能。具有高度的沉浸感。具有良好的系统集成度与整合性能。具有良好的开放性。能同时支持多种输入与输出设备并行工作。

2020/11/1435第三十五页，共80页。桌面式虚拟现实系统也称窗口虚拟现实，是利用个人计算机或初级图形工作站等设备，以计算机屏幕作为用户观察虚拟世界的一个窗口，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界，实现与虚拟世界的交互。桌面式ＶＲ系统(DesktopVR)2020/11/1436第三十六页，共80页。桌面式虚拟现实系统的特点用户处于不完全沉浸的环境，缺少完全沉浸、身临其境的感觉，即使戴上立体眼镜，仍然会受到周围现实世界的干扰。对硬件设备要求低，有时甚至只需要计算机，或是增加数据手套、空间跟踪设置等。由于其实现本钱相对较低，所以应用相对普遍，而且它也具备了沉浸性虚拟现实系统的一些技术要求。2020/11/1437第三十七页，共80页。增强式VR系统(AugmentedVR)增强式虚拟现实系统既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境组合在一起的一种系统。终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差异2020/11/1438第三十八页，共80页。平视显示器即抬头显示器〔HeadUpDisplay〕，战机飞行员的平视显示器，它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上，可以使飞行员不必低头读座舱中仪表的数据，从而可集中精力盯着敌人的飞机或导航偏差。2020/11/1439第三十九页，共80页。增强式虚拟现实系统的特点真实世界和虚拟世界融为一体。具有实时人机交互功能。真实世界和虚拟世界是在三维空间中整合的。2020/11/1440第四十页，共80页。分布式虚拟现实系统

〔DistributedVR〕 虚拟现实系统运行在分布式系统下有两方面的原因：充分利用分布式计算机系统提供的强大计算能力；有些应用本身具有分布特性，如多人通过网络进展游戏和虚拟战争模拟等。

2020/11/1441第四十一页，共80页。各用户具有共享的虚拟工作空间。伪实体的行为真实感。支持实时交互，共享时钟。多个用户可以各自不同的方式相互通信。资源信息共享以及允许用户自然操纵虚拟世界中的对象。分布式虚拟现实系统的特点2020/11/1442第四十二页，共80页。虚拟人_数字人美国主导和酝酿的几个具有国际影响的研究方案：人类基因组方案(HumanGenomeProject,HGP)可视人方案(VisibleHumanProject,VHP)虚拟人方案(VirtualHumanProject,VHP)人类脑方案(HumanBrainProject,HBP)等虽然有各自的研究目标，但在人体模型、人体信息的数字化研究上有着一定的内在联系。为此，美国科学家联盟(FAS)于2001年又将上述方案概括为数字人方案(DigitalHumanProject,DHP)。医学应用2020/11/1443第四十三页，共80页。虚拟人_数字人数字人方案目标：实现人体从基因到分子、细胞、组织、器官、系统和整体的准确模拟。经历4个开展阶段“虚拟可视人〞“虚拟物理人〞“虚拟生理人〞“虚拟智能人〞2020/11/1444第四十四页，共80页。虚拟人外国虚拟人研究1989年美国国立医学图书馆开场酝酿为“可视化人体方案〞。科罗拉多大学安康科学中心承担数据获取工作，第一套男性(断面距离为1.0mm)、女性(断面距离为0.33mm)VHP数据集分别于1994年、1995年完成并向世界公布。2020/11/1445第四十五页，共80页。美国虚拟人1号2020/11/1446第四十六页，共80页。中国虚拟人研究2001年北京174次香山科学会议“中国数字化虚拟人体科技问题〞启动中国数字化虚拟人体的研究。第一军医大(南方医科大学)中国虚拟人I号(男)，0.2mm；中国虚拟人II号(女)，0.1mm。2020/11/1447第四十七页，共80页。虚拟现实技术在

中医领域的应用经络可视化显示的研究虚拟针灸远程脉诊系统中医四诊教学系统2020/11/1448第四十八页，共80页。经络可视化显示的研究例2020/11/1449第四十九页，共80页。基于虚拟现实技术的中医针灸虚拟现实技术在

中医领域的应用例2020/11/1450第五十页，共80页。2020/11/1451第五十一页，共80页。2020/11/1452第五十二页，共80页。2020/11/1453第五十三页，共80页。远程脉诊系统虚拟现实技术在

中医领域的应用例2020/11/1454第五十四页，共80页。虚拟现实技术

在西医领域的应用药物分子设计数字化虚拟人体试验。解决以往必须先通过动物实验、小样本临床验证才能用于临床实验的时间跨度。新药研制苯乙烯分子球棍模型2020/11/1455第五十五页，共80页。医学教育虚拟人体骨骼通过虚拟现实技术建立起人体构造模型，可以使学生通过人机交互对人体模型进展浏览，在模型内部“漫游〞，能让学生非常直观、轻松学习解剖构造，发挥学习的主动性。虚拟现实技术

在西医领域的应用2020/11/1456第五十六页，共80页。医学解剖2020/11/1457第五十七页，共80页。虚拟解剖2020/11/1458第五十八页，共80页。标本的数字资料完整，提供完整的资源直观的为学生创立人体器官的空间构造可重复对标本进展解剖操作，节省大量的资源教学时间和场所可灵活设置，实现自主开放性教学整合了大体、断层、局部、系统解剖学课程，将独立的课程有机的集合起来虚拟人体解剖的优势2020/11/1459第五十九页，共80页。培训外科大夫以往培训一位合格的外科医生，要在上级医生带着下，长期在病人身上积累手术经历。这种“练手艺〞的过程，代价高、风险在、不具备重复性。虚拟现实技术

在西医领域的应用2020/11/1460第六十页，共80页。运用虚拟现实技术可以使医务工作者沉浸于虚拟的场景内，体验并学习如何应付各种临床手术的实际情况，通过视、听、触觉感知等多种感官了解和学习各种手术实际操作，对于年轻医生可以经过在计算机上进展屡次的手术仿真训练，再上真正的手术台，可极大的节约培训医务人员的费用和时间，依据专家的经历创立出的手术专家系统还可以在训练中进展必要的提示和指导。虚拟手术仿真训练系统具有低代价、零风险、多重复性、自动指导的优点。虚拟患者可随时“原地满血〞复活。虚拟现实技术

在西医领域的应用2020/11/1461第六十一页，共80页。在虚拟手术中，医生戴着数据手套，拿着虚拟手术刀，数据手套上配备位置跟踪定位装置，这样虚拟现实系统便可以准确的跟踪医生的运动和位置，模拟产生医生和虚拟病人之间的手术操作交互。一些类似手术仪器、而且可以提供力反响的设备正在研制当中，他们可以提供手术刀或其他器械通过虚拟肌肉时的真实阻力。虚拟手术虚拟现实技术

在西医领域的应用例2020/11/1462第六十二页，共80页。德国卡尔斯鲁厄大学的虚拟腹腔镜手术2020/11/1463第六十三页，共80页。腰椎穿刺虚拟训练系统2020/11/1464第六十四页，共80页。虚拟医学手术仿真训练是一种技术难度较大的应用。与其它虚拟现实应用相比，它的特点是：1、虚拟场景复杂，需要产生多层次、多种形态、相联关系复杂的三维虚拟人体组织；2、人机交互性强，要求定位和反响准确度高。虚拟手术虚拟现实技术

在西医领域的应用2020/11/1465第六十五页，共80页。技术难点：1、仿真的逼真性较低，主要原因是不同虚拟人体组织〔尤其是软组织〕的准确解剖构造和几何模型细节层次的建立以及三维实时显示算法仍有待进一步的改进和优化；2、虚拟组织的各种行为模型〔即真实动态物理模型，如在受到外力时的组织实时形变等〕的建立还不够完善和真实；虚拟手术虚拟现实技术

在西医领域的应用2020/11/1466第六十六页，共80页。3、多通道感觉的缺乏，目前研究大多集中于视觉效果的虚拟，对其他感觉通道如听觉、触觉等力反响的表现较为缺乏，而在医学手术中力的反响是非常重要的；4、多种不同来源的三维医学影像数据的融合和复杂模型的LOD模型优化等技术尚有待开展；由于人体数据的复杂程度高、量大，采用现有数据组合生成最终虚拟手术使用的人体模型数据集的建模方法还有待研究；5、由于西方人种与黄色人种在生理构造上有一定的差异，国外人体模型和研究产品并不能完全适应我国的需要。虚拟手术虚拟现实技术

在西医领域的应用2020/11/1467第六十七页，共80页。虚拟医学手术仿真训练的技术实现主要分为以下三个局部：1、医学图像的三维重建2、虚拟人体组织器官的物理建模3、虚拟手术器械与虚拟人体的碰撞检测和力反响虚拟手术虚拟现实技术

在西医领域的应用2020/11/1468第六十八页，共80页。虚拟手术：逐步形成之中相关研究方向主要有：医学可视化〔MedicalVisualization〕医学增强现实〔MedicalaugmentedReality〕医用机器人，手术模拟〔SurgerySimulation〕图象引导手术〔ImageGuidedSurgery〕计算机辅助手术〔ComputerAidedSurgery，ComputerAssistedSurgery〕等2020/11/1469第六十九页，共80页。虚拟手术优点：手术方案能够利用图像数据，帮助医生合理、定量地制定手术方案，对于选择最正确手术路径、减小手术损伤、减少对临近组织损害、提高肿瘤定位精度、执行复杂外科手术和提高手术成功率等具有十分重要的意义。手术教学训练80%的手术失误是人为因素引起的，所以手术训练极其重要。2020/11/1470第七十页，共80页。虚拟手术其他优势：保护医生降低手术费用改善病人的预后建造定制的修复拟合模型远程干预2020/11/1471第七十一页，共80页。远程外科手术是技术在医学上的一个重要应用,其最初目的是能够让医师在一个地球基站中对太空中的某个宇航员进展手术。斯坦福国际研究院已研制了一套远程手术实验系统。内布拉斯加州大学研究人员研制出的一种机器人机器人装着轮子，高为7.5厘米。手术师通过电脑控制它们就可以在异地实施手术。机器人装有摄像头和照明灯可以将手术的画面传送给手术师。还装有能够进展远程控制的手术器械。远程外科手术虚拟现实技术在

西医领域的应用2020/11/1472第七十二页，共80页。虚拟内窥镜虚