医学虚拟现实与临床医疗ppt课件.ppt

医学虚拟现实 临床医疗,1,.,一、概述 二、生物医学工程研究的主要内容 三、医院中的生物医学工程临床工程 四、医学虚拟现实,2,一、概述,定义 内涵 特点,3,什么叫生物医学工程 生物医学工程（Biomedical Engineering, BME）是运用自然科学和工程技术的原理和方法，研究人的生理、病理过程，揭示人体的生命现象，并从工程角度解决防病治病问题的一门综合性学科。,一、概述,4,美国国立卫生研究院有关名词命名专家组的定义： 生物医学工程学是结合物理学、化学、数学和计算机科学与工程学原理，从事生物学、医学、行为学或卫生学的研究： 提出基本概念，产生从分子水平到器官水平的知识； 开发创新的生物学制品、材料、加工方法、植入物、器械和信息学方法； 用于疾病预防、诊断和治疗，病人康复，改善卫生状况等目的。,一、概述,5,早期的生物医学工程也称为医学工程学(Medical Engineering)：综合运用数理科学原理和现代工程技术研究和解决基础医学和临床医学中问题的分支学科。 临床工程学（或临床医学工程学）(Clinical Engineering)：综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。,一、概述,6,生物医学工程是工程学与生物医学结合的产物 理念上是综合与分析的结合 结果上是工程技术或产品为生物医学服务,一、概述,7,工程学（综合）,生物医学工程学科的内涵,工程学（综合）,信息反馈,市场产品,生物医学（分析）,医学检验,装置开发,理论,想法,8,生物医学工程学科的特点,生物 医学 工程学,工程学 电子学 计算机科学 力学 材料科学 机械制造学 - -,生物医学 生物学 神经科学 内科学 外科学 矫形科学 - -,综合,分析,9,二、生物医学工程 主要研究内容,10,医学道德与伦理 解剖与生理 生物力学 康复工程与辅助技术 生物材料学 组织工程学 生物医学仪器 生物医学传感器 生物信号处理 生物电现象,生物医学工程主要研究内容,生物系统建模与仿真 基因组学和生物信息学 计算生物学与复杂性理论 放射成像 医学成像 光学和激光在生物医学中的应用 数字化医疗设备和技术 微型诊疗系统 ,11,生物材料的应用,例,12,模型及仿真的实例,心脏模型的计算机仿真,膝关节模型的计算机仿真,例,13,电学模型,计算机模型,教学模型,力学模型,心脏,例,14,微型诊疗系统 消化道检测胶囊,美国SmartPill Diagnositics, Inc.研制的SmartpillTM 智能药丸，用于监测胃肠道压力和肠道运转时间。,美国Medtronic公司的BravoTM 药丸可吸附在食道上实时监测PH值，已进入临床。,例,15,消化道微型手术机器人,韩国胶囊式内窥镜机器人（Endoscopic microcapsule），在多关节式药丸系统中，集成了微型摄像头、微型泵、组织活检钳、PH值传感器等微型设备，系统具有主动运动与姿态控制功能，可以完成局部药物释放、图像采集、PH值测定、组织活检、治疗等多种功能。,例,16,三、医院中的生物医学工程 临床工程,17,临床工程的定义与内涵 医疗仪器设备工程 医院信息工程 医疗影像信息工程 远程医疗工程 临床诊断医疗工程 临床工程的学科建设,临床工程,18,临床工程学,临床工程学 (Clinical Engineering)： 综合运用数理科学原理和现代工程技术的理论和方法研究、解决临床医学实际问题的分支学科。,19,国家教委已在2004年明确我国生物医学工程专业教育的方向和目标，从生物医学工程与仪器、生物材料与组织工程、生物医学信息、临床工程四个方向向国际先进水平靠近。 国家卫生部医院管理研究所和中华医学会医学工程学会也于2005年开始了“临床工程师资格认证”工作。 尽管还没有相应的法律、法规支持和纳入规范化，但 这一大步的前进仍具有可喜可贺的里程碑意义。,BME专业教育和人才培养,20,临床诊断医疗工程,21,（一）、定义 利用数字影像、计算机及空间定位技术制定合理的手术方案并进行手术模拟。 CAS基于计算机，对大量数据信息高速处理及控制更安全、更准确。 它可以对图像进行三维重建和融合，术前充分评估患者的情况，规划手术路径、方案，模拟手术。术中追踪手术器械，引导手术。确定手术范围，从而使外科手术更加精确、安全和微创化。,计算机辅助外科手术 (computer aided surgery，CAS),22,（二）、组成,23,1、光学定位法 2、机械手定位法 3、超声波定位法 4、电磁定位法 5、混合定位系统,（三）、立体定位系统,24,（四）、配准 用计算机图像处理技术将各种影像模式投影在一个坐标系下，融合成新的医学模式。按操作分为: 基于外部特征 基于内部特征,25,（五）、应用,神经外科术,血管畸形手术,脊椎手术,内镜手术,关节置换手术,耳鼻喉科手术,骨科手术,教学,26,四、医学虚拟现实,计算机和电子技术创造的新世界 看似真实的模拟世界,27,虚拟现实（Virtual Reality，VR）：一种基于可计算信息的沉浸式交互环境。 采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互、相互影响，从而产生等同亲临真实环境的感受和体验。,虚拟现实,28,虚拟现实_范畴,虚拟现实是高度发展的计算机技术在各种领域的应用过程中的结晶和反映。 图形学 图像处理 模式识别 网络技术 并行处理 人工智能 ,数学 物理 通信 气象 地理 美学 心理学 社会学 ,29,虚拟现实_关键技术,实物虚化：现实世界空间向多维信息化空间的一种映射，主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等 。 虚物实化：确保用户从虚拟环境中获取同真实环境中一样或相似的视觉、听觉、力觉和触觉等感官认知。 高性能计算处理技术：主要包括数据转换和数据预处理技术；实时、逼真图像生成与显示技术；多种声音的合成与声音空间化技术等。,30,虚拟现实_特点,沉浸感( Immersive) :用户将感觉不到身体所处的外部环境而“融合”到虚拟世界中去; 交互性( Interactive) :用户可通过三维交互设备直接控制虚拟世界中的对象并获得反馈; 虚拟环境中人的参与与反馈 人机交互的有效性 人机交互的实时性,31,虚拟现实_特点,多感知性 (Multi-Sensory) :VR 系统具有感知视、听、触、嗅、味等多种信息的能力; 构想性（Imagination）：VR应具有广阔的可想像空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境。,32,沉浸式虚拟现实系统（Immersive VR） 增强式虚拟现实系统（Augmented VR） 桌面式虚拟现实系统（Desktop VR） 分布式虚拟现实系统（Distributed VR）,虚拟现实系统分类,33,沉浸式虚拟现实系统是一种高级的、较理想的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种仿佛置身于真实世界之中的感觉。,沉浸式系统 （Immersive VR）,34,沉浸式虚拟现实系统的特点,具有高度实时性能。 具有高度的沉浸感。 具有良好的系统集成度与整合性能。 具有良好的开放性。 能同时支持多种输入与输出设备并行工作。,35,桌面式虚拟现实系统也称窗口虚拟现实，是利用个人计算机或初级图形工作站等设备，以计算机屏幕作为用户观察虚拟世界的一个窗口，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界，实现与虚拟世界的交互。,桌面式系统(Desktop VR),36,桌面式虚拟现实系统的特点,用户处于不完全沉浸的环境，缺少完全沉浸、身临其境的感觉，即使戴上立体眼镜，仍然会受到周围现实世界的干扰。 对硬件设备要求低，有时甚至只需要计算机，或是增加数据手套、空间跟踪设置等。 由于其实现成本相对较低，所以应用相对普遍，而且它也具备了沉浸性虚拟现实系统的一些技术要求。,37,增强式VR系统(Augmented VR),增强式虚拟现实系统既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境组合在一起的一种系统。 终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别,38,平视显示器即抬头显示器（Head Up Display），,战机飞行员的平视显示器，它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上，可以使飞行员不必低头读座舱中仪表的数据，从而可集中精力盯着敌人的飞机或导航偏差。,39,增强式虚拟现实系统的特点,真实世界和虚拟世界融为一体。 具有实时人机交互功能。 真实世界和虚拟世界是在三维空间中整合的。,40,分布式虚拟现实系统 （Distributed VR）,虚拟现实系统运行在分布式系统下有两方面的原因： 充分利用分布式计算机系统提供的强大计算能力； 有些应用本身具有分布特性，如多人通过网络进行游戏和虚拟战争模拟等。,41,各用户具有共享的虚拟工作空间。 伪实体的行为真实感。 支持实时交互，共享时钟。 多个用户可以各自不同的方式相互通信。 资源信息共享以及允许用户自然操纵虚拟世界中的对象。,分布式虚拟现实系统的特点,42,虚拟人_数字人,美国主导和酝酿的几个具有国际影响的研究计划： 人类基因组计划(Human Genome Project,HGP) 可视人计划(Visible Human Project, VHP) 虚拟人计划(Virtual Human Project,VHP) 人类脑计划(Human Brain Project, HBP)等 虽然有各自的研究目标，但在人体模型、人体信息的数字化研究上有着一定的内在联系。为此，美国科学家联盟(FAS)于2001年又将上述计划概括为 数字人计划(Digital Human Project, DHP)。,医学应用,43,虚拟人_数字人,数字人计划 目标：实现人体从基因到分子、细胞、组织、器官、系统和整体的精确模拟。 经历4个发展阶段 “虚拟可视人” “虚拟物理人” “虚拟生理人” “虚拟智能人”,44,虚拟人,外国虚拟人研究 1989年美国国立医学图书馆开始酝酿为“可视化人体计划”。 科罗拉多大学健康科学中心承担数据获取工作，第一套男性(断面距离为1.0 mm)、女性(断面距离为0.33 mm) VHP数据集分别于1994年、1995年完成并向世界公布。,45,美国虚拟人1号,46,中国虚拟人研究,2001年北京174次香山科学会议 “中国数字化虚拟人体科技问题” 启动中国数字化虚拟人体的研究。 第一军医大(南方医科大学) 中国虚拟人I号 (男) ，0.2mm； 中国虚拟人II号(女)，0.1 mm。,47,虚拟现实技术在 中医领域的应用,经络可视化显示的研究 虚拟针灸 远程脉诊系统 中医四诊教学系统,48,经络可视化显示的研究,例,49,基于虚拟现实技术的中医针灸,虚拟现实技术在 中医领域的应用,例,50,51,52,53,远程脉诊系统,虚拟现实技术在 中医领域的应用,例,54,虚拟现实技术 在西医领域的应用,药物分子设计 数字化虚拟人体试验。解决以往必须先通过动物实验、小样本临床验证才能用于临床实验的时间跨度。,新药研制,苯乙烯分子球棍模型,55,医学教育 虚拟人体骨骼,通过虚拟现实技术建立起人体结构模型，可以使学生通过人机交互对人体模型进行浏览，在模型内部“漫游”，能让学生非常直观、轻松学习解剖结构，发挥学习的主动性。,虚拟现实技术 在西医领域的应用,56,医学解剖,57,虚拟解剖,58,标本的数字资料完整，提供完整的资源 直观的为学生创建人体器官的空间结构 可重复对标本进行解剖操作，节省大量的资源 教学时间和场所可灵活设置，实现自主开放性教学 整合了大体、断层、局部、系统解剖学课程，将独立的课程有机的集合起来,虚拟人体解剖的优势,59,培训外科大夫 以往培训一位合格的外科医生，要在上级医生带领下，长期在病人身上积累手术经验。这种“练手艺”的过程，代价高、风险在、不具备重复性。,虚拟现实技术 在西医领域的应用,60,运用虚拟现实技术可以使医务工作者沉浸于虚拟的场景内，体验并学习如何应付各种临床手术的实际情况，通过视、听、触觉感知等多种感官了解和学习各种手术实际操作，对于年轻医生可以经过在计算机上进行多次的手术仿真训练，再上真正的,手术台，可极大的节约培训医务人员的费用和时间，依据专家的经验创建出的手术专家系统还可以在训练中进行必要的提示和指导。 虚拟手术仿真训练系统具有低代价、零风险、多重复性、自动指导的优点。 虚拟患者可随时“原地满血”复活。,虚拟现实技术 在西医领域的应用,61,在虚拟手术中，医生戴着数据手套，拿着虚拟手术刀，数据手套上配备位置跟踪定位装置，这样虚拟现实系统便可以精确的跟踪医生的运动和位置，模拟产生医生和虚拟病人之间的手术操作交互。 一些类似手术仪器、而且可以提供力反馈的设备正在研制当中，他们可以提供手术刀或其他器械通过虚拟肌肉时的真实阻力。,虚拟手术,虚拟现实技术 在西医领域的应用,例,62,德国卡尔斯鲁厄大学的虚拟腹腔镜手术,63,腰椎穿刺虚拟训练系统,64,虚拟医学手术仿真训练是一种技术难度较大的应用。与其它虚拟现实应用相比，它的特点是： 1、 虚拟场景复杂，需要产生多层次、多种形态、相联关系复杂的三维虚拟人体组织； 2、 人机交互性强，要求定位和反馈精确度高。,虚拟手术,虚拟现实技术 在西医领域的应用,65,技术难点： 1、仿真的逼真性较低，主要原因是不同虚拟人体组织（尤其是软组织）的精确解剖结构和几何模型细节层次的建立以及三维实时显示算法仍有待进一步的改进和优化； 2、虚拟组织的各种行为模型（即真实动态物理模型，如在受到外力时的组织实时形变等）的建立还不够完善和真实；,虚拟手术,虚拟现实技术 在西医领域的应用,66,3、多通道感觉的缺乏，目前研究大多集中于视觉效果的虚拟，对其他感觉通道如听觉、触觉等力反馈的表现较为缺乏，而在医学手术中力的反馈是非常重要的； 4、多种不同来源的三维医学影像数据的融合和复杂模型的LOD模型优化等技术尚有待发展；由于人体数据的复杂程度高、量大，采用现有数据组合生成最终虚拟手术使用的人体模型数据集的建模方法还有待研究； 5、由于西方人种与黄色人种在生理结构上有一定的差异，国外人体模型和研究产品并不能完全适应我国的需要。,虚拟手术,虚拟现实技术 在西医领域的应用,67,虚拟医学手术仿真训练的技术实现主要分为以下三个部分： 1、医学图像的三维重建 2、虚拟人体组织器官的物理建模 3、虚拟手术器械与虚拟人体的碰撞检测和力反馈,虚拟手术,虚拟现实技术 在西医领域的应用,68,虚拟手术： 逐步形成之中 相关研究方向主要有： 医学可视化 （Medical Visualization） 医学增强现实 （Medical augmented Reality） 医用机器人，手术模拟（Surgery Simulation） 图象引导手术 （Image Guided Surgery） 计算机辅助手术 （Computer Aided Surgery，Computer Assisted Surgery）等,69,虚拟手术优点： 手术方案能够利用图像数据，帮助医生合理、定量地制定手术方案，对于选择最佳手术路径、减小手术损伤、减少对临近组织损害、提高肿瘤定位精度、执行复杂外科手术和提高手术成功率等具有十分重要的意义。 手术教学训练80%的手术失误是人为因素引起的，所以手术训练极其重要。,70,虚拟手术其他优势： 保护医生 降低手术费用 改善病人的预后 建造定制的修复拟合模型 远程干预,71,远程外科手术是技术在医学上的一个重要应用, 其最初目的是能够让医师在一个地球基站中对太空中的某个宇航员进行手术。斯坦福国际研究院已研制了一套远程手术实验系统