虚拟现实医疗应用白皮书

1、虚拟现实医疗应用白皮书（）虚拟现实医疗应用白皮书（）吴阶平医学基金会虚拟现实 产业联盟赛迪智库电子信息研究所10月前言前言虚拟现实与医 疗的融合将为传统医疗行业带来全新变革。虚拟现实具有逼真的场景呈现、事前可规划性和过程可重复 性，可有效解决医疗行业面临的实操风险高、可重复率低、培训 资源短缺等问题。随着虚拟现实技术的不断进步与发展，虚拟现实+医疗时代正 逐步到来。为加快推动我国虚拟现实医疗应用的快速发展，吴阶平医学 基金会、虚拟现实产业联盟、赛迪智库电子信息研究所联合编写 了虚拟现实医疗应用白皮书，分析了国内外虚拟现实医疗应 用发展现状，梳理了我国虚拟现实医疗的发展方向和创新进展， 对虚拟现

2、实医疗行业的发展趋势进行了展望。在此基础上对虚拟现实医疗应用的发展提出了措施建议，以 期为我国虚拟现实医疗应用发展和相关政策制定提供参考。如有商榷之处，欢迎批评指正。本白皮书由吕建平、安晖主编，闵世豪、秦文健、谢广磊、 郑俊、温晓君、赵燕、张甜甜参与撰稿。年10月月I目目录录一、发展现状1 （一）国内发展状况2（二）国外发展状况8二、主要发展方向14 （一）虚拟现实+医+ （三）虚拟现实17个性化健身+ （二）虚拟现实14学教育培训 心理障碍治疗扩大，预计将达到17亿美元，的市场复合增长率 预计为105.6%。虚拟现实在医疗领域的应用涉及手术模拟、技能培训、手术 辅助、心理治疗等多个领域。现有

3、国内虚拟现实技术方案主要集中在医学教育领域，覆盖 市场在60%以上。在临床方面，虚拟现实技术使用率较低，体验感还没有得到 医生和医疗机构的普遍认可，属于科研拓展阶段，还未形成完善 的商业闭环。2 （一）国内发展状况（一）国内发展状况1、VR医疗发展 现状医疗发展现状VR技术与医疗融合的技术与医疗融合的主要 应用方向包括虚拟手术培训、强化临床诊断、远程医疗、心理疾 病治疗、护理学和康复训练、产品研发等。在模拟手术领域模拟手术领域，经验丰富的外科医生可以利 用虚拟手术室学习和探索新技术，或者进一步深化掌握具体手术 操作步骤。在培训领域培训领域，医学生能够以身临其境的方式学习人 体解剖、临床等相关知

4、识。国内典型应用案例如下：（1）VR剖腹产手术模拟主要通过VR技术模拟真实手术室环境，全方位沉浸式体验剖腹产手术流 程（图1.1）。软件使用高精度孕妇模型将皮肤、内部脏器、胎儿完全模拟 真实人体解剖结构。用户在操作过程中能获得实时交互反馈，还能接受理论知识 考核，实现交互实操与理论相结合。软件还能模拟突发状况，训练用户临场应对能力。同时包含教学模式与考核模式，以更好地掌控用户的学习进 度。3图图1.1VR模拟剖腹产手术模拟剖腹产手术（2）VR胸腔 穿刺术模拟通过VR技术模拟胸腔积液或气胸患者，利用胸腔穿 刺抽取积液或气体模拟手术（图1.2）。系统完全还原患者病情，操作时会对用户逐步提示，用户每

5、 一步操作都会有相应反馈。图图1.2VR模拟胸腔穿刺术模拟胸腔穿刺术（3）VR手术直 播培训由于医学生无法进入手术室学习，VR直播可同步播放手 术室中的实时情况，使医学生能身临其境地观摩学习手术。国内已将VR技术应用于脑脊髓血管解剖、脑血管造影手术4 的专业直播与技术培训中。（4）VR解剖学教室国内相关院校已设置VR解剖学教室， 可供多人同时进入同一虚拟场景空间，突破学生学习立体解剖空 间的瓶颈，大幅提升学生的学习兴趣与成效（图1.3）。虚拟场景解剖软件可支持300人同时上线，在模拟环境里拆 解、旋转人体中超过4000个不同解剖部位，静态或动态观察脏 器的活动。.图图1.3VR解剖学教室解剖学

6、教室2、AR医疗发展现状医 疗发展现状AR技术与医疗融合技术与医疗融合的主要应用方向 包括医学教育、中医药教育、辅助手术、远程医疗、医疗检测等。国内科技公司现有的AR医疗产品主要针对医院和第三方实 验室，包括硬件、应用软件等。在医学教育医学教育方面，已经成熟的应用有利用AR技术 寻找静脉注射用血管。在实际医护工作中，小孩的血管比较纤细5或者部分患者血 管凹陷的情况给护理工作带来了很大挑战。AR技术可以在患者身体上投射出血管图形，让护士准确定位 注射用血管，避免操作失误对患者的伤害。在中医药教育中医药教育方面，将AR技术与中药材图谱相 结合，可将中药植株和饮片立体地展现出来；在针灸教学过程中，

7、AR技术可以为学生展现出虚拟人体模型，演示穴位定位、进针 手法等教学过程。在远程医疗远程医疗方面，可以通过AR眼镜直接传输手术 情况给远方专家组，专家可以通过远程辅助技术远程给手术主刀 医生提供意见。在医疗检测医疗检测方面，部分医院进行了一些尝试，如通 过AR全息眼镜观察人体结构、通过AR技术监测患者生命体征 技术辅助下颅内血管畸形切AR） 1 （国内典型应用案例如下： 除手术11月，国内某医院完成AR技术辅助下儿童颅内血管畸 形切除手术。手术借助AR技术将患儿的病变位置、血管和组织以三维（3D） 图像方式呈现给医生。以往，医生在查看二维（2D）影像资料时，需要通过空间想 象来叠加，AR技术能

8、三维再现影像，提高手术的精准度和安全 性。（2）救护车内5G+AR医疗急救7月，国内某医院顺利完成 5G+AR医疗急救演6练。在接到急救电话后，医院调配置5G城市应急救援系统的“5G 救护车”前往，从患者被抬上“5G救护车”的一刻起，车上的 急救人员与医院急诊抢救医护团队实现“零时差”对接。救护车内的医护人员采取5G网络联动方案，佩戴AR眼镜， 与医院内专家进行远程AR诊疗。通过AR眼镜，院内专家可实时监测患者病情变化，进行远 程会诊指导急救，争分夺秒抢救患者。（3）5G+AR智慧医疗7月，国内某医院通过5G+AR技术成 功实现了远程协同介入手术。县级市人民医院医生借助AR眼镜，将手术实况实时

9、回传至 相距千里的国内顶级三甲医院专家（图1.4），在心内科专家的指 导下顺利完成冠脉介入治疗手术。将影像传输至后端眼镜，眼镜，AR术者佩戴术者佩戴1.4图图 将影像传输至后端通常国内中小型医院医生在面对一些复杂手 术时，希望有大型医院专家的协助指导。邀请外院专家会诊存在路途遥7远、专家时间冲突、患者费 用和病情能否允许等一系列现实问题。不同地区的医生之间的信息传递主要依靠微信等方法，难以 实时同步手术全过程信息，在与生命的赛跑中很可能出现“慢半 拍”的情况。5G+AR技术可以解决大型医院专家的远程协助问题，将大型 医院的技术能力下沉辐射到更广泛的区域，有效助推分级医疗制 度，缓解广大群众就医

10、难的问题。3、政策环境发展情况、政策环境发展情况以来，我国多个部 委陆续出台了多份推动虚拟现实技术产业发展及医疗领域应用 的相关政策，持续提升对虚拟现实医疗技术研发、产品消费、市 场应用的支持力度。表1相关部委关于虚拟现实的政策措施发布时间发布时间政 策名称政策名称发布机构发布机构政策内容政策内容9月（二） 国外发展状况（二）国外发展状况1、VR医疗发展现状医疗发 展现状VR技术与医疗融合的技术与医疗融合的主要应用方向包 括机器人手术、恐惧症治疗、手术模拟和技能培训等。此外，VR医疗在患者教育、心理健康和心理治疗等方面也发 挥着重要作用。医疗的主流应VR+手术模拟器VR） 1 （典型应用案例如

11、下： 用领域是通过VR技术训练外科医生。9国外VR公司将3D技术和VR相结合，研发出各种手术模 拟器。外科医生戴好特定的VR眼镜后，可以通过模拟器实施各种 手术。其中手术刀的角度、操作力度等均能体现在虚拟患者身上（图 1.5）。图图1.5VR手术模拟手术模拟（2）VR病灶重现在VR技术 的帮助下，患者可以和医生一起“走进”他的身体里，进而制定 更精准的治疗方案。国外有VR公司为每名患者量身定制一个360的虚拟现实 世界，通过VR技术将患者身体的病灶重现（图1.6）。医生可以邀请患者一起“钻”进这个世界，共同商量制定治 疗方案，并通过反复模拟操作最终实现手术风险的显著降低。10图图1.6VR重现

12、病灶重现病灶（3）VR改变幻肢感受国外 某研究院利用VR技术和神经刺激技术，帮助截肢者改变“幻肢” 感受，结合视觉和触觉诱骗截肢者的大脑，让假肢的使用更简单、 自然。截肢者戴上VR头盔可以看到虚拟假肢（图1.7）。通过对截肢患者残肢的神经施加人工触觉，同时虚拟假肢的食指会在受刺激的触摸感觉中同步发光，从而产生幻肢和假肢是 同一个肢体的错觉。.图图1.7患者正在使用患者正在使用VR改变幻肢感受改变幻 肢感受112、AR医疗发展现状医疗发展现状在AR技术与医疗 融合技术与医疗融合领域，国外研究机构正在开发AR系统，可 以将计算机体层摄影（CT）、磁共振成像（MRI）、X射线或超声 扫描的2D诊断图

13、像转换为3D图像。该技术可以提供患者正常解剖和病变图像，这些图像在手术 中可显示在患者体表，协助医生准确定位，节省手术时间。在远程手术中，世界各地的外科医生团队还可以通过AR技 术协同工作。该技术已基本成熟，但远程手术需要能够在大约70毫秒内显 示信息，网速还是一大挑战。典型应用案例如下：（1）AR辅助脊椎手术国外已经开发出一 套结合AR技术的医疗影像处理系统，该系统可以让医生事先了 解患者身体结构情况，然后根据其结构特点来制定手术方案，以 便更加精确地放置植入物（图1.8），整个手术时长缩短，减轻了 患者和医生的负担。同样，当植入物放置完毕或手术完成后，医生也可以通过该 AR系统来观察手术效

14、果，无需患者额外接受检查。12图图1.8AR对辅助判断穿刺位置对辅助判断穿刺位置（2）AR解剖教学系统国外医疗创企开发出可以显示8或儿童患者， 更加难以穿刺成功。技术与手持扫描可以帮助找到静脉准确位置（图AR通过1.10）。研究表明这项技术将首次找准静脉的可能性提高3.5倍，大 幅提升患者的就医体验。图图1.10AR扫描仪找准静脉扫描仪找准静脉（4）AR手术 视觉指南美国食品药物监督管理局（FDA）已批准首个用于AR 头戴式显示器的医疗视觉辅助系统，该系统通过2D、3D和4D 图像技术，让医生在手术开始前获得可能在术中遇到问题的视觉 指南（图1.11）。该系统可以呈现患者2D和3D图像，并将其

15、准确地叠加在患 者身上。图图1.11AR手术视觉辅助手术视觉辅助14二、主要发展方 向二、主要发展方向（一）虚拟现实（一）虚拟现实+医学教育 培训医学教育培训将虚拟现实技术与医学教育相结合进行人才 培养，发展虚拟现实医学教育是当前的重点。根据中国卫生健康统计年鉴，我国卫生技术人员已达758 万，预计到全国卫生计生人才总量将达1255万人。按照卫健委要求，我国医院的医生和护士比例应为1： 2,重 要科室医生和护士的比例应是1： 4。但全国实际的医护比例仅为1： 0.61，与1： 2.7的国际水平 相差很大。医护比例短期内存在5有60所一本类院校开设护理专业，财政划拨给医务人员教育10万人，每年人

16、才缺口 1.2毕业人数.的款项、医药企业用于医生教育的市场费用、医生每年用于培训 的个人花费共计约260亿元。根据QYResearch数据，我国虚拟现实医学教育市场规模2.1 亿美元，预计将达到10亿美元以上，年复合增长率22%，高于 全球市场水平。虚拟现实在医学教育方面的典型案例如下：1、VR全景视频 培训全景视频培训近年来，医疗领域逐步开始通过VR技术进行 医疗培训。15VR医疗培训能提供全方位沉浸感的专业服务，让被培训者 在虚拟环境中深度学习，快速提高技能。国外部分大学正致力于通过VR技术培训医护人员（图2.1）。研究人员使用专业级全景相机记录教学全过程，并使用头戴 式显示设备让学生身临

17、其境地观摩学习。图图2.1培训者正使用培训者正使用VR观看全景教学视频观 看全景教学视频VR全景视频培训通过构建一个高还原度的模拟 环境，让学生身临其境地感受整个救护过程，从中学习实践经验 与应对技巧，而不仅仅是通过课堂上教学者的讲解来获取理论知 识。这种真实的临场感所特有的紧张和压力可以让学生更熟悉救 护场景，了解如何应对这种场景带来的压力，有助于最大限度地 减少人为失误所导致的医疗事故。手术模拟培训是通过VR手术模拟培训手术模拟培训VR、2 VR技术，构建一个虚拟仿真手术室场景，模拟真实患者、医生、 护士和手术室环境，然16后使用VR设备，在虚拟场景下进行 手术培训（图2.2、2.3）。图

18、图2.2学生正使用学生正使用VR设备进行模拟手术设备进 行模拟手术图图2.3学生正使用学生正使用VR设备进行模拟手 术设备进行模拟手术VR能有效提高培训效果能有效提高培训效 果。国外研究表明，与仅接受传统骨科手术培训的学生相比，经 过VR培训的医学生的整体水平测试分数要高出130%，同时正 确率高出38%，速度也快都要监控自身所受X光辐射的总量， VR手术模拟培训能很好地解决这一问题。另外，VR手术模拟培训可以让外科医生随时随地多次练习， 有助于完成培训目标；能为外科医生提供一些困难且少见的案例， 提高医生诊疗水平；可以为受训医生评分和反馈，帮助他们学习 和提高；能将培训中专家和非专家用户的数

19、据进行对比，计算出 不同医疗机构中外科医生的整体表现，帮助医生之间互相学习， 推动整体医疗水平的提高；能支持远程课程，为医疗资源较缺乏 地区的医生提供医疗培训。（二）虚拟现实（二）虚拟现实+个性化健身个性化健身虚拟 现实技术一方面能增进健身的趣味性，让高强度的训练变成舒适 的的游戏体验；另一方面能提供精准的技术指导，有助于用户更 快的学习技术动作，更有效达到训练目标。.18虚拟现实在健身方面的典型应用案例如下：1、VR健身 场景模拟健身场景模拟VR领域有很多健身项目，比如带上VR 眼镜，用户就可以从小房间中枯燥无聊的划船机上摆脱出来，进 入到虚拟场景中，就像在真正的大江大河里漂流。有很多VR创

20、业公司与运动品牌商开始尝试将VR与运动健 身进行结合（图2.4），开发了新型的APP与配件，并且认为这 将改变人们的健身生活方式。图图2.4健身者正使用健身者正使用VR设备进行健身设备进 行健身2、VR健身场景模拟健身场景模拟+数据化数据化美国 运动类APP科技公司开发了 一款VR健身模拟软件，并将VR中 的运动数据连接至手机APP供用户查看，包括时间、距离、消 耗的卡路里和心率数据纳入统计数据。用户只要购买一个合适的运动传感器，就能够体验到将日常 普通的健身场景虚拟化+健身数据化（图2.5）。19图图2.5使用使用VR与传感器达到虚拟化、数据化健身 与传感器达到虚拟化、数据化健身3、AR虚拟

21、健身教练虚拟健 身教练开发者运用130台单反相机对健身教练的动作进行捕捉 拍摄和构建3D动画模型，高品质的3D模型能完全复制教练的 健身动作（图2.6）。用户可以360无死角观看健身教练的动作。与传统健身教学视频相比，一些视频不容易理解的教学动作 能够更直观的表现出来。.图图2.6对健身教练进行动作捕捉对健身教练进行动作捕捉 痴呆防治老年痴呆国外开发出的一款使用运动传感器的VR认知 康复系统，由14种使用视觉感知的日常训练游戏组成，通过智 力刺激提高解决日常生活所遇问题的认知能力（图2.15）。该系统不仅对预防痴呆症成效显然，而且对脑损伤患者的理 解力恢复富有帮助。图图2.15老年人正使用老年

22、人正使用VR设备进行防治老年 痴呆设备进行防治老年痴呆（六）虚拟现实（六）虚拟现实+视 力障碍治疗视力障碍治疗，世界卫生组织发布的视力残疾全球 数据报告28指出，全球约有2.46亿人视力低下（患病率3.65%）， 3900万人目盲（患病率0.58%），其中我国共有6726.4万人视力 低下（患病率27.3%），824.8万人目盲（患病率来，国外多个高 校及科研机构致力于推动虚拟现实医疗产业技术创新发展。美国纽约州立大学、德克萨斯大学和哈佛大学研究人员开发 模拟了多个可能会导致抑郁症的场景，帮助青少年了解大脑运作 模式，从而学会如何控制自己以及如何更好地改变自己行为。华盛顿大学研发了一项帮助介入

23、放射科医生实现在微血管中 安全精准的3D实时导航的新VR技术。美国杜克大学研发了基于虚拟现实的模拟和脑波控制的机器 人套装，帮助8位严重脊髓损伤患者经过12个月训练计划恢复 对下肢部分神经控制。建立了融合医虚拟平台，VOXEL-MAN德国汉堡大学开发了 学影像学领域优秀成果及完备的医学知识库系统的三维可视化 人体模型，用以模拟解剖、外科手术、放射成像、测量距离等。加拿大多伦多大学研发了高性能计算与具有高度沉浸感的可 视化技术相结合的SGIOnyx3800系统，使研究人员能够更有效 地研究分子间的相互作用，运用应用软件完成计算化学所需的繁 琐数字计算，进行新药物开发。加拿大34Sunnybrook医院通过虚拟现实技术帮助患者减轻术 前焦虑。日本东京大学重点研发了 VR可视化、开发虚拟全息系统， 使用头戴式显示器可在建筑群中漫游。（二）国内高校科研进展（二）国内高校科研进展国内部分 高校及科研院所也