CN104722056A一种运用虚拟现实技术的康复训练系统及方法

CN104722056A一种运用虚拟现实技术的康复训练系统及方法 (10)申请公布号 (43)申请公布日 (21)申请号xx10059881.9 (22)申请日xx.02.05A63B71/06(xx.01)A63B71/00(xx.01) (71)申请人北京市计算中心地址100005北京市东城区东四南大街249号 (72)发明人季红沈涛刘晓晖高佳林翰宇唐艳艳沈芸徐德雄 (54)发明名称一种运用虚拟现实技术的康复训练系统及方法 (57)摘要本发明公开了一种运用虚拟现实技术的康复训练系统及方法，包括如下三个阶段第一阶段通过体感设备Kinect采集人体骨骼节点，生成骨架系统。 第二阶段准备模型并绑定骨骼，搭建数据库环境，通过深度信息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应。 第三阶段将Kinect的数据通过接口函数传入Unity3D当中，驱动场景模型进行运动。 第四阶段导入角色，调试环境。 第五阶段数据的写入以及读出，并控制数据可视化。 本发明摆脱传感器束缚，实现自然肢体运动监测成为可能；采用体感交互设备Kinect，降低了系统的成本，消除了训练过程中穿戴输入设备的繁琐性。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书1页说明书4页 (10)申请公布号104722056A (43)申请公布日xx.06.24104722056A1/1页21.一种运用虚拟现实技术的康复训练系统及方法，其特征在于，包括如下三个阶段第一阶段通过体感设备Kinect采集人体骨骼节点，生成骨架系统，具体包括1)通过红外传感器获取景深图像；2)寻找移动物体，进行像素级评估，进行背景的剔除遮罩；3)通过Kinect的机器学习系统辨别人体部位；4)通过人体部位的辨识确定人体20个关节点，并生成骨架系统；第二阶段准备模型并绑定骨骼，搭建数据库环境，通过深度信息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应，通过更新控制当个模型的节点位置，实现模型的同步运动；第三阶段将Kinect的数据通过接口函数传入Unity3D当中，驱动场景模型进行运动；第四阶段导入角色，建立Unity3D场景以及GUI界面，调试环境；第五阶段功能模块的实现部分，这部分主要负责数据的写入以及读出，通过一个管理器脚本调控数据，并控制数据可视化。 权利要求书104722056A21/4页3一种运用虚拟现实技术的康复训练系统及方法技术领域0001本发明涉及一种康复训练系统及方法，尤其是一种设计巧妙、智能化程度高的一种运用虚拟现实技术的康复训练系统及方法。 背景技术0002目前在国内的康复治疗中，主要的康复治疗手段是以治疗师的手法操作为主，或辅助一些简单的训练器械，即通过被动运动、辅助运动、主动运动和抗阻运动等来达到恢复肌肉运动功能的目的。 这种方法取得了很好的康复治疗效果，但同时由于治疗手段的局限性，导致患者处于被动地位。 而且在训练过程中，动作反复、单调、枯燥，患者很容易产生厌烦情绪，不利于治疗的继续和深入。 0003为了解决以上问题，人们开始将虚拟现实技术利用到运动障碍恢复训练中。 利用虚拟现实系统进行运动障碍康复训练，是让患者在虚拟环境中扮演一个角色，成为虚拟环境中的一部分，通过训练动作与虚拟环境进行交互，虚拟环境即时给予患者反馈。 这种训练方法可以降低康复治疗过程对治疗师及治疗场地的依赖程度，为患者提供精确、稳定、个性化的训练模式和定量化的训练效果评估指标，同时增加治疗过程的趣味性，激发患者参与治疗过程的积极性，是被动治疗变为主动治疗。 0004在虚拟现实系统中，一般的数据手套可以将手部的运动转变为触摸物体的计算机指令，但仅仅具有伸手触摸物体的能力，并没有触摸物体的触觉反馈，这在真实感上是远远不够的。 近年来研究人员在数据手套中加入了触觉和力反馈装置，增强患者对虚拟环境的真实体验，增加患者的沉浸感。 渥太华大小的Ruba使用具有触觉反馈的数据手套进行康复训练，并为患者设计了不同难度等级的康复训练虚拟场景。 罗格斯大学和斯坦福大学开发了基于虚拟现实的骨骼远程康复系统。 患者在家庭进行虚拟现实康复训练，该系统的控制端直接读取患者数据库的康复数据，专业治疗师通过分析数据了解病人康复训练的进展。 张立勋等开发了基于matlab的下肢康复机器人虚拟现实仿真系统。 该系统可以通过网络远程监控康复机器人的运动状态并在线调整康复机器人的控制参数，并在控制端进行虚拟仿真，使专业治疗师可以在控制端直观的了解到患者的训练状态，为专业治疗师远程指导患者进行康复训练提供了平台。 0005体感技术的出现，使人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。 0006利用虚拟显示系统进行运动障碍康复训练，让患者在虚拟环境中扮演一个角色，成为虚拟环境中的一部分，通过训练动作与虚拟环境进行交互，虚拟环境即时给予患者反馈。 这种训练方法可以降低康复治疗过程对治疗师及治疗场地的依赖程度，为患者提供精确、稳定、个性化的训练模式和定量化的训练效果评估指标，同时增加治疗过程的趣味性，激发患者参与治疗过程的积极性，使被动治疗变为主动治疗。 目前，虚拟现实技术在运动障碍康复训练领域已经得到广泛应用。 然而在目前的虚拟现实系统中，存在许多的缺陷0007 (1)在训练系统的使用过程中，患者需要穿戴感知输入设备，如数据手套、数据衣、说明书104722056A32/4页4数据头盔等，并从输出反馈设备中得到视觉、听觉及触觉等多种感官的反馈。 穿戴过程繁琐，影响用户的积极性。 0008 (2)患者在使用系统前需要进行动作校正，使用过程繁琐，降低了用户的训练兴趣。 0009 (3)穿戴设备通常价格昂贵，大大增加了训练系统的成本，不利于患者引入家庭的购买使用。 0010 (4)输入接口单一，不利于系统的扩展。 发明内容0011为解决上述问题，本发明提供了一种运用虚拟现实技术的康复训练系统及方法，包括如下三个阶段0012第一阶段通过体感设备Kinect采集人体骨骼节点，生成骨架系统，具体包括00131)通过红外传感器获取景深图像；00142)寻找移动物体，进行像素级评估，进行背景的剔除遮罩；00153)通过Kinect的机器学习系统辨别人体部位；00164)通过人体部位的辨识确定人体20个关节点，并生成骨架系统。 0017第二阶段准备模型并绑定骨骼，搭建数据库环境，通过深度信息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应，通过更新控制当个模型的节点位置，实现模型的同步运动。 0018第三阶段将Kinect的数据通过接口函数传入Unity3D当中，驱动场景模型进行运动。 0019第四阶段导入角色，建立Unity3D场景以及GUI界面，调试环境。 0020第五阶段功能模块的实现部分，这部分主要负责数据的写入以及读出，通过一个管理器脚本调控数据，并控制数据可视化。 0021本专利与现有技术相比，患者只需要站在屏幕前，选择相应难度等级的场景，根据场景画面上的指示完成各种肢体动作，屏幕上即可实时监控患者的动作情况；患者的动作还可以与画面中的内容进行互动，使康复训练就像做游戏一样，增加患者的积极性；体感设备的3D影像侦测与人体骨骼追踪技术，让摆脱传感器束缚，实现自然肢体运动监测成为可能；采用体感交互设备Kinect，降低了系统的成本，操作简便，交互性强，消除了训练过程中穿戴输入设备的繁琐性。 在不久的未来，康复和保健走入家庭的情景也可以预期，并将成为在线医疗的一个重要组成部分。 0022本系统使用体感技术进行实时动作捕捉，捕捉患者手臂的三维运动轨迹，通过计算机图形和图像技术，开发一些用于康复的游戏式训练场景来进行人机互动，增加了治疗过程的趣味性和患者的积极性，使康复训练成为患者的主动行为。 可以使患者以自然方式与具有多种感官刺激的虚拟环境中的对象进行交互。 并且减少了患者在真实环境中由错误操作导致的危险，从而更好的完成康复训练，通过不断的手臂运动，达到逐渐恢复机能的作用。 0023本系统的关键点0024纯三维模式说明书104722056A43/4页50025选择3D Max作为三维建模工具，模型采用纯三维模式，并为人体模型添加了骨骼，可以检测虚拟人的多个关节部位的动作。 0026不同难度等级的游戏式康复训练场景0027系统为康复训练患者设计了不同难度等级的游戏式康复训练虚拟场景，训练过程由易到难，循序渐进，场景中并配有音乐效果，增加训练的趣味性，达到更好的训练效果。 0028多种输入设备接口0029系统以体感交互设备kinect为主要输入设备，并且提供了其它可穿戴输入设备接口，如数据手套、数据衣、数据头盔等。 0030操作简便，成本低，交互性强0031采用体感交互设备kinect作为输入设备，患者无需穿戴任何感知设备即可进行训练。 本系统成本低廉，易于患者购买，家庭式使用。 0032实现了训练任务的动作数据记录0033系统通过与远端服务器的数据传递，将患者每一次的训练数据都保存起来，并显示于web页面或者本地，可以使专业治疗师更加直观清晰的了解患者当前的恢复状况，也为以后的康复计划作出指导。 具体实施方式0034下面结合实施例对本专利进行进一步描述0035一种运用虚拟现实技术的康复训练系统及方法，一种运用虚拟现实技术的康复训练系统及方法，包括如下三个阶段0036第一阶段通过体感设备Kinect采集人体骨骼节点，生成骨架系统，具体包括00371)通过红外传感器获取景深图像；00382)寻找移动物体，进行像素级评估，进行背景的剔除遮罩；00393)通过Kinect的机器学习系统辨别人体部位；00404)通过人体部位的辨识确定人体20个关节点，并生成骨架系统。 0041第二阶段准备模型并绑定骨骼，搭建数据库环境，通过深度信息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应，通过更新控制当个模型的节点位置，实现模型的同步运动。 0042第三阶段将Kinect的数据通过接口函数传入Unity3D当中，驱动场景模型进行运动。 0043第四阶段导入角色，建立Unity3D场景以及GUI界面，调试环境。 0044第五阶段功能模块的实现部分，这部分主要负责数据的写入以及读出，通过一个管理器脚本调控数据，并控制数据可视化。 0045本专利与现有技术相比，患者只需要站在屏幕前，选择相应难度等级的场景，根据场景画面上的指示完成各种肢体动作，屏幕上即可实时监控患者的动作情况；患者的动作还可以与画面中的内容进行互动，使康复训练就像做游戏一样，增加患者的积极性；体感设备的3D影像侦测与人体骨骼追踪技术，让摆脱传感器束缚，实现自然肢体运动监测成为可能；采用体感交互设备Kinect