基于Kinect与虚拟现实的社区家庭康复系统的研制

1、刘刘燕燕 杨艺杨艺 李中李中基于基于KinectKinect与虚拟现实的社区家与虚拟现实的社区家庭庭康复康复前端前端系统系统的研制的研制中山大学中山医学院生物医学工程系2014 年中华医院信息网络大会目录目录21.1.康复医疗相关现状及医疗健康服务的需求康复医疗相关现状及医疗健康服务的需求2.2.系统目标规划系统目标规划3.3.前端机系统基本架构与实施前端机系统基本架构与实施4.4.前端系统的实验测试前端系统的实验测试5 5. .未来社区医疗康复服务的设想未来社区医疗康复服务的设想现状及需求现状及需求_ _ 3社会、工作、环境社会、工作、环境社会工作节奏加快，科技、环境、生活压力等原因导致各种

2、疾病患病率上升，尤其城市各类人群中有相当大的一部分人处于亚健康状态。现状及需求现状及需求_ _1 1 4人口人口 现状现状人口老龄化，老年人群增长，慢性病和老年病（高血压、脑卒中、老年痴呆等）成为医疗服务的重要关注点年龄（岁）年龄（岁） 20402040年占人口总比例或人数（预计）年占人口总比例或人数（预计）6520807400多万（增长速度：每年5）20世纪90年代以来中国的老龄化进程加快。65岁及以上老年人口占总人口的比例由5.57%上升为6.96%。据统计：2012年，老年人1.94亿，达14.3%；2013年，老年人2.02亿，达14.8%；目前中国人口已进入老年型。现状及需求现状及需

3、求_ _2 2 5医院和医疗卫生信息化的现况医院和医疗卫生信息化的现况医院医疗业务流程在数字化医疗平台上以一种及时、全面汇总和高效利用信息的方式展现和实施，向病患者提供全方位的治疗服务。现代的医疗模式现代的医疗模式预防预防+治疗治疗+康复康复现状及需求现状及需求_ _2 2 6医院和医疗卫生信息化的现况医院和医疗卫生信息化的现况远程预约、远程医疗、慢病监控、移动医疗、医疗云等大数据综合解决方案改变了现有的医疗健康服务模式。现代的医疗模式现代的医疗模式预防预防+治疗治疗+康复康复医院的资源有限，高龄、医院的资源有限，高龄、慢病人群日趋增多慢病人群日趋增多，如何提供医疗保健服务？院外院外的医疗服务

4、？的医疗服务？养老院、家庭迫切需要社区医疗提供近身跟踪和健康保健服务。康复医疗相关现状及需求康复医疗相关现状及需求-3-37医院和康复中心内的医院和康复中心内的康复资源与病人面临康复资源与病人面临“僧多粥少僧多粥少”的局面。的局面。 某些疾病某些疾病患者在经过医院的治疗后患者在经过医院的治疗后希希望望进行进行一些社区和一些社区和家庭式的康复训练来家庭式的康复训练来提高提高康复效果康复效果脑卒中患者在进行前期基本康复治疗后特别需要后期康脑卒中患者在进行前期基本康复治疗后特别需要后期康复训练复训练81.将训练适量“搬运”到患者家中并把结果定期反馈回医院以制定下一步治疗计划，不仅能减轻康复医师的工作

5、，也可为患者提供更轻松自在的训练环境和完善的后期治疗。2.“让有限数量的治疗师面对更多数量的患者” 。将Kinect与计算机技术结合运用于康复领域所研制的社区家庭康复系统，可以有效从“质”（康复效果）和“量”（患者数量）上提高我国的康复水平，它具有非常广阔的前景。小型轻便的小型轻便的KinectKinect传感器传感器9Kinect Kinect 是一种是一种“姿态检测姿态检测”设备，它的三维摄像头可设备，它的三维摄像头可以自动捕捉镜头前的人，并将人体等效成一个以自动捕捉镜头前的人，并将人体等效成一个“由由2020个个点组成的三维点空间模型点组成的三维点空间模型”，从而准确地实现姿态检测。，从

6、而准确地实现姿态检测。用户不需要再佩戴任何其他的装备用户不需要再佩戴任何其他的装备利用利用Kinect For XBOXKinect For XBOX传感器传感器捕捉用户运动捕捉用户运动轨迹，空间轨迹，空间识别精确率达到了识别精确率达到了4mm4mm，其，其关键技术特性归纳为四点：关键技术特性归纳为四点：骨骼跟踪、动作识别、人脸识别、语音识别骨骼跟踪、动作识别、人脸识别、语音识别。本本系统主要利用的技术特性即为系统主要利用的技术特性即为KinectKinect的的“骨骼跟踪骨骼跟踪”。已有的应用已有的应用10目前目前关于关于KinectKinect的应用多在的应用多在教育与娱乐教育与娱乐方面。

7、方面。目前目前，虽国内外的科技人员，虽国内外的科技人员已开发了一些康复训练系统，已开发了一些康复训练系统，但大部分都需在专门的实验但大部分都需在专门的实验室环境内进行康复训练室环境内进行康复训练。台湾中央大学用Kinect开发出针对医学场景应用程序的单位，其应用程序旨在帮助有肢体功能障碍的病人进行运动康复。美国公司开发的用于心血管病人的术后运动回复程序。中兴公司开发的康复游戏训练软件姿态检测 + 生理参数采集 + 语音与视频通讯Kinect全新的交互传感方式正逐渐渗透到生活的各个领域家庭康复家庭康复系统系统前端机基本结构前端机基本结构11前端机硬件组成前端机硬件组成Kinect传感器+计算机（

8、+电视机）软件模块软件模块传感器数据采集处理模块：数据采集、数据转换；后台实时数据处理模块：数据处理、数据存储、数据输出；虚拟老师标准动作模块：提供患者训练模式及动作选择功能和动作指导功能服务；患者动态形象虚拟化模块：患者虚拟化服务与实现；网络交流模块：患者数据上传、医师数据下载；前端机系统基本逻辑架构前端机系统基本逻辑架构121）患者训练客户端：提供康复训练服务及数据维护；2）患者网络服务客户端：数据上传与医师建议下载；3）医师网络服务客户端：数据查看及个人建议上传；系统规划与部署系统规划与部署13外网服务网站外网服务网站康复服务端文档保存更新评分康复训练网络服务端网络服务端信息交互信息交互

9、量表统计量表统计数据更新数据更新自动分析自动分析后期后期 在Visual Studio 2010集成开发环境,使用C#编写患者训练客户端的Windows窗体应用程序与WPF应用程序；调用Kinect for Windows SDK v1.6的 API函数库进行传感器操作。采用ASP.NET设计网络服务客户端的 WEB应用程序。前端机系统中的一些关键技术前端机系统中的一些关键技术14用户运动轨迹采集用户运动轨迹采集Kinect由红外投影机、彩色摄像头、红外深度投影头和PrimeSense 的PS1080 SoC芯片组成，空间判断精确度为4mm。 Kinect传感器将数据采集和处理结合一体，提供三

10、大类原始数据信息：深度数据流、彩色视频流和原始音频流，如图2所示，其独特骨骼追踪技术将用户全身虚拟化为20个关节点，如图3所示。通过WindowLoaded()函数实现传感器的初始化，数据流操作，释放资源并关闭。设置Kinect采集数据帧率为每秒30帧。图2Kinect传感器数据流图3 Kinect维特鲁威人20关节点图前端机系统中的一些关键技术前端机系统中的一些关键技术15患者动态形象虚拟患者动态形象虚拟利用SensorSkeletonFrameReady()函数对骨骼数据进行处理和绘图，过程如图4所示。获取数据流，重新分配存放缓冲区；获得数据流中每一帧的新数据，并释放缓冲区；判断骨骼追踪状

11、态之后选择相应的执行方式。构造DrawBone()函数，对应连接20个关节点，完成火柴人的绘制。代码如下：drawingContext.DrawLine(drawPen, this.SkeletonPointToScreen(joint0.Position),this.SkeletonPointToScreen(joint1.Position);图4 患者动态形象虚拟流程前端机系统中的一些关键技术前端机系统中的一些关键技术16后台评分数据处理模块后台评分数据处理模块训练评分：对每帧数据都实施每个动作对应算法的计算。计算出相应关节连线的夹角，根据关节点的具体位置进行相关动作得分的评判。提取患者关

12、节点数据的语句为：wex=skeleton.JointsJointType.WristRight.Position.X-skeleton.JointsJointType.ElbowRight.Position.X;自动生成评判结果的TXT文档。显示评价和患者动作细节记录。数据上传网络。网络部分（初期）网络部分（初期）利用康复部分生成的训练信息txt；两部分WEB应用，患者登陆页与医生登陆页；主要功能：上传本地文档，查阅相关文档；图5 患者网络服务网页应用程序运行界面系统流程测试实验系统流程测试实验17患 者基本信息康复应用选择模式自主训练模式默认训练模式特点：特点：4 4个动个动作，不可变动作

13、，不可变动选择动作训练结束显示评分结果，生成训练信息txt到本地训练镜像，看自己，增加趣味性指导，看老师，调整不同测试结果测试结果18测试系统的稳定性，编程并选取粗大动作测试系统的稳定性，编程并选取粗大动作肘关节屈曲肘关节屈曲80809090进行了测试。进行了测试。实验环境如图所示，实验记录如表实验环境如图所示，实验记录如表1 1所列。所列。虚拟老师测试者用户火柴人表表1 1 实验实验数据记录数据记录20实验编号肘关节最小夹角分数历史训练细节与鼓励语（测试版）118.5182.35很不错哦，不过动作有些太大了235.2884.03很不错哦，不过动作有些太大了351.1285.61很不错哦，不过

14、动作有些太大了479.65100太棒了！您的动作完全符合要求587.32100太棒了！您的动作完全符合要求692.45100太棒了！您的动作完全符合要求7986688.80需要继续努力，请把手臂再抬高一些吧8105.4384.76需要继续努力，请把手臂再抬高一些吧9170.6575离要求还有些距离，请再努力一些吧！10136.7375离要求还有些距离，请再努力一些吧！第第1帧帧第第2帧帧第第3帧帧第第4帧帧第第5帧帧第第6帧帧第第7帧帧第第8帧帧168.65169.88168.47167.86167.35166.70165.66166.61第第9帧帧第第10帧帧第第11帧帧第第12帧帧第第13

15、帧帧第第14帧帧第第15帧帧第第16帧帧166.88166.57165.52166.73165.83166.09168.69167.37第第17帧帧第第18帧帧第第19帧帧第第20帧帧第第21帧帧第第22帧帧第第23帧帧第第24帧帧168.65166.35167.28167.45166.46166.53165.26164.57第第25帧帧第第26帧帧第第27帧帧第第28帧帧第第29帧帧第第30帧帧第第31帧帧第第32帧帧164.47165.32164.20164.60164.48164.12164.51164.39第第33帧帧第第34帧帧第第35帧帧第第36帧帧第第37帧帧第第38帧帧第第39

16、帧帧第第40帧帧164.50163.21163.50166.04166.54166.30166.29165.57第第41帧帧第第42帧帧第第43帧帧第第44帧帧第第45帧帧第第46帧帧第第47帧帧第第48帧帧165.86166.05166.75166.99167.14167.24167.45167.29第第49帧帧第第50帧帧第第51帧帧第第52帧帧第第53帧帧第第54帧帧第第55帧帧第第帧帧167.85168.37169.56170.36170.45169.82169.93“手肘”部位夹角（实验输出）未来社区医疗康复服务的设想未来社区医疗康复服务的设想24基于基于KinectKinect传感构建的家庭式康复训练传感构建的家庭式康复训练的前端机的前端机以其轻便、简易使用、适用性强的优势以其轻便、简易使用、适用性强的优势将会被更将会被更多患者接受。多患者接受。利用虚拟现实技术与康复治疗结合能有效减轻康利用虚拟现实技术与康复治疗结合能有效减轻康复医护人员工作压力，增加可治疗患者数量，提复医护人员工作压力，增加可治疗患者数量，提升康复效果，最终达到双赢的局面。升康复效果，最终达到双赢的局面。系统后期的系统后期的设想设想将与医院神经内科与康复中心的服务相接，利用与医院信息系