基于Kinect与虚拟现实的社区家庭康复系统的研制

刘燕杨艺李中基于Kinect与虚拟现实的社区家庭康复前端系统的研制中山大学中山医学院生物医学工程系2014年中华医院信息网络大会目录1.康复医疗相关现状及医疗健康服务的需求2.系统目标规划3.前端机系统基本架构与实施4.前端系统的实验测试5.未来社区医疗康复服务的设想2现状及需求_

社会、工作、环境社会工作节奏加快，科技、环境、生活压力等原因导致各种疾病患病率上升，尤其城市各类人群中有相当大的一部分人处于亚健康状态。患病率↑3现状及需求_1

人口现状人口老龄化，老年人群增长，慢性病和老年病（高血压、脑卒中、老年痴呆等）成为医疗服务的重要关注点年龄（岁）2040年占人口总比例或人数（预计）≥65>20％≥807400多万（增长速度：每年5％）人口高龄化20世纪90年代以来中国的老龄化进程加快。65岁及以上老年人口占总人口的比例由5.57%上升为6.96%。据统计：2012年，老年人1.94亿，达14.3%；2013年，老年人2.02亿，达14.8%；目前中国人口已进入老年型。如何获得更好的医疗服务，提高生活生存质量？4现状及需求_2

医院和医疗卫生信息化的现况医院医疗业务流程在数字化医疗平台上以一种及时、全面汇总和高效利用信息的方式展现和实施，向病患者提供全方位的治疗服务。现代的医疗模式预防+治疗+康复5现状及需求_2

医院和医疗卫生信息化的现况远程预约、远程医疗、慢病监控、移动医疗、医疗云等大数据综合解决方案改变了现有的医疗健康服务模式。现代的医疗模式预防+治疗+康复医院的资源有限，高龄、慢病人群日趋增多，如何提供医疗保健服务？院外的医疗服务？养老院、家庭迫切需要社区医疗提供近身跟踪和健康保健服务。6康复医疗相关现状及需求---3医院和康复中心内的康复资源与病人面临“僧多粥少”的局面。

某些疾病患者在经过医院的治疗后希望进行一些社区和家庭式的康复训练来提高康复效果脑卒中患者在进行前期基本康复治疗后特别需要后期康复训练荷兰可视化虚拟康复系统（瑞安市任命医院康复医学中心已使用）7解决小型轻便的传感器+电脑（虚拟现实）康复训练（一定范围的空间内，趣味性的）。远程网络技术（信息交互与进度更新）系统目标1.将训练适量“搬运”到患者家中并把结果定期反馈回医院以制定下一步治疗计划，不仅能减轻康复医师的工作，也可为患者提供更轻松自在的训练环境和完善的后期治疗。2.“让有限数量的治疗师面对更多数量的患者”。将Kinect与计算机技术结合运用于康复领域所研制的社区家庭康复系统，可以有效从“质”（康复效果）和“量”（患者数量）上提高我国的康复水平，它具有非常广阔的前景。8小型轻便的Kinect传感器Kinect是一种“姿态检测”设备，它的三维摄像头可以自动捕捉镜头前的人，并将人体等效成一个“由20个点组成的三维点空间模型”，从而准确地实现姿态检测。用户不需要再佩戴任何其他的装备利用KinectForXBOX传感器捕捉用户运动轨迹，空间识别精确率达到了4mm，其关键技术特性归纳为四点：骨骼跟踪、动作识别、人脸识别、语音识别。本系统主要利用的技术特性即为Kinect的“骨骼跟踪”。9已有的应用目前关于Kinect的应用多在教育与娱乐方面。目前，虽国内外的科技人员已开发了一些康复训练系统，但大部分都需在专门的实验室环境内进行康复训练。台湾中央大学用Kinect开发出针对医学场景应用程序的单位，其应用程序旨在帮助有肢体功能障碍的病人进行运动康复。美国公司开发的用于心血管病人的术后运动回复程序。中兴公司开发的康复游戏训练软件姿态检测+生理参数采集+语音与视频通讯Kinect全新的交互传感方式正逐渐渗透到生活的各个领域10家庭康复系统前端机基本结构前端机硬件组成Kinect传感器+计算机（+电视机）软件模块传感器数据采集处理模块：数据采集、数据转换；后台实时数据处理模块：数据处理、数据存储、数据输出；虚拟老师标准动作模块：提供患者训练模式及动作选择功能和动作指导功能服务；患者动态形象虚拟化模块：患者虚拟化服务与实现；网络交流模块：患者数据上传、医师数据下载；11前端机系统基本逻辑架构康复前端网络部分1）患者训练客户端：提供康复训练服务及数据维护；2）患者网络服务客户端：数据上传与医师建议下载；3）医师网络服务客户端：数据查看及个人建议上传；12WINFORM系统规划与部署外网服务网站外网服务网站WPFASP.NET康复服务端文档保存更新评分康复训练网络服务端信息交互量表统计数据更新自动分析后期在VisualStudio2010集成开发环境,使用C#编写患者训练客户端的Windows窗体应用程序与WPF应用程序；调用KinectforWindowsSDKv1.6的API函数库进行传感器操作。采用ASP.NET设计网络服务客户端的WEB应用程序。13前端机系统中的一些关键技术用户运动轨迹采集Kinect由红外投影机、彩色摄像头、红外深度投影头和PrimeSense的PS1080SoC芯片组成，空间判断精确度为4mm。

Kinect传感器将数据采集和处理结合一体，提供三大类原始数据信息：深度数据流、彩色视频流和原始音频流，如图2所示，其独特骨骼追踪技术将用户全身虚拟化为20个关节点，如图3所示。通过WindowLoaded()函数实现传感器的初始化，数据流操作，释放资源并关闭。设置Kinect采集数据帧率为每秒30帧。图2Kinect传感器数据流图3Kinect维特鲁威人20关节点图14前端机系统中的一些关键技术患者动态形象虚拟利用SensorSkeletonFrameReady()函数对骨骼数据进行处理和绘图，过程如图4所示。①获取数据流，重新分配存放缓冲区；②获得数据流中每一帧的新数据，并释放缓冲区；③判断骨骼追踪状态之后选择相应的执行方式。构造DrawBone()函数，对应连接20个关节点，完成火柴人的绘制。代码如下：drawingContext.DrawLine(drawPen,this.SkeletonPointToScreen(joint0.Position),this.SkeletonPointToScreen(joint1.Position));图4患者动态形象虚拟流程15前端机系统中的一些关键技术后台评分数据处理模块训练评分：对每帧数据都实施每个动作对应算法的计算。计算出相应关节连线的夹角，根据关节点的具体位置进行相关动作得分的评判。提取患者关节点数据的语句为：wex=skeleton.Joints[JointType.WristRight].Position.X-skeleton.Joints[JointType.ElbowRight].Position.X;自动生成评判结果的TXT文档。显示评价和患者动作细节记录。数据上传网络。网络部分（初期）利用康复部分生成的训练信息txt；两部分WEB应用，患者登陆页与医生登