CN113762133B 基于人体姿态识别的自重健身辅助教练系统、方法、终端 （哈尔滨工业大学（威海））

基于人体姿态识别的自重健身辅助教练系本发明公开一种基于人体姿态识别的自重本发明服传统健身中通过基于肉眼观察的训练重健身辅助教练系统的发明具有重要的科研价2步骤一，利用摄像头对健身者的动作进行捕捉和记录；选用Ope所述步骤一利用摄像头对健身者的动作进行捕捉和记将构建好的OpenPose姿态识别网络的动态库和姿态检测模型导入，调用API接口获取获取二维关键点坐标后，根据二维关键点像素坐标在对应的已对齐所述将人体二维关键点的数据转换相机坐标系下的三所述步骤四对健身者动作类别的运动标准进行标注和数据处理在获得健身者的实时健身数据的同时获得该健身运动的分动帧序列与该标准动作的关键帧序列输入到程序中，进行基于DTW算法计算序列之间的相3(2)计算F中每一个元素和H中每一个元素的距离，距离计算方法为所有特征向量的比i(4)计算以匹配好的实时帧和标准动作帧的特征向量的差异，选取动作关键关节角度通过滑动均值滤波或卡尔曼滤波对关键点三维坐标进行处理获得更精确的关键点数个空间距离比例和15个空间向量的余弦相似度在步骤一构建的3D骨架化的骨架图和步骤二选出的运动特征值写好标签则通过全连接神经网络训练得到动述步骤四对健身者动作类别的运动标准进行标注和数5.一种实施权利要求1-4任意一项所述基于人体姿态识别的自重健身辅助教练方法的人体骨架化模块，用于通过摄像头实时采集彩色帧序列和深度46.一种接收用户输入程序存储介质，所存储的计算行权利要求1-4任意一项所述基于人体姿态识别的自重健身辅5[0005]最早对于人的动作分析普遍认为是心理学家在上世纪七十年代开展的移动光照6累也可能导致伤病。[0015]健身者的姿态检测需要在一定的空间范围内准确地识别并还原人的3D骨架图到动写入动作类型的标签，再经过人工的筛选去除不可用数据制作了本次动作识别的数据7[0028]将构建好的OpenPose姿态识别网络的动态库和姿态检测模型导入，调用API接口[0031]像素坐标系转世界坐标系，通过使用形成相应像素p的透视变换将场景的3D点Pw投影到图像平面中来获得场景的视图；Pw和p都用齐次坐标表示，分别表示3D和2D齐次向[0036]通过滑动均值滤波或卡尔曼滤波对关键点三维坐标进行处理获得更精确的关键取15个空间距离比例和15个空间向量的余弦相似特征值写好标签则通过全连接神经网络训练得8时运动帧序列与该标准动作的关键帧序列输入到程序中，进行基于DTW算法计算序列之间[0047](2)计算F中每一个元素和H中每一个元素的距离，距离计算方法为所有特征向量[0049](3)基于距离矩阵Matrix，采用局部最优解的方法找到一条代价最小的规划路径[0052](4)计算以匹配好的实时帧和标准动作帧的特征向量的差异，选取动作关键关节[0054]人体骨架化模块，用于通过摄像头实时采集彩色帧序列和深度帧序列，在[0056]动作评估模块，用于将计算得到的健身者的健身姿态特征值输入DTW算法进行帧储的计算机程序使电子设备执行所述基于人体姿态识别的自重健9[0063]本发明提供的系统目前在windows平台和树莓派rasbian双端实现，windows平台[0083]1.如图1所示，本发明公开[0090]本发明需要搭建一个可以识别自重健身者在家中健身的[0094](4)神经网络模型的训练：根据提取的30个健身运动特征构建全连接神经网络模[0105](5)正确性需求：全连接神经网络训练的动作识别模型正确率在90％以上，基于[0113]动作评估模块3：将计算得到的健身者的健身姿态特征值输入DTW算法进行帧匹行的健身并执行动作评估，若该动作为健身动作则在判断状态后进行相应动作的健身指户干预最少或不干预。它们只是相机图像相对于主轴系统(左右之间的轴)的外部参数(平[0128]在配置好的流式传输管道中分别以z16和bgr8格式来获取彩色流和深度流，开始为深度图是由float16格式读取，所以要对深度帧着色处理可以直观了解深度信息采集结[0135]将构建好的OpenPose项目的动态库和姿态检测模型导入工程，调用API接口获取D435镜头中彩色图像帧即可获得人体二维关键点坐标如图6所示，这是一幅站立姿态下采照人体关节连接顺序连接好各个关键点便可以得到二维[0138]像素坐标系转世界坐标系，通过使用形成相应像素p的透视变换将场景的3D点Pwa(3x1)*depth(3-2)随时间的变化为例,在OpenPose的观测值、卡尔曼滤波的预测值、滑动均值滤波的预测值测值逐渐平稳并在准确值方面优于均值滤波的处[0145]滑动均值滤波在缓冲区按顺序存放4条人体三维关键点数据，每次有新的关键点到一帧新的关键点数据就可以计算出一个新的修正值，相较于卡尔曼滤波处理速度更快。k-1为k-1时刻的最优估计值。FT+Q(3-4)[0154](3)综合系统的观测值zk和求得的预测值求解当前帧三维关键点位置的最优估来描述健身动作。在选取健身特征时要做到来自同一个健身动作的不同样本的特征要相[0169]每一个特征距离由两个空间关键点的欧式距离除以脖子到中臀的欧式距离来作是观察健身动作中较为频繁且有明显变化的角度，先计算三个关键点产生的两个空间向[0173]数据采集过程包括彩色和深度图像的获取，图像的初步处理和三维关键点的获键点数据，通过滑动均值滤波或卡尔曼滤波对数据进行处理以获得更精确的关键点数据，[0182]激活函数是一种信息处理手段，又称非线性函数，常见的激活函数有S型生长曲[0184]本发明使用的优化器是Adam，Adam于2014年末被提出，它结合了AdaGrad和RMSProp两种优化算法的优点，也做了一些自己的创新，对梯度的均值和方差进行综合考[0186]本发明的目的是识别健身者当前进行的健身动作的类别，为后续动作评估做准看成含有三个颜色通道的二维矩阵，在此卷积的主要功能是给骨架图上滑动一个卷积核，通过计算后得到一组新的特征。因为训练集的骨架图在采集时都处理成尺寸相同的图片，权值矩阵，它有很多种，比较常见的有identity，edgedetection,sharpen,boxblur,[0190]与全连接神经网络一样，卷积神经网络也需要使用激活[0193]图15为健身动作识别网络训练阶段流程图，每次迭代都会随机变动批次样本顺[0199]由测试结果可见，针对此健身动作识别发明的CNN模型在识别准确率上远不及全训练网络模型，经过测试在现阶段全连接神经网络训练的健身动作分类器表现更为出色，[0203]5.1本发明将利用获取的运动标签和保存的实时健身特征向量来实现对于健身者时运动帧序列与该标准动作的关键帧序列输入到程序中，进行基于DTW算法计算序列之间[0212](2)计算F中每一个元素和H中每一个元素的距离，距离计算方法为所有特征向量[0214](3)基于距离矩阵Matrix，采用局部最优解的方法找到一条代价最小的规划路径[0217](4)计算以匹配好的实时帧和标准动作帧的特征向量的差异，选取动作关键关节者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识