CN119446391A 基于视觉识别的患者康复训练数据采集方法及系统 （吉林大学）

号基于视觉识别的患者康复训练数据采集方本发明公开了基于视觉识别的患者康复训明通过采用深度学习模型对康复训练视频进行并结合三维坐标系对关键骨骼节点进行标记与分析，从而实现对患者康复训练数据的精确采2采用深度学习模型对患者康复训练视频进行图像分割，从所述患者康复在所述患者运动特征区域中标记关键骨骼节点，并建立所根据所述分割掩膜从所述患者康复训练视频分离出所述运动;8表示逐元素相乘，;基于视差图和相机参数进行三角测量，计算每个关键骨骼节点的三维空间坐标(X,Y,3;;的灰度值，In(q-d)为右图像对应点处的灰度值，P(I1(q)为左图像灰度值的概率分布，;48.一种基于视觉识别的患者康复训练数据采集系统，基于权利要求1~7任一所述的基人体坐标系建立模块，用于在所述患者运动特征区域中标记关运动识别模块，用于根据所述关键骨骼节点的三维坐标，计算相邻5根据所述关键骨骼节点的三维坐标，计算相邻骨骼节点间的运动角度和位移数将所述运动角度和位移数据与预设康复标准进行匹配度分析，生成康复训练评6根据所述分割掩膜从所述患者康复训练视频分离出所述运动;8表示逐元素所述分割掩膜的生成概率plx)的计算采用下式表示：;基于视差图和相机参数进行三角测量，计算每个关键骨骼节点的三维空间坐标7;;其中，cstereo(p,d)为总体代价函数，p为当前像素点的二维坐标(,y)，dp点处的灰度值，In(q-d)为右图像对应点处的灰度值，P(I1(q)为左图像89[0024]基于改进的YOLOv5深度学习模型对所述RGB彩色图像序列进行实时图像分割，其;;f,()表示数与自定义的4000张标注康复训练数据集进行模型微调，所述模型微调的权重更新公式;[0027]进一步通过改进的多尺度特征金字塔网络提取所述RGB彩色图像序列中的空间特[0029]更具体的，所述特征融合采用注意力机制，注意力权重A(Q,K,V)可采用下式表;;8表示逐元素;通过人体骨骼特征提取网络对所述运动特征区域进行关键骨骼节点标记，其中，;;其中，cstereo(p,d)为总体代价函数，p为当前像素点的二维坐标(,y)，dp点处的灰度值，In(q-d)为右图像对应点处的灰度值，P(I1(q)为左图像聚合、以及使用计算高效的半全局优化取代复杂的全局优化或简单的局部优化，在保证虑大腿和小腿的骨骼向量，计算髋关节的外展角度需要考虑大腿向量与骨盆坐标系的关将所述运动角度和位移数据与预设康复标准进行匹配度分析，生成康复训练评实现如上述实施例提出的实现基于视觉识别的[0051]本实施例提出的存储介质与上述实施例提出的数据存储集模型权重进行微调。训练参数设置为：批次大小16，初始学习率0[0058]基于人体骨骼特征提取网络，在分割出的运动特征区域中标记17个关键骨骼节患者编号膝关节活动度匹配度(%)运动轨迹匹配度(%)运动速度匹配度(%)姿势稳定性(%)P00192.588.790.294.390.058.3P00289.892.190.289.559.1P00393.892.495.693.5P00485.988.390.288.060.2P00590.489.793.590.558.7P006