CN119479083A 基于机器学习的手术人员视频行为识别方法及系统 （深圳大因医疗科技有限公司）

基于机器学习的手术人员视频行为识别方种基于机器学习的手术人员视频行为识别方法以及激光测距设备对手术人员洗手区域进行视发明通过RGB摄像头捕捉视觉信息、激光测距设2步骤S1：通过RGB摄像头以及激光测距设备对手术人员洗手区域进行视频帧序列以及步骤S2：对动作原始数据进行手部关键点的位置步骤S4：获取七步洗手法的标准动作模板数据；根据七步骤S11：通过RGB摄像头对手术人员洗手区域进行画步骤S131：利用点云去噪数据以及预设的深度范围阈值进行手步骤S132：利用预训练的手部检测模型对视频帧序3步骤S21：利用预训练的人体姿态估计模型对动作原始数据进行手部关键点的位置和步骤S24：根据动作原始数据的时间戳对点云全局特征数据以及视频运动特征数据进步骤S221：对视频关键点特征数据进行连续关键帧关键步骤S222：获取RGB摄像头的相机内参；利用RGB摄像头步骤S224：根据关键点位移数据、关键点速度数据步骤S225：对运动特征向量数据进行每帧图像的关键步骤S33：将Bi_LSTM编码特征数据中每一个时间步的步骤S35：将动作片段特征数据输入至预设的Softmax分类器中进行步骤分类概率预4步骤S42：对分割后动作片段特征序列数据与标准动作模板数据进行时间规整匹配处步骤S421：对分割后动作片段特征序列数据进行动作片段特征序列；步骤S422：对标准动作模板数据进行标准动作模版特步骤S423：对动作片段特征序列以及标准动作模版特征序列进行时间序列长度标准步骤S424：利用DTW算法对标准化的动作片段特征序列以及标准化的标准动作模板特步骤S425：根据DTW匹配路径进行时间规整匹配距离计算，得到时间规整匹配距离数求1所述的基于机器学习的手术人员视频行为识别方法，该基于机器学习的手术人员视频5多模态数据捕获模块，用于通过RGB摄像头以及激光测距设备对手术人员洗手区域进时空特征融合模块，用于对动作原始数据进行手动作分割与步骤识别模块，用于对融合特征向量进动作质量评估模块，用于获取七步洗手法的标准动作动作合规性验证模块，用于对动作质量评分进行合规6步骤S1：通过RGB摄像头以及激光测距设备对手术人员洗手区域进行视频帧序列7[0009]本发明通过RGB摄像头和激光测距设备获取视频和点云数据，并进行手部点云分8步骤S131：利用点云去噪数据以及预设的深度范围阈值进行手部区域初步检测，步骤S135：根据法线估计数据对RGB辅助手部点云数据进行手部点云与背景物体进一步提高手部点云分割的准确性，减少误分割。对RGB辅助手部点云数据进行法线估步骤S21：利用预训练的人体姿态估计模型对动作原始数据进行手部关键点的位步骤S22：对视频关键点特征数据进行视频运动特征提取，得到视频运动特征数步骤S24：根据动作原始数据的时间戳对点云全局特征数据以及视频运动特征数9[0015]本发明通过利用预训练的人体姿态估计模型提取手部关步骤S36：根据步骤分类概率数据进行步骤识别标签生成，得到步骤识别标签数步骤S42：对分割后动作片段特征序列数据与标准动作模板数据进行时间规整匹步骤S43：根据时间规整匹配距离数据进行空间匹配度计算，得到空间匹配度数步骤S44：根据时间规整匹配距离数据进行时间匹配度计算，得到时间匹配度数模版特征序列；步骤S424：利用DTW算法对标准化的动作片段特征序列以及标准化的标准动作模[0023]本发明通过从分割后的动作片段特征序列数据中提取待评估步骤对应的特征序提供了参考标准。对动作片段特征序列和标准动作模板特征序列进行时间序列长度标准步骤S52：根据步骤质量判断数据进行步骤质量实时反馈，得到实时反馈信息数步骤S53：根据步骤质量判断数据进行步骤完成情况统计，得到步骤完成情况数多模态数据捕获模块，用于通过RGB摄像头以及激光测距设备对手术人员洗手区时空特征融合模块，用于对动作原始数据进行手部关键点的位置和姿态信息提[0027]本发明通过RGB摄像头和激光测距设备获取视频和点云数据，并进行手部点云分术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范步骤S1：通过RGB摄像头以及激光测距设备对手术人员洗手区域进行视频帧序列步骤S1：通过RGB摄像头以及激光测距设备对手术人员洗手区域进行视频帧序列本发明实施例中，通过RGB摄像头和激光测距设备同步采集手术人员洗手区域本发明实施例中，利用预训练的MediaPipeHands模型从动作原始数据中提取频运动特征数据和点云全局特征数据进行时间戳对齐，并通过注意力机制进行加权融合，列。个步骤的完整动作过程的特征序列。从步骤识别标签序列中提取每个动作片段的起止时该点到邻域内所有点的平均距离大于预设的标准差倍数阈值（例如2倍标准差则认为步骤S131：利用点云去噪数据以及预设的深度范围阈值进行手部区域初步检测，步骤S135：根据法线估计数据对RGB辅助手部点云数据进行手部点云与背景物体[0049]采用基于局部表面拟合的方法进行法线估计。对于RGB辅助手部点云数据中的步骤S21：利用预训练的人体姿态估计模型对动作原始数据进行手部关键点的位步骤S22：对视频关键点特征数据进行视频运动特征提取，得到视频运动特征数步骤S24：根据动作原始数据的时间戳对点云全局特征数据以及视频运动特征数步骤S21：利用预训练的人体姿态估计模型对动作原始数据进行手部关键点的位本发明实施例中，使用预训练的MediaPipeHands模型对动作原始数据中的每[0054]步骤S22：对视频关键点特征数据进行视频运动特征提取，得到视频运动特征数[0056]步骤S24：根据动作原始数据的时间戳对点云全局特征数据以及视频运动特征数步骤S36：根据步骤分类概率数据进行步骤识别标签生成，得到步骤识别标签数[0066]将Bi_LSTM编码特征数据中的每一个时间步的特征向量输入到一个全连接层[0068]将步骤S34中得到的动作片段特征数据输入到一个预训练的Softmax分类器[0069]根据步骤分类概率数据，选择概率值最大的类别作为该动作片段的步骤识别标步骤S42：对分割后动作片段特征序列数据与标准动作模板数据进行时间规整匹步骤S43：根据时间规整匹配距离数据进行空间匹配度计算，得到空间匹配度数步骤S44：根据时间规整匹配距离数据进行时间匹配度计算，得到时间匹配度数[0072]步骤S42：对分割后动作片段特征序列数据与标准动作模板数据进行时间规整匹本发明实施例中，使用动态时间规整(DTW)算法对分割后的动作片段特征序列列和对应的标准动作模板特征序列输入到DTW算法中，计算得到两个序列之间的匹配距[0073]步骤S43：根据时间规整匹配距离数据进行空间匹配度计算，得到空间匹配度数[0074]步骤S44：根据时间规整匹配距离数据进行时间匹配度计算，得到时间匹配度数度与规整后的动作片段序列长度的比值作为时间匹配度的衡量指标，并进行归一化处理，模版特征序列；步骤S424：利用DTW算法对标准化的动作片段特征序列以及标准化的标准动作模算时间规整匹配距离。将DTW匹配路径上所有对应时间步的特征向量之间的欧几里得距步骤S52：根据步骤质量判断数据进行步骤质量实时反馈，得到实时反馈信息数步骤S53：根据步骤质量判断数据进行步骤完成情况统计，得到步骤完成情况数多模态数据捕获模块，用于通过RGB摄像头以及激光测距