CN118781630B 基于双重对比学习的脊柱侧弯识别方法 （西安电子科技大学）

本发明公开了基于双重对比学习的脊柱侧置视觉体格检查五步法策略对采集的所有前屈低了脊柱侧弯识别的成本，提高了识别的准确2(3)将标注后的所有前屈试验视频分为多个批次进行输入，根据现有的姿态估计算法(3b)利用FasterRCNN方法对人体进行目标检测，并对检测到的边界框使用MMPose姿(4)基于现有的SwinTransformer网络，构建基于双重对比学习的SwinTransformer(5a)将训练集中同一批次样本的人体区域左右部分分别输入到SwinTransformer孪计算同一批次下单个样本增强后的整体特征与其他样本增强后的整体特征之间的类间对(6)将测试集输入到训练好的脊柱侧弯筛选模型，用模型中的视觉体格检查五步法策33.根据权利要求1所述的方法，其特征在于，4.根据权利要求1所述的方法，其特征在于，步骤(3b)中利用Fa(3b2)利用经过人体图像数据训练的卷积神经网络VGG16提取这些候选区域的高层次(3b3)分类层负责判定每个候选区域是否包含人体，回归层则对候选区域进行边界框步骤(3b)所述对检测到的边界框使用MMPose姿态估计算2A2＝步骤(3b)所述截取背部的人体区域，是通过关键点的信息截B2＝该批次样本人体区域中双肩、骨盆关键点的特征热力图，是先使用MMPose库中训练好的4(5b1)对骨骼特征热力图进行4x4卷积操作，以将而与SwinTransformer网络(5b2)对缩小后的骨骼特征热力图进行2x2平均池化操作，以将其尺度从56x56依次(5c1)将同一批次下每个样本图像增强后的左半部分特征作为锚点，当该样本的类别(5c3)将锚点图像特征水平翻转后再进行小角度旋转的图像特征作为类内对比学习的(5c4)将增强后图像的左右部分、锚点水平翻转的图像以及小角度旋转的图像的特征(5c6)将该批次中与锚点样本为同一类别标签的其他样本增强后整体图像特征作为类(5c7)将该批次的锚点及正负样本输入到类间对比学习中，计算该批次下单个样本增强后的整体特征与其他样本增强后的整体特征之间的5pi,c是通过MLP和softmax操作后得到的第i个样本6脊柱侧弯姿势和运动的典型变化。这一测试只能告诉医生被测试者是否可能存在脊柱侧[0004]公开号为CN115526845A的专利文献公开了一种基于2DRGB图像的脊柱侧弯筛查方法。该方法首先获取人体背部的2DRGB图像，然后利用RVM人体分割模型分割出人体区[0005]公开号为CN114287915A的专利文献公开了一种基于背部彩色图像的无创脊柱侧7[0010](2)设置视觉体格检查五步法策略，对采集的所有前屈试验视频样本进行标注标[0011](3)将标注后的所有前屈试验视频分为多个批次进行输入,根据现有的姿态估计[0013](3b)利用FasterRCNN方法对人体进行目标检测，并对检测到的边界框使用[0016](4)基于现有的SwinTransformer网络，构建基于双重对比学习的SwinTransformer孪生网络，对样本间整体特征与样本内左右部分特征即类间与类内特征进行8[0020](5c)计算同一批次下每个样本增强后左右部分特征之间的类内对比学习损失值[0022](5e)对SwinTransformer孪生网络进行反向传播，计算损失函数L=αL1+βL2+γ[0023](6)将测试集输入到训练好的脊柱侧弯筛选模型，用模型中的五步视觉体格检查[0031]4.本发明由于构造了类内对比损失和类间对比损失来约束模型的学习脊柱侧弯类别内样本之间的相似性及不同类别样本之[0032]5.本发明基于普通RGB视频进行9[0059](3.2.2)利用经过人体图像数据训练后的卷积神经网络VGG16提取这些候选区域[0061](3.3)对检测到的边界框使用MMPose姿态估Transformer孪生网络的两个分支中，经过SwinTransformer网络两个支路中各四层串联(5.3.2)提取的尺度匹配的骨骼特征进行逐元素乘法操作，以无缝地将骨骼信息融入到[0085](5.4)计算同一批次下每个样本增强后左右部分特征之间的类内对比学习损失值[0094](5.5)计算同一批次下单个样本增强后的整体特征与其他样本增强后的整体特征[0096](5.5.2)将该批次中与锚点样本为同一类别标签的其他样本增强后整体图像特征样本增强后的整体特征与其他样本增强后的整体特征之间的类间对比学习损失[0101](5.7)将该批次的样本预测类别结果与实际类别标签一起输入到交叉熵损失函数3的值：pi,c是通过MLP和softmax操作后得到的第i个[0112]仿真试验平台采用的是Intel(R)Core