CN115689987B 一种基于dr图像双视角脊椎骨折特征检测方法 （东南大学）

号一种基于DR图像双视角脊椎骨折特征检测本发明公开了一种基于双视角DR图像的处2步骤3，将ROI图像块输入设计的神经网络中，经过在Im训练模型CNNmodel后进行图像块特征混合，然后分别输入到Multi_headtransformer和特征图像块混合将HxWxC维度的f(IN,IF)转换为H/4xW/4x2C维度，分别输入到Multi_通道数，在Multi_headtransformer中，三个1x1卷积将输入特征图feR"c投影到osm-softmax(⃞+BV,其中B为移位偏置，将OMHT和OSWT进行特征拼接得到fcat=函数Liuc(t,D)=zietry.whysmoothu1(t,D),其中(x,y,w,h)为预测框的横纵坐标、宽度采用正侧位的双视角DR图像并且设计Multi_headtransformer和Shifted_window3虽然X射线医疗成像设备的影像技术不断改进，但是图像仍存在噪声伪影以及灰度不均匀根据高度下降和表面损失程度将脊椎骨折的严重程度划分为Grand1(轻度)到Grand3(重度)，其中Grand1是高度损失2025％或表面损失1020Grand2是~40％或表面损失2040Grand3是高度损失或表面损失超过40％。这是一种实用且师和骨折医生的骨折特征检测和治疗方案制定4位的双角度DR平片中不同椎体的感兴趣区域(Regi据集上训练得到的预训练模型(CNNmodel)后进行图像块特征混合(Hybridpatch)，然后分别输入到Multi_headtransformer和Shifted_windowtransformer网络模块后进行特征体图像块IN和骨折椎体图像块IF，由CNNmodel得到特征图f(IN,IF)和预测分类j,可以计算块混合将H×W×C维度的f(IN,IF)转换为H/4×W/4×2C维度，分别输入到Multi_head特征图投影到展平并转置成大小为n×d的序列，其中d是嵌入的维度，Q、K、V展平并转置为大小为n×d的序列，其中n＝H×W，由此可得输出Lnc(t,D)=zietrywhysmoothu1(t,vi),其中(x,y,w,h)为预测框的横、纵坐标及宽度、高[0015]采用正侧位双视角DR图像并且设计Multi_headtransformer和Shifted_window得到输入的ROI图像块中骨折不同严重度分级概率和可能病灶位置的5[0017]步骤5，临床放射科医师和骨科医生通过观察实际DR图像并对脊椎骨折特征检测建了CNNmodel和transformer网络模块的神经网络，充分发挥神经网络的图像表征的优形式的修改均落于本申请所附权利要求所限位的双角度DR平片中不同椎体的感兴趣区域(Regi据集上训练得到的预训练模型(CNNmodel)后进行图像块特征混合(Hybridpatch)，然后分别输入到Multi_headtransformer和Shifted_windowtransformer网络模块后进行特征6体图像块IN和骨折椎体图像块IF，由CNNmodel得到特征图f(IN,IF)和预测分类j,可以计算块混合将H×W×C维度的f(IN,IF)转换为H/4×W/4×2C维度，分别输入到Multi_head特征图投影到vep,Lnc(t,D)=zietrywhysmoothu1(t,vi),其中(x,y,w,h)为预测框的横、纵坐标及宽度、高[0033]采用正侧位双视角DR图像并且设计Multi_headtransformer和Shifted_window得到输入的ROI图像块中骨折不同严重度分级概率和可能病灶位置的[0035]步骤5，临床放射科医师和骨科医生通过观察实际DR图像并对脊椎骨折特征检测7[0042]步骤3，参见图2，将ROI图像块输入设计的神经网络(Neuralnetwork)中，经过ImageNet在数据集上训练得到的预训练模型(CNNmodel)后进行图像块特征混合(Hybridpatch)，然后分别输入到Multi_headtransformer和Shifted_window和Shifted_windowtransformer等网络模块，以及Classification、Hybridpatch、图像块(Fracturepatches)，与相邻位置的正常椎体图像块(Normalpatches)作为征图像块混合后经过Multi_headtransf