CN119399566A 基于增强时空特征网络的自动化自发显影识别方法 （苏州大学）

基于增强时空特征网络的自动化自发显影本发明涉及视频识别以及超声心动图视频视频帧集合输入到训练好的自动化自发显影识发显影识别模型是根据多个训练数据训练得到所述自动化自发显影识别模型包括注意力图创所述的基于增强时空特征网络的自动化自发显2将所述视频帧集合输入到训练好的自动化自发显影识别模型，其中，所述自动化自发显影识别模型是根据多个训练数据训2.根据权利要求1所述的基于增强时空特征网络的自动化自发显影识别方法，其特征将所述视频帧集合输入到所述注意力图创建模块，通过所述注将所述双通道视频帧集合传输给所述时空特征提取模块，通过所述将所述自发显影时空表征传输给所述分类模块，通过所述分类模3.根据权利要求2所述的基于增强时空特征网络的自动化自发显影识别方法，其特征根据所述自发显影关键区域的像素强度处理所述视频帧集合，根据所述自发显影关键区域至对照点的距离处理所述视频帧集合，为每将所述视频帧集合的每个视频帧与所述均值权重图、以及所述距离权重图逐元素相将所述视频帧集合的每个视频帧，与所述注意力图视频帧集合相应4.根据权利要求3所述的基于增强时空特征网络的自动化自发显影识别方法，其特征根据所述自发显影关键区域的像素强度处理所述视频帧集合，3根据均值权重函数处理所述归一化均值图，得到所述均值权重,根据所述自发显影关键区域至对照点的距离处理所述视频帧集合，得到距离权重图，计算所述视频帧集合中的每个像素至所述对照点的根据距离权重函数处理所述归一化距离图，得到所述距离权重,5.根据权利要求2所述的基于增强时空特征网络的自动化自发显影识别方法，其特征6.根据权利要求5所述的基于增强时空特征网络的自动化自发显影识别方法，其特征,,其中TMHSA函数为所述多头自注意力机制；所述多头自注意力4,,其中函数为所述归一化指数函数，为所述注意力分,7.根据权利要求2所述的基于增强时空特征网络的自动化自发显影识别方法，其特征将所述分类输入特征传输给所述主分类头，通过所述主分类头处理所述分类输入特根据所述自发显影类型，将对应的所述分类输入特征传输给对应的所述辅助分类头，8.根据权利要求1所述的基于增强时空特征网络的自动化自发显影识别方法，其特征述历史识别结果为所述历史经食道超声心动图视频对应的自发显影识将所述训练视频帧集合输入到提前构建好的待训练自动化自发显影述待训练自动化自发显影识别模型输出对应的训练识根据所述历史识别结果和所述训练识别结果，利用损失函9.根据权利要求8所述的基于增强时空特征网络的自动化自发显影识别方法，其特征,5,6显影与血栓栓塞事件高度相关，是评估血栓栓塞风险的重要独立指标，其中致密型自发显准确高效地识别自发显影的严重程度至关重要。自发显影时空表征传输给所述分类模块，通过所述分类模块处理所述自发显影时空表征，7值权重函数F(x)表示为：,,,8,,,其中函数为所述归一化指数函数，为所述注意,9,,图视频的特点，并有效捕获经食道超声心动图视频中自发显影空间结构与动态变化特征，[0018]图1是本发明优选实施例中基于增强时空特征网络的自动化自发显影识别方法的由于自发显影的复杂动态特性，识别准确性在很大程度上取决于医生的专业知识和经验，[0033]也有通过将通用视频识别领域的模型直接进行迁移到超声心动视频分析中的方[0040]自动化自发显影识别模型包括注意力图创建模块、时空特征提取模块和分类模程度进行层级分类识别。图视频的特点，并有效捕获经食道超声心动图视频中自发显影空间结构与动态变化特征，影对应的第二程度分数z=(yao,ya)，其中，yao和yaa分别表示致密类型自发显影的两，A'eR"。。[0083]G(x)=aexp(-9x)，[0105]其中，w"为注意力权重softMax函数为归一化指数函数，均使用全局多头自注意力机制的模型相比，这种设计显著减少了模型参数量和计算复杂[0126]为了验证本发明所述的基于增强时空特征网络的自动化自发显影识别方法的有并随即裁剪出一个空间分辨率为216×30[0129]为评估性能，验证时比较了几个具有代表性的时空表征方法，包括P3D63、VideoSwinTransformer_T和VideoSwinTransformer_S是基于纯多头自注意力显影的成功检测率，这对于临床诊断具有重要意义。Precision用于评估正类的识别准确的测试样本数量；FP为假正例（FalsePositive即实际为致密类型自发显影视被错误识别的测试样本数量；FN为假负例（FalseNegative即实际为非致密类型自发显影视被错[0140]本发明的实施例所提供的方法实施方式中记载的各个