CN114898158B 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统 （杭州电子科技大学）

基于多尺度注意力耦合机制的小样本交通本发明公开了一种基于多尺度注意力耦合收集的交通异常情形图像打上标签作为有标签中随机采样少量样本作为支持集样本和一定量2S1.将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成S2.对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集S5.将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实类间多样性的多域注意力权重Wss和关注类内相关性的自多域的注意力权重w:由一个能学习参数的自适应空间重要性生成器Gs和sigmoid函数将原型特征通过权重为的线性映射层被转换为查询矩矩阵于是自注意力权重w:表示为：步骤S5中，利用多尺度度量模块中的自适应权重生成器Gw获取各个尺度度量结果的重3利用最近邻居算法根据度量分数得到查询样本xj的标签预测结果j,:2.根据权利要求1所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集有标签数据集Dlabel中多类交通异常图像按比例划分为训练集Dbase和测试3.根据权利要求2所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集4.根据权利要求3所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集5.根据权利要求4所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集在各个尺度上计算出每个情景任务中包含的样本类别的类原型：在1-shot或者many-shot设置下，类别n的类原型由同类样本嵌入特征均值表示：其中n=6.根据权利要求5所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集CE表示交叉熵损失；4和λ2分别为多样性损失和平衡损失的平衡参数。7.根据权利要求6所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集8.一种基于多尺度注意力耦合机制的小样本交通异数据集制作模块：将摄像头收集的交通异常情构造情景任务模块：对样本数据进行数据处理并构特征提取模块：利用骨干网络对每个情景任务中的图像进行多尺度度量模块：将不同尺度度量结果加权聚合模型部署及图像采集模块：将训练好最优权重的模型部署到摄像头，将摄像多域的注意力权重w:由一个能学习参数的自适应空间重要性生成器Gs和sigmoid函将原型特征通过权重为的线性映射层被转换为查询矩阵、键矩阵和值5多尺度度量模块中，利用多尺度度量模块中的自适应权重生成器Gw获取各个尺度度量6一种基于多尺度注意力耦合机制的小样本交标签样本)来构建元知识并优化查询样本(无标签样本)分类模型。在测试阶段使用相同的7[0008]S1.将预先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据[0009]S2.对样本数据进行数据处理并[0010]S3.利用骨干网络对每个情景任[0012]S5.将不同尺度度量结果加权聚合，根随后将有标签数据集Dlabel中各类交通异常图像按一定比例划分为训练集Dbase和测试集留有用信息，各个尺度特征会分别经过与特征图尺寸相对应的最大池化操作以获得Z个尺说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：[0021]进一步的，多域的注意力权重w:由一个可学习参数的自适应空间重要性生成器8个尺度的原型特征和查询特征fz,q被拼接到一起传入Gw产生各个尺度度量结果的可以学会对最终分类结果有益的尺度度量结果分配到更高权重。最终度量结果可以表示9[0055]本发明还公开了一种基于多尺度注意力耦合机制的小样本交通异常图像采集系[0056]数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据意力耦合结构与自注意力权重结合构建特征多域层次结构，实现了特征类间的多样性保[0065]图1是本发明实施例一提供的基于多尺度注意力耦合机制的小样本交通异常图像[0066]图2是本发明实施例提供的步骤S13中多尺度特征解复用器生成多尺度特征提取[0068]图4是本发明实施例二基于多尺度注意力耦合机制的小样本交通异常图像采集系[0072]本实施例提供了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方[0073]S11.将早先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据标签作为有标签数据集，随后将有标签数据集中各类图像按4:1比例划分为训练集和测试样本通过一个骨干网络提取特征，再利用一个多尺度特征解复用器获取多尺度输入特征；4.在多域注意力耦合模块中将域注意力和自注意力结合来增强特征表示的同时保留多样待检测图像作为查询集样本即可实现异常图像分类标签数据集Dlabel中各类交通异常图像按4:1比例划分为训练集Dbase和测试集Dtest。两个数[0085]构造情景任务T方式如下：训练集其中xi表示第i张图图像样本标签来自于Ctest，Gucon-o.在训练阶段，从训练数据集Dbase中随机抽取N个持样本相同类别的查询样本构成查询集于是情景任务可以表示为T＝(S,说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：[0100]其中表示元素乘积。域权重能够为具有良好样本特征表现力的域分配更高权[0101]最后，多域注意力耦合模型输出使用了常规的transformer输出结构来强化特征似性度量结果通过加权聚合方式整合到一起以[0106]通过简单的等额权重对不同尺度特征度量结果进行加权并不是一个最为恰当的可以学会对最终分类结果有益的尺度度量结果分配到更高权重。最终度量结果可以表示续采集的待检测图像作为查询集样本即可实现异常图像[0128]本实施例提出了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方[0130]如图4所示，本实施例一种基于多尺度注意力耦合机制的小样本交通异常图像采[0131]数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据后将有标签数据集Dlabel中各类交通异常图像按4:1比例划分为训练集Dbase和测试集Dtest。剪为512×512，同时训练数据集Dbase使用了数据增强(如随机裁剪、颜色抖动、水平翻转[0141]构造情景任务T方式如下：训练集其中xi表示第i张图图像样本标签来自于Ctest，CGiNcn-o.在训练阶段，从训练数据集Dbase中随样本相同类别的查询样本构成查询集于是情景任务可以表示为T＝(S,说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：[0152]随后将原型特征通过权重为的线性映射层被转换为查询[0156]其中表示元素乘积。域权重能够为具有良好样本特征表现力的域分配更高权[0157]最后，多域注意力耦合模型输出使用了常规的transformer输出结构来强化特征[0162]通过简单的等额权重对不同尺度特征度量结果进行加权并不是一个最为恰当的可以学会对最终分类结果有益的尺