CN114743017B 基于Transformer全局与局部注意力交互的目标检测方法 （北京化工大学）

号WO2022051211A1,2022.03.10基于Transformer全局与局部注意力交互的种基于Transformer全局与局部注意力交互的目标检测方法，旨在解决Transformer模型计算成标检测结果准确性和精度低的问题。本发明包取待处理二维图像的感兴趣区域的类别及位置2对所述第一特征图进行图像令牌合并，并对合并的初始第二特征对所述第二特征图进行图像令牌合并，并对合并的初始第三特征对所述第三特征图进行图像令牌合并，并对合并的初始第四特征将所述第二特征图、所述第三特征图和所述第四特征图的特征信息分别输入检测头，对所述第一初始特征图/第二初始特征图/第三初始特征图/第四初始特征图进行层归将层归一化后的特征图以设定大小分割为不重叠的多个局部窗口将所述局部特征图分别与对应的初始特征图进行残差连接，并分别进行下采样操作，进行所述局部窗口和所述全局窗口的跨尺度全局局部注意力计算进行所述融入全局信息的局部特征图的窗口合并、层得第一特征图/第二特征图/第三特征图/位置偏移矩阵，T代表矩阵转置，代表关系矩阵，代表注意力关系矩阵，3全局局部多头自注意力计算将查询矩阵QL、键值矩阵KG和值矩阵VG的通道数拆分为若∈[GL-1,GL-h]为第i组查询矩阵QL、键值矩阵KG和值矩阵VG的进行自注意力计算的结果，2.根据权利要求1所述的基于Trans将所述第一特征图/第二特征图/第三特征图的每相邻2*2个图像令牌合并为1个图像3.根据权利要求1所述的基于Transformer全4.根据权利要求1所述的基于Transformer全局与局部注意所述预处理模块，配置为将待处理图像划分为4*4的图像令牌，线性投影成高纬度向所述阶段一模块，配置为对所述第一初始特征图进行第一设定次数的所述阶段二模块，配置为对所述第一特征图进行图像令牌合并，并对合所述阶段三模块，配置为对所述第二特征图进行图像令牌合并，并对合所述阶段四模块，配置为对所述第三特征图进行图像令牌合并，并对4所述特征融合及目标检测模块，配置为将所述第二特征图、所对所述第一初始特征图/第二初始特征图/第三初始特征图/第四初始特征图进行层归将层归一化后的特征图以设定大小分割为不重叠的多个局部窗口将所述局部特征图分别与对应的初始特征图进行残差连接，并分别进行下采样操作，进行所述局部窗口和所述全局窗口的跨尺度全局局部注意力计算进行所述融入全局信息的局部特征图的窗口合并、层得第一特征图/第二特征图/第三特征图/位置偏移矩阵，T代表矩阵转置，代表关系矩阵，代表注意力关系矩阵，全局局部多头自注意力计算将查询矩阵QL、键值矩阵KG和值矩阵VG的通道数拆分为若5∈[GL-1,GL-h]为第i组查询矩阵QL、键值矩阵KG和值矩阵VG的进行自注意力计算的结果，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所现权利要求1-4任一项所述的基于Transformer全局与局部注意力交互的7.一种计算机可读存储介质，其特征在于令，所述计算机指令用于被所述计算机执行以实现权利要求1-4任一项所述的基于Transformer全局与局部注意力交6[0001]本发明属于计算机视觉领域，具体涉及了一种基于Transformer全局与局部注意[0003]目前主流目标检测方法分为基于传统卷积的深度学习方法与基于Transformer自是基于整幅图像直接做回归任务。Transformer模型首先应用在自然语言理解(NLP)领域，其利用编码器-解码器和自注意力机制实现对信息的并行计算而突破传统卷积方法的时序码器结构类似，只是多了一个用于与编码器的输出进行交互的多头注意力机制。随后，制的Transformer模型补充基于深度网络学习模型的视野局限缺点，具有对长距离特征的全局信息的提取过于集中而导致局部和全局交互7[0012]将所述第一特征图/第二特征图/第三特征图的每相邻2*2个图像令牌合并为1个图像令牌，并通过线性投影层最终实现特征图的分辨率2倍下采样和特征维度2倍上采样，获得初始第二特征图/初始第三特征图/初[0014]对所述第一初始特征图/第二初始特征图/第三初始特征图/第四初始特征图进行[0018]进行所述融入全局信息的局部特征图的窗口合并、层归一化以及多层感知机操[0022]局部多头自注意力计算将查询矩阵Q、键值矩阵K和值矩阵的通道数拆分为若干8[0028]全局局部多头自注意力计算将查询矩阵QL、键值矩阵KG和值矩阵VG的通道数拆分[0030]其中，GL-h为全局局部多头自注意力计算中头的数目，GL-h＝3，随后获取第二特征图、第三特征图和第四特征图的阶段，GL-h以2倍递增，headGL-i[0032]在一些优选的实施例中，所述目标检测结果包括待处理图像感兴趣区域的边界[0033]本发明的另一方面，提出了一种基于Transformer全局与局部注意力交互的目标9存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于Transformer全局与局部注意力部交互机制使用每一个局部窗口和带有丰富高级语义信息的全局窗口进行跨尺度和层次[0050]图1是本发明基于Transformer全局与局部注意力交互的目标检测方法的流程示[0051]图2是本发明基于Transformer全局与局部注意力交互的目标检测方法的总结架[0052]图3是本发明基于Transformer全局与局部注意力交互的目标检测方法一种实施[0053]图4是本发明基于Transformer全局与局部注意力交互的目标检测方法一种实施[0054]图5是本发明基于Transformer全局与局部注意力交互的目标检测方法一种实施[0057]本发明的一种基于Transformer全局与局部注意力交互的目标检测方法，该目标[0063]为了更清晰地对本发明基于Transformer全局与局部注意力交互的目标检测方法[0064]本发明第一实施例的基于Transformer全局与局部注意力交互的目标检测方法，和第一特征图的过程称为阶段一(Stage待处理图像的原始特征维度，将待处理图像通过二维卷积划分为(H/4)*(W/4)个非重叠的令牌对第一初始特征图以不重叠的方式均匀分[0074]以局部窗口为单位进行局部的多头自注意力计算，增强局部窗口像素间的关联[0077]局部多头自注意力计算将查询矩阵Q、键值矩阵K和值矩阵的通道数拆分为若干通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]并且和为1的概[0089]全局特征图的全局的多头自注意力计算过程与局部的多头自注意力计算过程相[0093]全局局部多头自注意力计算将查询矩阵QL、键值矩阵KG和值矩阵VG的通道数拆分[0095]其中，GL-h为全局局部多头自注意力计算中头的数目，GL-h＝3，随后获取第二特征图、第三特征图和第四特征图的阶段，GL-h以2倍递增，headGL-i码并在最后一个维度进行Softmax计算，得到大小为(m*n)*(M*N)的全局局部注意力计算[0101]将多个全局局部交互窗口的图像特征通过reshape函数重新合并为一个整体图像[0109]阶段三中通过12个全局局部注意力模块(即第三设定次数为12)进行第三初始特[0111]阶段四中通过1个全局局部注意力模块(即第四设定次数为1)进行第四初始特征种实施例的目标检测结果可视化图，图片来源于COCO数据集，目标检测模块为Cascade其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之[0116]本发明第二实施例的基于Transformer全局与局部注意力交互的目标检测系统，[0124]需要说明的是，上述实施例提供的基于Transformer全局与局部注意力交