版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
WO2023005186A1,2023.02.02本发明公开了一种自监督预训练目标检测在粘贴的patch块中随机选择一片区域将其改为与提取的色彩RGB值相应的颜色,优化了预训练的多尺度特征编码为objectquery;objectquery基于提取的合成图特征进行学习,并对学2S3:分别提取合成图的特征以及合成图中粘贴的patchS4:objectquery基于提取的合成图特征进行学习,并对学习S4中,objectquery和合成图的特征输入至Transformer中解码器中自注意力模块引入为objectquery设计的注意通过resnet50主干网络提取合成图的特征以及合成图中粘贴的patch块的多尺度特贴的patch块编码为objectqu基于获取的不同尺度的patch特征图定义对应的linear层,得到不同根据合成图提取的多尺度输入特征不同的大小比例,将每个patch在不同尺度特征编b;=f(v)=fa(v0)用于预测boundingboxes,预测是否是粘贴上的patch,用于重建objectb;=f(v)=fa(v0)37.根据权利要求1所述方法的一种自监督预训练目标检测系统,其特征在于,包括的patch块粘贴到背景图中,得到合成图,提取下游待检测目标的色彩RGB值,在粘贴的patch块中随机选择一片区域将其改为与提取的色多尺度特征转化模块,用于分别提取合成图的特征以及合成图中粘贴的patch块的多匹配模块,用于objectquery基于提取的合成图query进行类别和边界框预测,得到预测的集合,将预测的集合和真实的标注集合进行匹8.一种终端设备,包括存储器、处理器以及存储在9.一种计算机可读存储介质,所述计算机可读存储介质存4成本很高而且准确性也因为标注误差而受到影响。无监督任务是使用不需要标注的数据,用剩余部分来预测扣除的部分)、颜色补全(把图像的灰度图作为输入、预测真实的彩图)[0005]本发明的目的在于解决现有技术中自监督预训练代理任务在目标检测定位和分[0010]S3:分别提取合成图的特征以及合成图中粘贴的patch块的多尺度特征,并将5[0018]通过resnet50主干网络提取合成图的特征以及合成图中粘贴的patch块的多尺度[0021]通过主干网络对每个patch块进行特征提取,得到若干个不同尺度的patch特征[0024]根据合成图提取的多尺度输入特征不同的大小比例,将每个patch在不同尺度特[0025]所述步骤S4中,objectquery和合成图的特征输入至Transformer中学习,并在Transformer的解码器中自注意力模块引入为objectquery设[0028]fbox用于预测boundingboxes,fcat预测是否是粘贴上的patch,frec用于重建objectdescriptors,其中则v1……vk表示通过Transformer计算的与图像相关的object选择一片区域将其改为与提取的色彩RGB值相6[0032]多尺度特征转化模块,用于分别提取合成图的特征以及合成图中粘贴的patch块[0033]匹配模块,用于objectquery基于提取的合成图特征进行学习,并对学习后的行边界框预测保证了预测的patch和真实patch之间的7[0053]参见图1,本发明实施例公开了一种自监督预训练目标检测方法,本方法是基于[0055]微调阶段是基于预训练阶段保存的模型权重在相对较小的数据集进行有监督微[0056]基于DETR的自监督先验任务是将从前景图中使用裁剪策略裁剪的patch粘贴到背景图中构造合成图并让模型学习在合成图中检测粘贴的patch的任务,目的在于初步训练[0058]Transformer计算模块包括编码器Encoder和解码器Decoder,编码阶段对输入的图像特征进行编码,解码阶段利用objectq[0059]预测头模块是使用多层感知机MLP对经过Transformer计算的objectquery进行8[0065]为自监督预训练提供更准确的边界框弱监督,采用合成图的方式来构造输入图[0076]步骤3:基于粘贴的patch构造适配于多尺度输入特征的Transformerobject[0078]解码器的一个重要组件是objectquery,其作为解码器的交叉注意力模块的9query在编码器输出的特征memory中进行查找,所述memory解释为合成图特征经过Transformer的Encoder编码器计算的阶段和微调阶段,objectquery均是大小为[300,batch_size,256]的可学习编码,通过尺度特征,其将patch经过backbone主干网络提取的最后一个尺度的特征转换为了object[0082]对于主干网络从合成图提取的多尺度输入特征而言,其在输入Transformer的编例从大到小为本发明实施例中,本步骤得到的不同尺度特征图实际为4个尺[0088]进一步的,对于预测得到的每个objectquery,通过pytorch的repeat_[0090]进一步的,基于合成图特征图拼接的比例,在不同尺度patch特征构造的object数第二个特征图对应的objectquery重复3*4,最大的特征图对应的objectquery重复3*[0091]由于本发明采用了一对多的策略,即对于每个尺度的特征映射得到的object征负责不同patch之间的objectquery不需要交互,进一步在Transformer的解码器的Self_attention自注意力模块引入注意力掩码Attentio责重建objectdescriptors。瓦=fiox(v),盆=fec(vi),⃞=fiar(v),则[0098]其中,v1……vk表示通过Transformer计算的与图像相关的objectquery,所述objectquery是Transforme[0110]公式(4)中.表示面积,用预测框坐标和真实框坐标的交集和并集表示结果框本[0115]本发明实施例中,proposals可以解释为算法提取的候选簇或候选框;objectquery可以解释为Transformer中一组可学习的位置编码;CP_DETR可以解释为基于DETR的[0123]多尺度特征转化模块,用于分别提取合成图的特征以及粘贴的patch块的多尺度[0124]匹配模块,用于objectquery基于提取的合成图特征进行学习,并对学习后的[0129]所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行[0130]所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产上述实施例方法中的全部或部分流程
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 幼儿园固定资产管理制度
- 药品包装车间初步设计
- 幼儿园安全防护管理规范制度
- 羊肚菌人工培育生产技术方案
- 2026年唐山勘察设计注册电气工程师考试(发输变电专业案例)经典试题及答案
- 医疗机构重大风险隐患辨识评估专项报告
- 湖北2026年11月初中九年级语文期中试卷及答案
- 2026年初级经济师资格考试(旅游经济专业知识和实务)复习题库及答案衢州
- 2025届惠东县数学四下期中复习检测模拟试题(含答案解析)
- 2025届广东省惠州市惠城区数学三年级下学期期末试题含解析
- 2025~2026学年七年级上册华东师大版 数学期中测试试卷【含答案】
- DB3302∕T 001-2018 名优绿茶生产技术规程
- 【《龙力生物业绩预告造假的案例分析报告》8900字】
- 高校教研室年度工作总结范文
- 山西低空经济2025年发展
- 企业车队维修管理制度
- 2025《卫生健康行政处罚程序规定》培训课件
- (新版)多旋翼无人机超视距驾驶员执照理论考试题库大全(含答案)
- 住宅小区消防安全培训课件
- 顶管施工技术规范及验收规范
- QBT 2770-2006 羽毛球拍行业标准
评论
0/150
提交评论