CN119418041A 一种基于混合专家的小样本目标检测方法和装置 （浙江大学）

一种基于混合专家的小样本目标检测方法本发明公开了一种基于混合专家的小样本个混合专家的独有深层特征网络、特征融合网用基础类别图像和新类别增强图像对上述基于本发明利用混合专家巧妙结合了不同深度的特的过拟合问题，而且加强了小样本数据的多样2采用重复上采样和数据增强方式对新类别小样本图像进行增强得到新构建基于混合专家的小样本目标检测模型，其包括利用基础类别图像和新类别增强图像对上述基于混合专家的小样本目标检测模型进首先对新类别小样本图像进行重复上采样来增加图像数量，然网络对每个混合专家获得的不同深度的浅层特征和各自的深层特征进行融合得到各自的首先对每个混合专家获得的不同深度的浅层特征进行降采样处理调整到与深层特征一样的尺寸，然后将降采样处理后的浅层特征与深层特征进行融合得到融合特征家对应的深层特征，8符号表示Hadamard积，w()表示降采样处理，p(-)表示取对数的预时采用的损失函数lectai包含各混合专家对应的目标3;;;别表示第i个混合专家和第j个混合专家的分类结果，KL(ppi)表示pf和pi之间的KL散度从多个混合专家的目标检测结果中筛选类别分数最高的混合专家对应的目标检测结数据增强模块，其用于采用重复上采样和数据增强方式对新类模型构建模块，其用于构建基于混合专家的小样本目标检测模型型的主干网络初始化共享浅层特征网络和每个混合专家的独模型训练模块，其用于利用基础类别图像和新类别增强图像对上述从多个混合专家的目标检测结果中筛选最终的目标检测实现权利要求1_7中任一项所述的基于混合4量高质量的标注数据成本高昂，因此小样本目标检测（Few_ShotObjectDetection,[0003]目前的小样本目标检测方法主要从淆性：模型在学习小样本类别时并不希望和预训练时期学习到的基础类别知识产生混淆，[0004]现有的小样本目标检测方法通常分为两阶段。阶段1都是在具有大量数据标注的5采用重复上采样和数据增强方式对新类别小样本图像进行增强得到新类别增强利用基础类别图像和新类别增强图像对上述基于混合专家的小样本目标检测模首先对每个混合专家获得的不同深度的浅层特征进行降采样处理调整到与深层特征一样的尺寸，然后将降采样处理后的浅层特征与深层特征进行融合得到融合特征家对应的深层特征，8符号表示Hadamard积，w()表示降采样处理，p(-)表示取对数的预[0011]优选地，参数优化时采用的损失函数lectai包含各混合专家对应的目标检测损失;;6;pi分别表示第i个混合专家和第j个混合专家的分类结果，表示从多个混合专家的目标检测结果中筛选类别分数最高的混合专家对应的目标检测模型的主干网络初始化共享浅层特征网络和每个混合专家的目标检测模块，其用于利用参数优化的小样本目标检测模型进行小样本目标检7区分基础类别和新类别的技术问题，通过引入多个混合专家不仅能够获取各自的深层特为每个候选区域提供类别预测和边框回归预测的ROIHead模块，ROIHead模块包含ROI池[0024]实施例中的数据增强环节，应用了3种传统技术以丰富训练数据的多样性并防止8[0025]针对类别不平衡问题，过去的发明中存在一种简单但有效的重复因子采样的数据进行重复采样（即增加类别样本的出现次数来缓解类别数据分布的极端不均衡，增强策略应用到了重复采样上，这样不仅能够解决数据分布不平衡的问题，缓解了数据的遗忘性，同时这些数据增强操作不仅提高了模型的训练效果与泛化能力，也增强了模型对复杂环境的适应性，为后续模型训练和优化提供了坚实的基础。数据增强技术的运用有效提高了模型在多种视角、光照条件及噪声干扰下的识别准确率，彰显了其在提升模型鲁棒性和性能方面的关键作用。9家对应的深层特征，8符号表示Hadamard积，w(算。由于每个混合专家得到的融合特征都是不同深度的浅层特征和各自深层特征的融合，专家对应的目标检测结果。测模型进行参数优化，参数优化时采用的损失函数包含各混合专家对应的目标检测损失、数优化时采用的损失函数leot包含各混合专家对应的目标检测损失lea、以及各混合专家;;;ls表示所有混合专家对应的分类损失之和，分类损失可以采用交叉熵损KL(ppi)表示pf和pi之间的KL散度损失。p'=p….p，其中k;的方法、以及结合重复上采样和数据增强的方法来解决小样本目标检测领域的一系列问单地更换KL散度和交叉熵损失函数或是简单增删混合专家的数目，均在本发明保护范围强模块520用于采用重复上采样和数据增强方式对新类别小样本图像进行增强得到新类别练模块540用于利用基础类别图像和新类别增强图像对上述基于混合专家的小样本目标检测模型进行参数优化，参数优化时采用的损失函数包含各混合专家对应的目标检测损失、以及各混合专家之间的蒸馏损失；目标检测模块550用于利用参数优化的小样本目标检测模型进行小样本目标检测，并从多个混合专家的目标检测结果中筛选最终的目标检测结初始化共享浅层特征网络和每个混合专家的独测模型进行参数优化，参数优化时采用的损失函数包含各混合专家对应的目标检测损失、性存储器中读取对应的计算机程序到内存中然后运行，以实现上述S110_S150所述的基于初始化共享浅层特征网络和每个混合专家的独测模型进行