CN118411512B 基于视觉大模型的煤矿井下目标检测方法及视频分析设备 （应急管理部大数据中心）

号基于视觉大模型的煤矿井下目标检测方法本发明提出一种基于视觉大模型的煤矿井型中超参数的取值；基于训练集，对GroundingDINO模型进行微调，得到微调后的Grounding发明通过引入融合了文本与图像理解能力的2基于树结构的贝叶斯优化方法进行超参数寻优，确定GroundingD基于所述训练集，对GroundingDINO模型进行微调，得到微调后的Groundi对微调后的GroundingDINO模型进行知识蒸馏，得到知识蒸馏后的Grounding将所述煤矿井下的待检测图像输入到知识蒸馏后的GroundingDINO所述基于树结构的贝叶斯优化方法进行超参数寻优，确定GroundingD选取所述取值范围内的当前超参数组合，为所述当前超参数组合设置第一分别对所述当前超参数组合的条件概率分布和边缘概率选择期望改进作为采集函数，根据所述第一高斯混合模型、所述第二高基于所述后验概率分布，获取所述当前超参数组合的优化代数，若所述基于所述训练集，对GroundingDINO模型进行微调，得到微调后的Grounding读取所述训练集中的训练数据，并输入GroundingDINO模型中，并对Groun重复上述步骤，直至达到设定的训练指标或者最大轮次后，得到微调后的Grounding3对微调后的GroundingDINO模型进行知识蒸馏，得到知识蒸馏后的GroundingDINO模型，分别对微调后的GroundingDINO模型，进行Patch_group蒸馏和Anchor_point蒸馏处3.根据权利要求1或2所述的基于视觉大模型的煤矿井下目标检测方法，其特征在于，4.一种视频分析设备，包括存储器、处理器以及存储在所述至3中任一项所述基于视觉大模型的煤矿井下目标检4习的目标检测主要采用卷积神经网络(ConvolutionalNeuralNetwork，简称CNN)通过模如RCNN(RegionwithConvolutionalNeuralNetwork，区域卷积神经网络)、FastRCNN如YOLO(YouOnlyLookOnce)、SSD(SingleShotMultiBoxDetector，单步多框目标检[0005]目前主流的深度学习目标检测主要采用FasterRCNN以及YOLO模型，其目标检测[0010]基于所述训练集，对GroundingDINO模型进行微调，得到微调后的Grounding[0011]对微调后的GroundingDINO模型进行知识蒸馏，得到知识蒸馏后的Grounding5[0015]超参数确定模块，用于基于树结构的贝叶斯优化方法进行超参数寻优，确定[0018]检测模块，用于将所述煤矿井下的待检测图像输入到知识蒸馏后的Grounding实现上述一种基于视觉大模型的煤矿井下目标检测方[0022]图1为本发明实施例提供的一种基于视觉大模型的煤矿井下目标检测方法的流程[0026]图5为本发明实施例提供的一种基于视觉大模型的煤矿井下目标检测系统的结构6[0033]图1为本发明实施例提供的一种基于视觉大模型的煤矿井下目标检测方法的流程7k为引导图像I在滤波窗口ω中的平均值；k为待滤波图像p在ω中的平均[0056]该函数可以根据像素点的具体光照状况，动8[0065]将得到增强后的视频图像输入GroundingDINO模型的图像编码器提取图像的特[0066]这里主要通过调整图像编码器的图像块大小(patchsize)、移动窗口大小9[0071]作为一种实施方式，所述基于树结构的贝叶斯优化方法进行超参数寻优，确定[0078]对于超参数序列x，TPE为与最佳目标值相关的超参维护第一为剩余的超参维护第二高斯混合模型g(x)，并选择l([0079]TPE分别对条件概率分布p(x|y)和边缘概率分布p(y)进行建模，通过贝叶斯公式[0086](2)在取值范围中采样一部分参数组合作为当前超参数组合，评估当前超参数组[0091]S130，基于所述训练集，对GroundingDINO模型进行微调，得到微调后的[0092]本发明实施例采用的是GroundingDINO视觉大模型,它是一个通用的视觉理解模[0095]对视觉大模型的微调只更新GroundingDINO模型网络结构中较高层或者最后一[0098]读取所述训练集中的训练数据，并输入GroundingDINO模型中，并对Grounding[0101]重复上述步骤，直至达到设定的训练指标或者最大轮次后，得到微调后的微调。[0114]S140，对微调后的GroundingDINO模型进行知识蒸馏，得到知识蒸馏后的[0117]分别对微调后的GroundingDINO模型，进行Patch_group蒸馏和Anchor_point蒸备大模型的知识/能力的迁移过程。即将teacher模型的输出结果q作为student模型的目[0122]为了让student小模型充分模仿teacher大模型模型的特征空间成分，采用Target_WareTransformer(TaT)来对student特征在特定位置的语义进行像素级的重新配[0132]其中LCE为蒸馏损失，为patch_group损[0134]S150，将所述煤矿井下的待检测图像输入到知识蒸馏后的Ground下目标检测算法单一的目标检测场景，通过引入融合了文本与图像理解能力的Grounding[0137]图5为本发明实施例提供的一种基于视觉大模型的煤矿井下目标检测系统的结构[0139]超参数确定模块520，用于基于树结构的贝叶斯优化方法进行超参数寻优，确定[0144]上述基于视觉大模型的煤矿井下目标检测系统中的各个模块可全部或部分通过[0145]图6为本发明实施例提供的一种视频分析设备的结构示意图，该视频分析设备可理器执行时以实现一种基于视觉大模型的煤矿井下目标种基于视觉大模型的煤矿井下目标检测系统这一实施例中的各模块/该计算机程序被处理器执行时实现上述实施例中一种基于视觉大模型的煤矿井下目标检包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同