CN119495027A 基于多模态大模型的道路病害检测方法及装置 （深圳市锐明像素科技有限公司）

基于多模态大模型的道路病害检测方法及本申请提供的一种基于多模态大模型的道将所述文本信息输出到语义识别模型中确定语2获取道路的图像信息和所述图像信息中关于检测头用于基于所述融合特征信息进行检测并输出所述道路积模块用于对对应通道中的特征信息进行形状改变后输出，多个ALCSR模块包括：第一述第一ALCSR模块的输出，所述第二ALCSR模块的输出为所述第三ALCSR模块和所述颈部网息交互模块的输入为所述第五ALCSR模块的输出，所述语义信息交互模块的输出为所述第一上采样模块的输入，所述第一特征拼接模块的输入为所述第一上采样模块和所述第四ALCSR模块的输出为所述第二上采样模块和所述第三特征拼接模块的输入，所述第二特征的输入为所述第二特征拼接模块的输入和所述语义信息，所述第一TITFA模块的输出为所述第七ALCSR模块的输入，所述第七ALCSR模块输出为所述第五CBS模块和所述检测头的输3四特征拼接模块的输入为所述第五ALCSR模块和所述第六CBS模块的输出，所述第三TITFA模块的输入为所述语义信息和所述第四特征拼接模块的输出，所述第三TITFA模块的输出基于多头注意力机制进行特征融合，并输出融合后的特征信息至所述第三残差连接单元，的图像特征进行降维处理和尺度优化，所述归一化单元用于对特征在数值空间进行归一检测模块，用于将所述图像信息和所述语义信息输入到多模态大45然会带来沉重负担与极大挑战，而且相关技术中提供的方法还是存在检测精度不高的问获取道路的图像信息和所述图像信息中关于6第二ALCSR模块的输出为所述第三ALCSR模块和所述颈部网络的输入，所述第三ALCSR模块的输出为所述第四ALCSR模块的输入，所述第四ALCSR模块的输出为所述第五ALCSR和所述述第一特征拼接模块的输入为所述第一上采样模块和所述第四ALCSR模块的输出，所述第述第七ALCSR模块输出为所述第五CBS模块和所述检测头的输入，所述第五CBS模块的输出为第三特征拼接模块的输入，所述第二TITFA模块的输入为所述语义信息和所述第三特征模块的输出为所述第六CBS模块和所述检测头的输入，所述第四特征拼接模块的输入为所述第五ALCSR模块和所述第六CBS模块的输出，所述第三TITFA模块的输入为所述语义信息元用于基于多头注意力机制对输入的信息进行处理，并输出特征信息至第一残差连接单元输出的特征进行残差连接，所述第一残差连接单元的输出为第一多层感知机单元的输7元的输出为第二多层感知机单元，所述第二多层感知机单元的输出为第四残差连接单元，获取模块，用于获取道路的图像信息和所述图像信息中关于病害类型的文本信8[0020]图1本申请实施提供的一种基于多模态大模型的道路病害检测方法的流程示意图8为本申请实施例提供的一种基于多模态大模型的道路病害检测装置的结构示9[0028]本申请实施例提供一种基于多模态大模型的道路病害检测方法，图1本申请实施提供的一种基于多模态大模型的道路病害检测方法的流程示意图，如图1所示，该方法包[0032]本申请实施例中，语义识别模型可以CLIP(ContrastiveLanguage_ImagePre_如图2所示，骨干网络包括：多个可变形（Deformable）的自适应轻量级通道分割与重排模块用于对输入的特征信息进行自适应通道分割，得到各个通道的特征信息，并将各个通道的特征信息进行合并输出，各个通道通过通道重排机制进行通道间的信息交换，每个通道中设有可变形卷积模块，所述可变形卷积模块用于对对应通道中的特征信息进行形状改变后输出，多个ALCSR模块包括：第一ALCSR模块、第二ALCSR模块、第三ALCSR模块、第四ALCSR模块的输出为第四ALCSR模块的输入，第四ALCSR模块的输出为第五ALCSR和颈部道混合/通道重排单元，分割模块用于将特征进行分割，并分别输入到基本网络和多层网在多次网络中包括：DWBottleneck，即深度可分离卷积瓶颈（DepthwiseSeparable为开放词汇实例分割任务提供了高效且可靠的输出为第二上采样模块和第三特征拼接模块的输入，第二拼接模块的输入为第二ALCSR模[0055]在一些实施例中，图5为本申请实施例提供的一种语义信息交互模块的结构示意息交互模块的信息进行残差连接。第一残差连接单元的输出输入到第一多层感知机单元，[0061]本申请实施例提供的方法，此充分利用了Transformer的全局建模能力和注意力领域的视觉任务提供了一种高效的解决方案。定单元的输出为参数调整单元，拼接单元的输入为第二卷积单元和参数调整单元的输出，[0065]本申请实施例中，卷积单元用于对融合特征的图像特征进行降维处理和尺度优单元用于将第二卷积单元的输出和参数调整单元的输出进行拼接，以形成联合特征信息。化边界框回归的Boxes损失、旨在提高边界框预测准确性的DFL（DistributionFocal失函数的联合设计促进了检测和分割模块之间的协同优化，进而提高了模型的整体性能。得益于网络架构在设计上对检测和分割任务的解耦，系统具备了高度的灵活性和可扩展息有效指导图像特征的优化。并且还提供一个轻量化设计的开放词汇实例分割解码器头，的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限（DSP，DigitalSignalProcessing）或现场可[0079]本申请实施例提供一种基于多模态大模型的道路病害检测装置，图8为本申请实获取模块801，用于获取道路的图像信息和所述图像信息中关于病害类型的文本块，每个ALCSR模块用于对输入的特征信息进行自适应通道分割，得到各个通道的特征信第一CBS模块的输入为所述图像信息，所述第四CBS模块的输出为所述第一ALCSR模块的输所述第三ALCSR模块和所述颈部网络的输入，所述第三ALCSR模块的输出为所述第四ALCSR述第一特征拼接模块的输入为所述第一上采样模块和所述第四ALCSR模块的输出，所述第二上采样模块和所述第三特征拼接模块的输入，所述第二拼接模块的输入为所述第二七ALCSR模块输出为所述第五CBS模块和所述检测头的输入，所述第五CBS模块的输出为第三特征拼接模块的输入，所述第二TITFA模块的输入为所述语义信息和所述第三特征拼接的输出为所述第六CBS模块和所述检测头的输入，所述第四拼接模块的输入为所述第五ALCSR模块和所述第六CBS模块的输出，所述第三TITFA模块的输入为所述语义信息和所述元用于基于多头注意力机制对输入的信息进行处理，并输出特征信息至第一残差连接单元输出的特征进行残差连接，所述第一残差连接单元的输出为第一多层感知机单元的输元的输出为第二多层感知机单元，所述第二多层感知机单元的输出为第四残差连接单元，[0087]另外，图8所示的基于多模态大模型的道路病害检测可以是内置于现有的电子设[0091]示例性的，计算机程序32可以被分割成一个或多个模块/单元，一个或者多个模[0100]本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要[0101]申请人处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用