CN119442123A 基于多模态大模型的异常信息检测方法及装置 （杭州海康威视数字技术股份有限公司）

司基于多模态大模型的异常信息检测方法及本申请提供基于多模态大模型的异常信息行异常信息的检测和异常信息的具体内容的检2将当前待检测的目标文件和用于对所述目标文件进行异常检测的第一问题提示输入若所述目标文件中存在异常信息，则将所述目标文件和用于第二答案；所述第二问题提示的语义用于提问所述目标文件存在的异常信息的具体内容；所述第二答案用于答复所述目标文件存在的异常信息的基于所述第二答案获得所述目标文件中存在的异常信2.根据权利要求1所述的方法，其特征在于，所述多其中，所述第一训练样本集中每一训练样本至少包括第一文件所述第二训练样本集中每一训练样本至少包括已确定具有异常信息的第二文件样本、获得预训练的初始多模态大模型，基于所述预设微调算法从初所述初始多模态大模型的全部参数数量之间的关系满足第一设定基于所述第一训练样本集迭代训练所述第一微调参数子集中的参基于所述预设微调算法从合并后的多模态大模型中选择部分参数作为第二微调参数基于所述第二训练样本集迭代训练所述第二微调参数子集中的参3获得预训练的初始多模态大模型，基于所述预设微调算法从初述初始多模态大模型的全部参数数量之间的关系满足第三设基于所述第二训练样本集迭代训练所述第三微调参数子集中的参基于所述预设微调算法从合并后的多模态大模型中选择部分参数作为第四微调参数基于所述第一训练样本集迭代训练所述第四微调参数子集中的参第一检测模块，用于将当前待检测的目标文件和用于对第二检测模块，用于若所述目标文件中存在异常信息，则将7.根据权利要求6所述的装置，其特征在于，所述所述异常信息检测模型是利用与所述第一问题提示对应的第一其中，所述第一训练样本集中每一训练样本至少包括第一文件所述第二训练样本集中每一训练样本至少包括已确定具有异常信息的第二文件样本、4所述对初始多模态大模型进行微调训练通过以下获得预训练的初始多模态大模型，基于所述预设微调算法从初所述初始多模态大模型的全部参数数量之间的关系满足第一设定基于所述第一训练样本集迭代训练所述第一微调参数子集中的参基于所述预设微调算法从合并后的多模态大模型中选择部分参数作为第二微调参数基于所述第二训练样本集迭代训练所述第二微调参数子集中的参获得预训练的初始多模态大模型，基于所述预设微调算法从初述初始多模态大模型的全部参数数量之间的关系满足第三设基于所述第二训练样本集迭代训练所述第三微调参数子集中的参基于所述预设微调算法从合并后的多模态大模型中选择部分参数作为第四微调参数基于所述第一训练样本集迭代训练所述第四微调参数子集中的参计算机可读存储介质，在所述计算机可读存储介算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至5任一项所述的5将当前待检测的目标文件和用于对目标文件进行异常检测的第一问题提示输入基于第二答案获得目标文件中存在的异常信[0008]本申请实施例还提供一种机器可读存储介质，该存储介质存储有计算机程序指6异常信息检测模型基于第二问题提示对目标文件中存在的异常信息的具体内容进行进一7信息的第一答案的能力。异常信息检测模型通过对目标文件和第一问题提示进行特征提测的第二问题提示输入到异常信息检测模型，以得到用于回答第二问题提示的第二答案；具体内容上，并在是在已经确定存在异常信息的前提下进行异常信息的具体内容检测的，这使得异常信息检测模型能够更准确更快速地生成第8言处理与计算机视觉技术的图_文跨模态热门任务。该任务以计算机智能识别与检索图像场景分析等多项技术。可选地，作为一个实施，常见的VQA大模型包括：MiniGPT_4，9信息检测模型对目标图像进行分析提取出图像特征，并将第二问题提示转化为文本特征，样本也可以是与第一训练样本集完全没有关系[0054]在本实施例中，预设微调算法可为LORA微调算法或者Swift微调工具库中其他微[0055]第一设定参数要求是指第一微调参数子集中的参数数量与初始多模态大模型的达设定轮次比如100轮此时，将满足第一迭代停止条件时的优化后的第一微调参数子集次到达设定轮次比如250轮此时，将满足第二迭代停止条件时的优化后的第二微调参数模态大模型的全部参数数量之间的关系满足第三设定基于预设微调算法从合并后的多模态大模型中选择部分参数作为第四微调参数[0073]为了更详细地阐述，下面结合图4以具体实施例的方式对本申请提供的方案进行1、构建第一训练样本集，第一训练样本集中每一训练样本至少包括第一图像样复第一图像样本是否存在异常信息的文本模态的第[0094]第一检测模块501，用于将当前待检测的目标文件和用于对目标文件进行异常检第二训练样本集中每一训练样本至少包括已确定具有异常信息的第二文件样本、基于预设微调算法从合并后的多模态大模型中选择部分参数作为第二微调参数模态大模型的全部参数数量之间的关系满足第三设定基于预设微调算法从合并后的多模态大模型中选择部分参数作为第四微调参数[0102]基于与上述方法同样的申请构思，本申请实施例还提供