CN119357069B 基于多语言模型自我进化的智能体语言能力自动化测试方法 （北京通 用人工智能研究院）

基于多语言模型自我进化的智能体语言能本发明提供了一种基于多语言模型自我进于多语言模型自我进化的智能体语言能力自动2基于所述输出结果和关联信息在预构建的样本库中进行相似将所述提示词输入表决器，所述表决器包括多个表决语言模型，根据输出文本获取场景信息和智能体的动作序列；包括基于表决器输出的判定结果的置信度评分对2.根据权利要求1所述的基于多语言模型自我进化的智能体语言能力自动化测试方3.根据权利要求1所述的基于多语言模型自我进化的智能体语言能力自动化测试方基于长度的样本选择器、基于最大边际相关性的样本选择器和/或基于语义相似性的4.根据权利要求1所述的基于多语言模型自我进化的智能体语言能力自动化测试方5.根据权利要求4所述的基于多语言模型自我进化的智能体语言能力自动化测试方所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被理器执行，以使所述至少一个处理器能够执行权利要求1_5任一所述的基于多语言模型自3计算机指令用于使计算机执行权利要求1_5任一所述的基于多语言模型自我进化的智能体理器执行时实现权利要求1_5任一所述的基于多语言模型自我进化的智能体语言能力自动4[0006]基于特定语料用例库关键词规则校验的自动化测试:这种方法通过构建一个特且对于大规模测试的执行效率较低。b)NLP技术的效果和准确性依赖于模型的训练质量，5[0026]基于长度的样本选择器、基于最大边际相关性的样本选择器和/或基于语义相似的步骤之后，还包括基于表决器输出的判决结果的置信度评分对预构建的样本库进行扩6该计算机程序/指令被处理器执行时实现第一方面任一所述的基于多语言模型自我进化的根据表决器的表决结果对智能体语言能力自动完成测试，通过多个表决语言模型进行表[0041]图1为本公开实施例提供的一种基于多语言模型自我进化的智能体语言能力自动[0042]图2为本公开实施例提供的一种基于多语言模型自我进化的智能体语言能力自动方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或7[0050]基于多语言模型自我进化的智能体语言能力自动化测试方法的核心在于模拟用89[0085]步骤S102：基于所述输出结果和关联信息在预构建的样[0088]基于长度的样本选择器、基于最大边际相关性的样本选择器和/或基于语义相似[0112]通过多个表决语言模型组成的表决机制，对智能体的回[0114]所述基于表决器输出的判决结果的置信度评分对预构建的样本库进行扩展，包[0119]智能体输出结果的一致性：评估智能体在不同上下文中是否能够保持一致的回[0123]深度学习和神经网络算法在模拟人类对语言的理解和推理能力方面取得了显著[0126]深度学习算法在语言理解中的应用主要集中在自然语言处理领域。NLP是人工智处理一个词时考虑整个输入序列。[0138]许多现代的NLP模型，通过在大规模数据集上进行预训练，学习到通用的语言表[0154]本实施例公开的基于多语言模型自我进化的智能体语言能力自动化测试方法可多语言模型自我进化的智能体语言能力自动[0156]1、通过表决语言模型判别智能体语言能力测试结果：在智能体语言能力的测试[0159]如图2所示，本实施例还公开了一致基于多语言模型自我进化的智能体语言能力[0172]基于长度的样本选择器、基于最大边际相关性的样本选择器和/或基于语义相似[0176]所述基于表决器输出的判决结果的置信度评分对预构建的样本库进行扩展，包设备执行前述的本公开各实施例的基于多语言模型自我进化的智能体语言能力自动化测[0181]如图3为本公开实施例提供的一种电子设备的结构示意图。其示出了适于用来实多语言模型自我进化的智能体语言能力自动化测试方法的全部或部型自我进化的智能体语言能力自动化测试方法的全部或另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实[0193]可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种[0194]提供所公