CN119416830A 模型测评方法、设备、存储介质及程序产品 （阿里云飞天(杭州)云计算技术有限公司）

本申请实施例提供一种模型测评方法、设模型中与该题目类型适配的目标测评模型对答同类型的题目输出的答复结果进行协同测评的2调用多个测评模型中与所述题目类型适配的目标测评模型，对所述答复结果进行测若所述题目类型是客观题，则调用第一测评模型对所述目标调用所述第一测评模型，根据客观题对应的规则若所述题目类型是主观题，则调用第二测评模型对所述目标根据所述题目类型、所述目标题目以及对应的答复结果，生成若所述题目类型为内容创作类的主观题，则根据创作题目、所述目标模调用题型分类器，识别所述目标题目对应的题目类型，3获取所述目标题目对应的答复结果与所述目标若所述匹配度大于设定的匹配度阈值，则调用所述多个测评模所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1_8任一项所执行时能够实现权利要求1_8任一项所述的被处理器执行时能够实现权利要求1_8任一项所述的方4[0003]为提升AI模型在题目回答任务上的性能，通常采用测评模型对该AI模型进行测上的测评结果；所述规则引擎用于将所述答复结果和所述目标题目的参考答案进行匹配，5提示词。被处理器执行时能够实现本申请实施例提供的方程序/指令被处理器执行时能够实现本申请实施例提供的方不同的测评模型，对目标模型针对不同类型的题目输出的答复结果进行协同测评的方案，6[0025]图1是本申请一示例性实施例提供的模型测评方法的流程示意图，该方法可包括789级别的模型是指拥有大概140亿参数的大型语言模型。相较于更大规模的模型来说，7B或的答复结果user_answer_single="A"，规则引擎可采用match()函数或fullmatch()函数，将正则表达式reference_pattern_single=r"^[A]$"中的字符串与答复结果user_可根据第一测评模型生成的参考答案与答复结果之间的差异，结合打分规则执行打分操使得微调后的大语言模型更加适用于执行对目标模型的解题能力进行测评的任务。进而，查询与解析到的实体以及实体之间的关系相关的知识信息。根据解析结果以及知识信息，识问答题的答复结果后，第二测评模型可采用构建完成的正则表达式与答复结果进行匹评工具在调用第二测评模型对该目标题目对应的答复结果进行测评时，可根据该题目类机写作专家擅长测评计算机技术领域内的内容通过题目及其答复结果的文本相似度进行计算。若匹配度小于或等于设定的匹配度阈值，[0065]测评工具在获取参评模型对测评题目的解题结果以及测评题目对应的题目类型工具可通过构造与创作题以及评分规则对应的提示词，并根据该提示词调用第二测评模结果生成参考答案。测评模型可根据生成的参考答案以及输入的解题结果进行评估打分。调子模型根据参考答案以及解题结果之间的差异进行打[0068]需要说明的是，上述实施例所提供方法的各步骤的执行设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指[0075]可选地，处理器402在调用第一测评模型对所述目标题目对应的答复结果进行测[0077]可选地，处理器402在调用第二测评模型对所述目标题目对应的答复结果进行测提示词。[0082]其中，存储器401可以由任何类型的易失性或非易失性存储设备或者它们的组合读存储器（ElectricallyErasableProgramm可编程只读存储器（ErasableProgrammable[0083]其中，通信组件403被配置为便于通信组件所在设备和其他设备之间有线或无线信技术2G（如全球移动通信系统（GlobalSystemforMobileCommunications，GSM）[0085]显示组件包括屏幕，其屏幕可以包括液晶显示器（LiquidCrystalDisplay，别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存号。算机程序被执行时能够实现上述方法实施例中可由电子程序/指令被处理器执行时能够实现本申请实施例提供的方[0092]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特[0094]在一个典型的配置中，计算设备包括一个或多个处理器(CentralProcessingPRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器