《大语言模型金融领域应用评测指南》-标准编制说明-0820

1《大语言模型金融领域应用评测指南》编制一、背景及意义近年来，大模型技术迅猛发展，商业化应用日益深入，并在文本生成场景展现出巨大潜力。目前，市面上拥有数百个大语言模型，但质量参差不齐，部分模型存在准确性、连贯性、逻辑性等方面的问题，一定程度上阻碍了大语言模型的商业化进程。尤其在金融领域，作为金融活动的重要载体，金融文本的生成质量直接关系到金融决策的准确性以及交易的安全性、合规性等。因此，如何对大语言模型进行全面、客观的评测，已经成为一个迫切需要解决的问题。大语言模型拥有巨大的参数量和较强的泛化能力，评测维度、评测指标和数据集相较传统模型更加复杂，评测难度也随之显著增加。而且不同领域对文本生成的需求存在差异，对评测体系的要求也各不相同。目前，我国针对金融领域大语言模型的评测体系尚处于探索阶段，还未形成统一的标准。这一现状导致金融机构在开展大语言模型评测时缺乏可靠的参考依据，容易出现模型潜在风险难以识别、评测结果可信度不足等问题，给大语言模型的落地应用带来挑战。四川新网银行股份有限公司联合西南财经大学金融科技国际联2语言模型金融领域应用评测指南》团体标准，为金融行业提供一套科学、合理、实用的大语言模型评测体系。该标准的制定对推动大语言模型在金融领域的健康有序发展具有重要意义。二、编制原则本文件的编制遵循以下原则：（一）合规性原则。本文件编制过程中，严格遵循国家现行法律法规和标准化相关政策，包括：《中华人民共和国标准化法》《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等。（二）规范化原则。本文件编制过程中，严格遵循国家标准GB/T20000.1-2014规定的标准文本写作格式。（三）科学性原则。本文件立足于提出机构在大语言模型测试领域的具体实践，结合大语言模型的技术机理及其在金融领域的应用特点进行编制。编制过程中，参考了GB/T45288.1—2025、GB/T45288.2—2025、T/SCBDIF001—2024、T/BFIA034—2024等标准。三、主要内容本文件主要包括以下方面内容：（一）范围。本文件适用于成渝地区金融机构对大语言模型能力评测的设计与实施。3（二）规范性引用文件。本标准引用文件如下：GB/T45288.2—2025人工智能大模型第2部分：评测指标与方法。（三）术语与定义。描述了本标准涉及的大语言模型、幻觉、测试用例、评测维度、评测项共5个规范术语及其定义。（四）缩略语。描述了本标准涉及的缩略语。（五）评测原则。描述了大语言模型金融领域评测过程中宜遵循的基本（六）评测维度。描述了13个相互独立且完整覆盖金融应用场景的能力评测维度。每个评测维度下含3-6个评测项，共53个评测（七）评测方法。从准备评测数据、设计评测工具、搭建评测环境、评测执行、结果分析5个阶段描述了大语言模型的评测方法。（八）附录A-测评实施指南。针对各评测项提供具体的评测流程和参考用例。（九）附录B-显存配置参考。针对不同参数量的大语言模型提供参考显存配置。4四、主要工作过程本文件编制过程如下：限公司启动大语言模型金融领域应用评测指南制定项目。（二）成立标准编制工作组。四川新网银行股份有限公司联合西南财经大学金融科技国际联合实验室、重庆国家金融科技认证中心等机构，共同成立标准工作组，规范标准化制定总体原则，标准内容制定目标以及制定工作分配安排。（三）标准立项下达。2025年1月，四川省支付清算协会秘书处正式下发《关于2024-2025年成渝金融团体标准立项批准的通知》（川支协发〔2025〕4号），本标准正式立（四）形成征求意见稿。2025年4月-8月，按照标准编制的要求，编制形成《大语言模型金融领域应用评测指南》的行业内征求意见稿。（五）形成送审稿。根据各单位评审意见修改《大语言模型金融领域应用评测指南》标准内容，拟2025年11月形成《大语言模型金融领域应用评测指南》（送审稿）。五、重大分歧意见的处理经过和依据在本文件的编制过程中，工作组成员对标准的内容进行了充分的研究和探讨，在编制过程中没有出现重大分歧意见。六、贯彻金融行业标准的要求和措施建议本文件为首次编制，鉴于本文件的内容未涉及强制性标5准或强制性条文的内容及要求，因此建议作为推荐性团体标七、废止现行有关标准的建议本文件为首次编制，不存在对现行标准的废止问题。八、其他应予说明的事项本文件遵守中华人民共和国