（编制说明）垂类模型综合成效评价指南

1《垂类模型综合成效评价指南》（征求意见稿）编制说明一、工作简况（一）任务来源本项目是根据《2025年苏州市人工智能行业协会团体标准（第二批）立项公示》（苏州智协标〔2025〕5号）文件的具体要求制定，为科学、客观、公正地开展垂类模型遴选工作，规范其价值评测标准和流程，为政策落地执行提供操作依据，由苏州市人工智能公司提出，联合十余家单位共同制定。计划完成时间2025年9月。（二）主要工作过程1.调研立项阶段2024年以来，苏州全市上下深入贯彻落实国家“人工智能+”行动决策部署，加速推动人工智能技术赋能千行百业，构建了“1+15”的应用体系，在关注“人工智能+”应用赋能的同时，苏州也将人工智能作为重点产业，聚集资源重点发展。然而，苏州在人工智能垂类模型领域尚未建立科学、规范的综合成效评价体系，对全市政策扶持精准落地、市场主题明确发展方向、产业生态实现有序协同形成了一定的挑战。为进一步推进人工智能产业的高质量发展，规范垂类模型综合成效评价，苏州市人工智能公司在苏州市“人工智能+”专项工作组的指导下，于2025年8月提出《垂类模型综合成效评价指南》团体标准的立项申请，并召开了团体标准2立项评审会议，对该项团体标准通过立项评审及公示。2.组建工作组，形成标准草案通过立项评审后，苏州市人工智能公司公开征集了团标参编单位，经协会标准化工作组的遴选，最终确定了10家参编单位，由牵头单位、参编单位的相关技术专家、企业专家共同组建了团体标准起草小组。起草小组结合行业内、企业内的发展经验和相关资料，形成标准草案，并开展线上团组讨论、一对一交流等多种形式的内部研讨会，邀请了专家和相关企业对标准进行指导，最终起草小组对《垂类模型综合成效评价指南》的标准编制工作重点、标准制定依据和编制原则等形成了共识，于2025年8月5日形成标准征求意见稿。3.主要参加单位和工作组成员及分工本标准由苏州市人工智能公司、腾讯云计算（北京）有限责任公司、中国联通网络通信有限公司苏州市分公司、智慧芽信息科技（苏州）有限公司、中国电信股份有限公司苏州分公司、苏州大学计算机科学与技术学院、天聚地合（苏州）科技股份有限公司、苏州数政安全技术有限公司、中国人民大学苏州人工智能学院、杭州海康威视科技有限公司苏州分公司、中国移动通信集团江苏有限公司苏州分公司共同起草。主要成员：张衎、廉政、施林华、邹平、许铭潮、李俊涛、皮冰锋、张文彬、于秀宾、应紫薇、卢栋梁等人。二、标准编制原则和主要内容3（一）编制原则当前，以大模型为代表的人工智能技术正以前所未有的深度和广度重塑全球经济与产业格局，成为发展新质生产力、推动高质量增长的重要引擎。随着垂类模型（涵盖行业大模型、垂域大模型、智能体系统）的规模化应用进入关键阶段，构建科学、规范的垂类模型综合成效评价体系，是在当前人工智能技术加速演进、产业应用蓬勃发展的基础上，进一步厘清技术应用价值、精准识别模型实际效能、引导创新资源优化配置的关键举措，对推动人工智能与实体经济深度融合、赋能现代化产业体系建设至关重要。本标准制定高度契合国家产业发展战略和创新驱动需求。目前，国家层面和地方层面针对垂类模型综合成效评价的专项标准存在着一定的空缺，本标准在团体所在地市范围内具有差别化、前瞻性及较高的应用价值。在标准编制格式方面，该标准的编制依据GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》。在起草过程中，广泛收集查阅了国内相关标准和相关技术文献，对于本标准的编写遵循垂类模型技术健康发展和应用效能提升的实际需求，将推动垂类模型产业持续快速健康发展，强化人工智能行业自律，促进垂类模型应用能力提升。该标准针对团体所在地市范围内依法注册企业研发的垂类模型（包括行业大模型、垂域大模型、智能体系统），4构建了一套综合价值评价体系。该体系从安全合规、技术性能、应用能力、价值表现四个核心维度展开，为不同分类的模型确立了具体的评价框架、评测方法、记分规则与等级划分，确保了评价标准既具备对不同模型形态的灵活适用性，又保持了评价流程与结果呈现方式的统一性和普适性。标准详细阐述了垂类模型在安全合规准入、技术性能基准、应用能力要求以及价值表现广度、深度、效益与可持续性等层面的具体评价要求与规范，并对涵盖自动化测试、人工评测、大模型辅助评测等多种方式的评价方法，以及评价结果呈现方式等，进行了全面说明。三、主要评价指标体系及试验（或验证）情况本标准不涉及试验（或验证）。四、标准中如果涉及专利，应有明确的知识产权说明本标准中不涉及知识产权。五、预期达到的社会、对产业发展的作用等情况通过制定《垂类模型综合成效评价指南》，有助于在团体所在地市范围内建立科学统一的垂类模型综合成效评价体系，为产业发展和政策制定提供客观量化的决策参考。六、采用国际标准和国外先进标准情况，与国际、国外同类标准水平的对比分析情况本标准填补了苏州市垂类模型综合成效评价规范上的空缺，具有前瞻性和借鉴性。七、与现行相关法律、法规、规章及相关强制性标准的协调性5该标准与现行法律、法规、规章及相关标准内容无矛盾和冲突。八、重大分歧意见的处理经过和依据九、标准性质的建议说明