ISOIEC 250592023 软件工程.系统和软件质量要求和评估（SQuaRE）.人工智能系统的质量模型标准立项发展报告

软件工程系统和软件质量要求和评估（SQuaRE）人工智能系统的质量模型标准立项发展报告StandardizationDevelopmentReport:Softwareengineering—SystemsandsoftwareQualityRequirementsandEvaluation(SQuaRE)—QualitymodelforAIsystems摘要随着人工智能技术在各行各业的深度渗透与规模化应用，AI系统的质量保障已成为产业界与学术界共同关注的焦点议题。AI系统因其数据驱动、模型迭代、行为不确定性等特征，传统软件质量模型难以完全适配其质量评估需求。在此背景下，国际标准化组织（ISO）于2023年6月正式发布ISO/IEC25059:2023《软件工程系统和软件质量要求和评估（SQuaRE）人工智能系统的质量模型》，标志着AI系统质量评估领域首个国际通用质量模型正式确立。本标准基于ISO/IEC25010:2011所定义的产品质量模型框架，针对AI系统的独特特征进行系统性扩展，构建了涵盖功能适恰性、性能效率、兼容性、交互操作性与安全性、可靠性、安全保密性、可维护性、可移植性在内的八维度质量模型，并进一步细化为面向AI系统的子特征集合。报告全面梳理了该标准的研制背景、核心内容、关键技术指标、主要参与单位及应用前景，分析了其对AI系统质量保障体系建设的指导意义，并为我国AI标准化工作与国际接轨提供了参考路径。关键词：人工智能；质量模型；SQuaRE；ISO/IEC25059；软件质量评估；标准化AbstractWiththedeeppenetrationandlarge-scaleapplicationofartificialintelligencetechnologyacrossvariousindustries,qualityassuranceforAIsystemshasbecomeafocalissueofcommonconcerninbothindustryandacademia.Duetothedata-drivennature,modeliteration,andbehavioraluncertaintyofAIsystems,traditionalsoftwarequalitymodelsaredifficulttofullyadapttotheirqualityevaluationrequirements.Againstthisbackdrop,theInternationalOrganizationforStandardization(ISO)officiallyreleasedISO/IEC25059:2023inJune2023,markingtheformalestablishmentofthefirstinternationalgeneral-purposequalitymodelinthefieldofAIsystemqualityevaluation.BasedontheproductqualitymodelframeworkdefinedinISO/IEC25010:2011,thisstandardsystematicallyextendstheframeworktoaddressthedistinctivecharacteristicsofAIsystems,constructinganeight-dimensionqualitymodelcoveringfunctionalsuitability,performanceefficiency,compatibility,interactioncapabilityandsecurity,reliability,safetyandconfidentiality,maintainability,andportability,furtherrefinedintosub-characteristicsspecifictoAIsystems.Thisreportcomprehensivelyreviewsthedevelopmentbackground,corecontent,keytechnicalindicators,majorparticipatingorganizations,andapplicationprospectsofthestandard,analyzesitsguidingsignificancefortheconstructionofAIsystemqualityassurancesystems,andprovidesareferencepathforaligningChina'sAIstandardizationeffortswithinternationalpractices.Keywords:ArtificialIntelligence;QualityModel;SQuaRE;ISO/IEC25059;SoftwareQualityEvaluation;Standardization一、引言1.1研究背景人工智能技术正以前所未有的速度重塑全球产业格局。从智能制造、智慧医疗到自动驾驶、金融风控，AI系统已从实验室研究走向大规模生产部署。据国际数据公司（IDC）预测，全球AI市场规模将在2025年突破5000亿美元，年复合增长率超过25%。然而，AI系统的大规模应用也带来了严峻的质量挑战：模型偏差导致决策不公、黑箱特性引发信任危机、对抗攻击威胁系统安全、数据漂移造成性能衰减等问题的频发，使得AI系统的质量评估与保障成为亟需解决的关键性问题。传统软件质量模型——如ISO/IEC25010:2011所定义的质量模型——主要针对确定性、规则驱动的传统软件系统设计，其质量特征和度量方式难以充分覆盖AI系统所独有的数据依赖、模型不确定性、持续学习等特征。消费市场对AI产品质量信心的缺失、行业监管对AI系统评估标准的渴求，共同催生了对AI专用质量模型的迫切需求。1.2标准研制意义ISO/IEC25059:2023的发布具有里程碑式的意义。作为SQuaRE系列标准家族中专用于AI系统的质量模型，该标准为AI系统的质量评估提供了统一的概念框架和术语体系，填补了国际标准在AI系统质量模型领域的空白。其意义体现在以下层面：-产业层面：为AI产品开发商和质量评估机构提供了权威的评估依据，降低供需双方的质量认知偏差，促进AI产品的市场化交易与交付。-监管层面：为行业主管部门和第三方评估机构开展AI系统质量监督与合规检查提供了可参照的技术框架。-技术层面：系统性地界定了AI系统特有的质量特征及其相互关系，为AI系统的设计、开发、测试和运维全过程提供了质量基准。-国际协调层面：统一了各国在AI系统质量评估方面的认识差异，为AI标准的国际互认和跨境贸易奠定了技术基础。二、标准概述2.1标准基本信息ISO/IEC25059:2023《软件工程系统和软件质量要求和评估（SQuaRE）人工智能系统的质量模型》由国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会ISO/IECJTC1/SC42（人工智能分技术委员会）负责制定，于2023年6月28日正式发布。该标准属于ISO/IEC25000系列（SQuaRE——系统和软件质量要求和评估）标准家族的重要组成成员，是2501n（质量模型）分支中专门面向AI系统的质量模型标准。2.2标准定位与体系关系在SQuaRE标准家族中，ISO/IEC25059与以下标准形成紧密的配套关系：-ISO/IEC25000：SQuaRE体系的总体指南，规定了该系列标准的适用范围、体系结构和通用术语。-ISO/IEC25010:2011：系统和软件质量模型的基础标准，定义了产品质量和软件产品质量的通用模型框架，ISO/IEC25059正是在此框架基础上进行AI扩展。-ISO/IEC25030：质量要求规范，规定了质量要求的获取、分析和规范化的过程框架。-ISO/IEC25040：质量评估参考模型，定义了系统评估的通用过程和活动。ISO/IEC25059的技术定位是：在保持与ISO/IEC25010质量模型体系兼容的前提下，增加面向AI系统独特属性的质量特征和子特征，形成一套完整、可操作、可裁剪的AI质量模型。换言之，ISO/IEC25059并非推倒重来，而是在继承经典质量模型骨架基础上的有机拓展。2.3适用场景该标准主要适用于以下应用场景：1.AI系统的开发与验收：为AI产品开发商在需求分析阶段定义质量目标、在设计阶段确定质量属性、在测试阶段选择度量指标提供参考框架。2.AI系统的第三方评估与认证：为第三方质量评测机构、认证机构开展独立、客观的AI系统质量评估提供标准依据。3.AI系统的采购与招标：为需方在采购AI产品或服务时明确质量要求、制定验收标准提供参考。4.AI系统的合规自评与持续改进：为企业内部质量管理部门开展AI系统的自评估和持续改进提供方法论支撑。5.AI系统监管与审计：为行业主管部门在AI系统备案审查、风险监测和合规审计中提供技术参照。三、标准核心内容分析3.1AI系统的特征分析框架ISO/IEC25059:2023首先对AI系统与传统软件系统的本质差异进行了系统梳理，确立了一套AI系统特征分析框架，为质量模型的构建提供了理论根基。该框架从以下维度描述AI系统的独特性：-数据依赖性（DataDependency）：AI系统行为高度依赖训练数据的质量、分布和覆盖范围。数据偏差直接影响模型的公平性和准确性。-行为不确定性（BehavioralUncertainty）：AI系统可能对相同输入产生非确定性输出，尤其在涉及随机性算法或在动态环境中部署时。-涌现能力（EmergentCapabilities）：大模型等复杂AI系统在训练过程中可能涌现出未显式编程的能力，使其行为模式难以完全预知。-非线性与不可解释性（Non-linearityandUnexplainability）：深度神经网络等AI模型的决策过程往往呈现非线性特征，并且难以向用户提供完整的、人类可理解的解释。-持续演化性（ContinuousEvolution）：AI系统在生产环境中可能通过在线学习不断更新模型参数，其质量属性随时间动态变化。-脆弱性与对抗敏感性（AdversarialVulnerability）：AI系统对于精心构造的微小扰动可能产生严重的错误决策，这对安全性提出了特殊要求。这些特征分析为依据AI系统特性定制质量模型奠定了基础，在传统质量模型的基础上创造性地引入了适应AI独特风险的质量维度。3.2八维度质量模型框架在上述特征分析的基础上，ISO/IEC25059:2023构建了面向AI系统的质量模型。在继承ISO/IEC25010体系结构的基础上，该标准对各个质量特征的内涵进行了深度适配性调整，并细化了AI特有的子特征。其核心质量维度可以归纳为八个维度，以下逐一进行剖析。3.2.1功能适恰性（FunctionalSuitability）功能适恰性在AI系统语境下被赋予了更为丰富的内涵。除传统软件所追求的功能正确性外，AI系统的功能适恰性重点关注：-功能完整性：AI系统在业务场景中应覆盖预期功能的能力，需考量的不仅是规则定义的功能，还包括模型能力边界内的功能覆盖范围。-功能正确性：AI系统提供准确的、符合预期结果的能力。在AI系统中，这涉及模型预测或决策结果与标准答案或人类专家判断的一致性程度。-功能适切性：AI系统的功能是否切实满足用户在与AI交互过程中产生的显性和隐性需求。在此维度中，标准特别强调了模型输出准确性这一AI系统独有的评价指标，要求对分类准确率、回归误差、排名质量、生成内容质量等方面进行系统化评测。同时，标准引入了"能力边界透明性"的概念，要求AI系统应明确告知用户所谓"可以做什么"和"不能做什么"的功能边界信息。3.2.2性能效率（PerformanceEfficiency）性能效率维度在AI系统中呈现硬件资源耦合度高和响应延迟波动性大的显著特点。标准具体化了时间行为、资源利用率和容量三个子特征在AI场景中的具体含义：-时间行为：AI系统的响应时间、处理速率和吞吐量。需特别关注推理延迟与训练延迟的区分，以及在不同负载条件下性能表现的一致性。在实时AI应用（如自动驾驶、工业控制）中，推理延迟的稳定性和上界保障成为关键指标。-资源利用率：AI系统在执行功能时所使用的硬件资源的种类和数量，涵盖计算资源（CPU/GPU/NPU）、内存、存储和网络带宽等。模型复杂度和能源消耗成为需要权衡的重要考量维度。-容量：AI系统在既定资源约束下可处理的最大数据量、最大并发用户数或最大模型参数量。标准引入了"模型效率"概念，即模型在达到指定精度水平时所需的计算资源和数据量的合理性度量。这一概念对推动AI模型的轻量化设计和绿色AI发展具有直接的引导作用。3.2.3兼容性（Compatibility）在AI系统的生态系统中，兼容性维度不仅涵盖传统意义上的共存性和互操作性，还扩展了以下内容：-AI框架与硬件的兼容性：AI模型在不同深度学习框架（如TensorFlow、PyTorch等）、不同推理引擎以及不同硬件平台间的可迁移性和一致性表现。-数据接口兼容性：AI系统对多样化数据格式、数据模式和数据来源的适配能力，特别是在异构数据融合场景下的表现。-模型接口与部署环境兼容性：AI模型封装后的服务接口（如RESTAPI、gRPC）与各种应用系统之间的对接能力。标准特别指出，AI模型的部署兼容性是实践中经常出问题的环节，在训练环境与生产环境之间存在框架差异、硬件差异或依赖库版本差异时，模型的性能表现可能出现明显波动。标准为评估这种跨环境的性能保真度提供了规范性指导。3.2.4交互操作性与安全性（InteractionCapabilityandSecurity）ISO/IEC25059创造性地合并并扩展了传统模型中的交互操作性和安全性维度，针对AI系统的交互特征和安全挑战进行了深度适配：交互操作性方面，标准关注以下关键子特征：-可解释性（Explainability）：AI系统以人类可理解的方式呈现其推理依据和决策逻辑的能力。可解释性可以从全局可解释（模型级别的理解）和局部可解释（个体预测的理解）两个层面进行评估。标准明确指出可解释性的层级应当适应目标受众的背景和需求。-可控性（Controllability）：用户能够在必要时刻有效干预、纠正或否决AI系统决策的能力。在AI系统的高风险应用中，人类监督和紧急干预能力是基本要求。-透明度（Transparency）：AI系统向用户和相关方充分披露其能力边界、局限性、数据来源、使用条件和潜在风险的程度。-用户友好性（UserFriendliness）：AI系统交互界面对非专业用户的易理解性和易操作性，包括系统行为的可预测性和反馈的清晰性。安全性方面，标准重点覆盖了AI系统特有的安全威胁范畴：-对抗鲁棒性（AdversarialRobustness）：AI系统在面对对抗样本攻击（包括白盒攻击、黑盒攻击和物理世界攻击）时保持正确输出的能力。-数据隐私保护（DataPrivacy）：AI系统在整个生命周期中对训练数据、用户输入数据及模型参数中包含的敏感信息的保护能力。该子特征涵盖了成员推断攻击防御、模型反演防御、差分隐私保障等技术要求。-系统韧性（Resilience）：AI系统在面对恶意攻击、异常输入或环境极端变化时保持基本功能并且能够快速恢复的能力。标准强调，AI系统的安全评估不应局限于传统网络安全的范畴，还必须系统地考虑AI自身引入的新型攻击面——包括数据投毒、提示注入、模型窃取等——这些安全威胁在传统软件中并不存在，却在AI系统中构成了重大风险。3.2.5可靠性（Reliability）AI系统的可靠性评估面临与传统软件截然不同的挑战。ISO/IEC25059充分认识到AI系统行为的非确定性特征对可靠性度量的影响，在保留传统可靠性子特征框架的基础上进行了深度的AI适配：-成熟度（Maturity）：AI系统在正常运行条件下维持预期性能水平的能力。对于AI系统而言，这需要关注模型在长期运行中的性能保持情况，包括模型漂移（ModelDrift）和数据漂移（DataDrift）对性能的影响。-可用性（Availability）：AI系统在需要时能够正常操作和访问的程度。这一子特征在AI系统由第三方模型服务提供支撑的场景中尤为重要。-容错性（FaultTolerance）：AI系统在面对硬件故障、数据异常、软件错误或外部干扰时保持规定性能水平的能力。在AI系统中，需要特别关注输入数据异常条件下的行为稳定性。-易恢复性（Recoverability）：在性能下降或系统失效事件发生后，AI系统恢复到正常运行状态并恢复受影响数据的能力。标准特别指出，在AI系统的可靠性评估中，应关注模型的"鲁棒性-精确性权衡"（robustness-accuracytrade-off），即在保证系统对异常输入、噪声数据或分布外样本的鲁棒性的同时，维持对正常数据的高精度处理能力。可靠性评估应同时涵盖随机基准测试和针对性压力测试两种方式。3.2.6安全保密性（SafetyandConfidentiality）安全保密性在AI系统中具有极为突出的地位。ISO/IEC25059将安全保密性划分为两个既有区别又紧密关联的范畴："Safety"维度关注AI系统在运行过程中对社会和人类的物理安全、心理安全和社会价值安全的影响。具体包括：-操作安全（OperationalSafety）：AI系统在预期使用条件以及合理的可预见误用条件下，不会对人、财产或环境造成不可接受的伤害。这一子特征在自动驾驶、医疗诊断、工业机器人等安全关键型AI应用中具有决定性意义。-决策安全性（DecisionSafety）：AI系统做出的决策不会引入不合理的安全风险。这要求对AI决策过程和输出结果进行全面的风险评估，涵盖决策的可靠性、决策的容错空间等。-价值对齐（ValueAlignment）：AI系统的行为目标与人类价值观和社会伦理规范的协调程度。"Confidentiality"维度则聚焦于数据安全与隐私保护，涵盖数据加密、访问控制、数据最小化以及安全的数据生命周期管理等方面。在AI系统中，保密性还包括模型知识产权的保护——防止通过模型提取攻击（ModelExtractionAtta