ISOIEC 250592023 软件工程.系统和软件质量要求和评估(SQuaRE).人工智能系统的质量模型标准立项发展报告_第1页
ISOIEC 250592023 软件工程.系统和软件质量要求和评估(SQuaRE).人工智能系统的质量模型标准立项发展报告_第2页
ISOIEC 250592023 软件工程.系统和软件质量要求和评估(SQuaRE).人工智能系统的质量模型标准立项发展报告_第3页
ISOIEC 250592023 软件工程.系统和软件质量要求和评估(SQuaRE).人工智能系统的质量模型标准立项发展报告_第4页
ISOIEC 250592023 软件工程.系统和软件质量要求和评估(SQuaRE).人工智能系统的质量模型标准立项发展报告_第5页
已阅读5页,还剩6页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

软件工程系统和软件质量要求和评估(SQuaRE)人工智能系统的质量模型标准立项发展报告StandardizationDevelopmentReport:SoftwareEngineering—SystemsandSoftwareQualityRequirementsandEvaluation(SQuaRE)—QualityModelforAISystems摘要随着人工智能技术的迅猛发展及其在医疗、金融、交通、教育等关键行业的深度渗透,AI系统的质量保障问题日益凸显。传统软件质量模型难以全面覆盖AI系统所特有的数据依赖性、模型不确定性、伦理合规性等新挑战。在此背景下,国际标准化组织(ISO)与国际电工委员会(IEC)联合发布了ISO/IEC25059:2023《软件工程系统和软件质量要求和评估(SQuaRE)人工智能系统的质量模型》。本报告系统梳理了该标准的立项背景、编制过程、核心技术内容及其行业应用价值,分析了该标准在SQuaRE系列标准体系中的定位及其与ISO/IEC25000族标准、ISO/IEC23053等AI治理框架的衔接关系。报告指出,ISO/IEC25059:2023通过定义AI系统的质量特征、子特征及度量指标参考框架,为AI系统的质量评估、验证与持续改进提供了统一的国际基准,填补了AI系统专用质量模型领域的标准空白。最后,本报告对该标准的实施路径与未来演进趋势进行了展望,并介绍了主要参与单位在标准制定中所开展的关键工作与技术支持。关键词:人工智能;质量模型;SQuaRE;ISO/IEC25059;质量评估;标准化;系统与软件工程Keywords:ArtificialIntelligence;QualityModel;SQuaRE;ISO/IEC25059;QualityEvaluation;Standardization;SystemsandSoftwareEngineering一、引言1.1研究背景人工智能已从实验室走向规模化产业应用,其影响力覆盖智能制造、智慧医疗、自动驾驶、金融风控、智能安防等众多领域。根据国际数据公司(IDC)的预测,全球AI市场规模将在2027年突破5000亿美元。然而,AI系统的广泛应用也带来了前所未有的质量挑战:模型偏见导致的不公平决策、数据漂移引发的性能衰减、黑箱特性带来的不可解释性、对抗样本攻击造成的安全隐患等事件频发,引发了社会各界对AI系统质量的广泛关注。传统的软件质量保证体系,如ISO/IEC25010中定义的质量模型,主要面向确定性、规则驱动的传统软件系统,难以有效涵盖AI系统所独有的数据驱动特性与不确定性特征。因此,建立面向AI系统的专用质量模型,成为国际标准化领域的迫切需求。1.2标准立项的必要性ISO/IEC25059:2023的立项基于多方面的现实需求:-行业实践需求:AI系统的质量评估需要一套系统化、可操作的质量特征框架,以替代当前各自为政的企业内部标准。-风险管理需求:AI系统在高风险场景中的误判可能造成重大安全事件,需要明确的质量维度来支撑风险评估与控制。-规制合规需求:欧盟《人工智能法案》(AIAct)等法规对高风险AI系统提出了严格的质量与透明度要求,亟需国际标准提供技术支撑。-贸易互认需求:统一的质量模型有助于建立AI产品的国际互认机制,降低跨境贸易壁垒。二、标准基本信息|项目|内容||------|------||标准编号|ISO/IEC25059:2023||标准全称|软件工程系统和软件质量要求和评估(SQuaRE)人工智能系统的质量模型||英文全称|Softwareengineering—SystemsandsoftwareQualityRequirementsandEvaluation(SQuaRE)—QualitymodelforAIsystems||发布机构|国际标准化组织(ISO)/国际电工委员会(IEC)||标准状态|现行||发布日期|2023年6月28日||标准体系|ISO/IEC25000SQuaRE系列||ICS分类号|35.080(软件开发和系统文件)||国际标准分类|35.080Softwaredevelopmentandsystemdocumentation||语言|英语|三、标准制定背景与过程3.1制定背景ISO/IEC25059:2023由ISO/IECJTC1(信息技术联合技术委员会)下属的SC7(软件与系统工程分技术委员会)负责制定,具体由WG6(SQuaRE工作组)承担起草工作。该标准的制定历程可追溯至2018年前后,正值全球主要经济体相继发布AI战略规划的关键时期。2018年,ISO/IECJTC1成立SC42(人工智能分技术委员会),专门负责人工智能领域的标准化工作。SC42与SC7在AI质量评估领域形成了紧密协作关系,ISO/IEC25059:2023正是两大分技术委员会协同合作的代表性成果。3.2编制历程该标准的制定经历了以下关键阶段:-2019年:ISO/IECJTC1/SC7正式通过新工作项提案(NWIP),启动AI系统质量模型标准的预研工作。-2020年:组建国际专家编制组,涵盖来自中国、美国、英国、德国、日本、韩国、加拿大等国家的标准化专家,以及来自工业界、学术界和研究机构的代表。编制组完成了标准草案的初步框架设计,确定了质量模型的基本结构。-2021年:形成委员会草案(CD),并面向各成员国开展首轮意见征集。编制组同步开展多轮验证性研究,将草案应用于典型AI系统进行试评估。-2022年:发布国际标准草案(DIS),进入公开评议阶段。各成员国提交了系统性反馈意见。编制组对标准文本进行了多轮修订和完善,重点解决了质量特征粒度划分、度量指标定义等关键技术问题。-2023年:通过最终国际标准草案(FDIS)投票,于2023年6月28日正式发布。3.3标准定位ISO/IEC25059:2023是ISO/IEC25000SQuaRE系列标准家族中专门面向人工智能领域的重要补充。它与以下标准形成紧密的体系化关系:-ISO/IEC25010(系统与软件质量模型):ISO/IEC25059在此基础上进行AI领域的扩展和适配-ISO/IEC25030(质量要求框架):提供AI系统质量需求的提取与分析方法-ISO/IEC25040(质量评估框架):为AI系统提供系统化的评估流程与方法-ISO/IEC23053(AI系统框架):提供AI系统的通用参考架构-ISO/IEC22989(AI概念与术语):建立统一的AI术语体系-ISO/IEC23894(AI风险管理):支撑AI系统的风险识别与评估四、标准核心内容详解4.1标准适用范围ISO/IEC25059:2023适用于各类AI系统,包括基于机器学习、深度学习、知识图谱、专家系统等技术实现的产品和服务。标准的主要服务对象包括:-需制定AI系统质量需求的采购方与用户-需开展AI系统质量设计与开发的开发方-需实施第三方评估的独立评估机构-需开展AI系统内部质量审计的质量管理人员-需进行AI系统合规审查的监管机构4.2核心质量模型框架ISO/IEC25059:2023在继承ISO/IEC25010质量模型基本框架的基础上,针对AI系统的特殊性进行了系统性的扩展与重构。标准的核心贡献在于将AI系统质量划分为若干个相互关联的质量特征(QualityCharacteristics)和子特征(Sub-characteristics),并明确了各特征之间的关联关系。主要质量特征包括:(1)功能适用性(FunctionalSuitability)本特征在继承传统软件功能适用性内涵的基础上,针对AI系统的任务完成能力进行了深化拓展。在功能完备性方面,重点考察AI系统是否覆盖了任务所需的所有功能维度,包括数据预处理、特征提取、模型推理、结果解释等环节的完整性与正确性;在功能正确性方面,着重考察AI系统输出结果的准确率和精确度等核心指标;在功能适合性方面,则关注AI系统功能与特定应用场景的匹配程度,确保系统在实际业务环境中能够有效发挥预期作用。(2)性能效率(PerformanceEfficiency)本特征聚焦AI系统在特定硬件条件下的运行表现,重点关注时间行为、资源利用率和容量三个子特征。值得特别关注的是,AI系统对计算资源(包括CPU、GPU、内存和存储等)的高度依赖已成为性能效率的关键考量因素。标准在制定过程中充分考虑了不同部署方案(云端、边缘、端侧)下的性能差异,建立了统一的性能度量参考框架,为不同AI系统之间的性能比较提供了基准。(3)兼容性(Compatibility)本特征关注AI系统与外部软硬件环境的协同能力,包括AI框架兼容性、硬件平台适配性和数据接口标准性等维度。由于AI技术栈高度异构、框架演替频繁,兼容性在AI系统质量评估中具有尤其重要的地位。标准明确了共置性(Co-existence)和互操作性(Interoperability)两个核心子特征的评估方法,为AI系统在不同环境中的平滑部署和协作运行提供了质量依据。(4)交互操作性(InteractionCapability)本特征是ISO/IEC25059针对AI系统引入的重要新维度,专门关注AI系统与人类用户、其他系统之间的交互质量。涵盖交互的可理解性、可控性、交互效率、交互容错性以及人性化交互等方面,充分反映了一个核心原则——AI系统必须能够向用户清晰表达其决策依据、置信度和局限性,用户应当能够有效理解、监督和控制AI系统的行为。这一维度的设定体现了AI系统质量评估从单纯关注技术指标向重视人机协同质量的范式转变。(5)可靠性(Reliability)本特征在传统软件可靠性的基础上,针对AI系统进行了系统性扩展。除成熟性、可用性、容错性和可恢复性外,标准特别将鲁棒性(Robustness)和可预测性作为核心子特征纳入可靠性范畴。鲁棒性考察AI系统面对异常输入、数据扰动和对抗性攻击时的表现稳定程度;可预测性则关注AI系统在相同输入条件下输出的稳定程度以及在合理范围内的行为一致性。此外,标准还引入了一个创新性概念——鲁棒性阈值(RobustnessThreshold),用于界定AI系统在不同扰动强度下的可接受表现范围,为可靠性评估提供了更为细化的度量基础。(6)安全性(Security)本特征涵盖保密性、完整性、抗抵赖性、可问责性和真实性等维度,同时针对AI系统的特有脆弱性增加了数据投毒防护、模型窃取防护等新兴考量。标准强调了AI系统全生命周期安全管理的重要性,将安全性要求贯穿于数据采集、模型训练、部署运维等各个环节。(7)保障性(Assurability)本特征为ISO/IEC25059创新性引入的新维度,用于评估AI系统是否能够通过系统化的保障手段建立利益相关方的信任,核心子特征包括可验证性、可审计性和可解释性。可验证性关注AI系统行为是否可通过测试、形式化验证等手段进行系统性确认;可审计性关注系统开发与运行过程是否可追溯、可审查;可解释性则聚焦于AI系统决策过程和输出结果能否被有效理解。保障性特征的设计体现了AI质量评估从"结果导向"向"过程与结果并重"的重要演进。(8)可维护性(Maintainability)本特征在传统模块化、可复用性、易分析性、可修改性和可测试性的基础上,针对AI系统增加了可演进性(Evolvability)和可部署性(Deployability)两个子特征。可演进性反映AI系统在数据分布发生变化或任务需求调整时进行模型更新和再训练的能力;可部署性则关注模型在不同运行环境间的移植便利程度。此外,标准还纳入了AI系统特有的数据版本管理和模型版本管理需求,为持续集成与持续部署(CI/CD)在AI场景下的落地提供了质量评估框架。(9)可移植性(Portability)本特征关注AI系统在不同运行环境之间的迁移能力,涵盖适应性、可安装性和可替换性等维度。随着边缘计算和混合云架构的普及,AI系统的可移植性要求日益突出。标准明确了跨平台迁移时模型精度保持和性能衰减评估的方法。4.3关键创新点ISO/IEC25059:2023的关键创新体现在以下三个层面:第一,质量维度创新。标准在继承传统质量模型基础上,新增了保障性、交互操作性等AI特有维度,并首次将可解释性、公平性、鲁棒性等技术指标纳入质量模型框架,开创性地将伦理考量转化为可度量的工程指标。第二,指标体系创新。针对AI系统的数据驱动特性,标准引入了数据质量评估参考(包括数据完整性、一致性、时效性、准确性等维度),填补了传统软件质量模型在数据维度上的空白,使数据这一AI系统的核心生产要素在质量评估中获得合理权重。第三,全生命周期覆盖。标准不仅关注AI系统作为最终产品的质量,也覆盖了数据采集、模型训练、模型验证、部署运行和持续演进等全生命周期阶段的质量考量,形成了全链条的质量视野。五、主要参与单位介绍ISO/IEC25059:2023的制定汇聚了全球多个国家的标准化专家和行业力量,其中中国电子技术标准化研究院(CESI)作为中国在该标准制定过程中的核心支撑单位,发挥了重要的技术推进作用。中国电子技术标准化研究院(以下简称"电子标准院")成立于1963年,是工业和信息化部直属事业单位,是中国电子信息技术领域最权威的国家级标准化专业机构。电子标准院长期承担全国信息技术标准化技术委员会(TC28)秘书处工作,同时在ISO/IECJTC1/SC7中作为中国国家成员体(SAC)的代表,深度参与了ISO/IEC25059:2023的全部编制阶段。在该标准制定过程中,电子标准院承担了以下关键工作:在框架设计方面,电子标准院基于在软件质量保证与测试评估领域数十年的技术积累,向编制组提交了AI系统质量模型的中国建议方案。该方案结合了中国在人工智能产业应用中的丰富实践数据,特别是在智能制造、智慧城市等领域的AI系统质量评估经验,为标准的整体框架设计提供了重要参考。电子标准院提出了将保障性作为独立质量特征的建议,该建议被编制组采纳并写入正式标准文本,为AI系统的可验证性、可审计性和可解释性评估提供了明确的标准依据。在度量指标研制方面,电子标准院组织国内AI龙头企业、高校和科研机构开展了多轮专题研讨,针对机器学习模型的质量度量提出了具有可操作性的指标定义方法,其中包括AI系统鲁棒性阈值的参考计算方法、模型可解释性评估的分级框架等多项建议被写入标准。这些工作使标准中的度量指标更贴近工程实践,增强了标准的可落地性和操作性。在标准验证与推广方面,电子标准院联合国内AI测评机构开展了标准草案的试验验证工作,选取典型AI系统完成了试评估,验证了质量模型的有效性和可操作性。在标准发布后,电子标准院积极开展标准宣贯工作,组织了多期标准解读培训,推动ISO/IEC25059:2023在中国AI产业中的落地应用。六、标准应用价值分析6.1对产业界的价值ISO/IEC25059:2023为AI产品研发企业提供了统一的质量框架,使企业能够在内部建立系统化的质量保障体系。通过对照标准定义的质量特征和子特征,AI企业可以系统性地识别质量薄弱环节,优化研发测试流程,提高产品质量和市场竞争力。同时,该标准为企业间的质量对标和质量评价提供了公共基准,有助于形成良性竞争的行业生态。6.2对评估机构的价值第三方评估机构可依据ISO/IEC25059:2023建立标准化的AI系统质量评估服务流程,包括评估方案设计、质量度量实施、评估报告编制等环节。标准提供的统一框架有助于保障不同评估机构之间评估结果的一致性和可比性,为AI系统质量认证市场的健康发展奠定基础。6.3对监管与采购方的价值政府监管部门可将ISO/IEC25059:2023作为AI系统准入审查的技术依据,特别是在涉及公共安全、民生服务等高风险AI应用场景中,通过标准化的质量评估筛选出满足基本质量要求的AI产品与服务。采购方也可在招标采购过程中引用该标准,制定明确的质量需求条款,提升采购的科学性和规范性。6.4对国际贸易的价值ISO/IEC25059:2023作为一项国际标准,为各国AI产品的跨境流通提供了统一的质量语言。通过基

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论