ISO ∕IEC TR 5469：2024 人工智能：功能安全和人工智能系统（中文）

人工智能-功能安全和AI系统参考编号ISO/IECTR5469：2024（en）2024-01第©ISO/IEC2024一（电子或机械）复制或使用本出版物的任何部分，包括复印或在互联网或内联网上发布可通过以下地址向ISO或请求者所在页 1 1 1 4 意见4 5 6 39 v机构通过各自组织建立的技术委员会参与国际标准的制定，以处理特定领域的技术活动。ISO和IEC技术委员会在共同感兴趣的领域进行合作。与ISO和IEC保持联系的其他国际组织、政府组织和非政府组织也参与不同类型文件所需的不同批准标准。本文件持任何立场。截至本文件发布之日，ISO和IEC尚未收到实施本文件可能需要的专利通知然而，实施者应注本文件中使用的任何商品名称都是为了方便用户而提供的有关标准的自愿性质的解释、与合格评定相关的ISO特定术语和表达的含义，以及有关ISO在技术性贸易壁对本文件的任何反馈或问题应直接向用户的国家标准机构提出这些机构的完整清单可在近年来，人工智能（AI）技术在工业中的使用显著增加，AI已被证明在某些应用中具有优势。然而，关于功能安全的人工智能系统的规范、设计和验证，以及如何将人工智能技术应用于具有安全相关影响的功能），行，也很难保证它们的性能。因此，当AI技术被普遍使用时，特别是当它被用于实现安全相关系统时，可器学习（作为一种人工智能技术）可以快速、成功地开发检测数据趋势和模式的功能这使得可以从观察中归纳出函数的行为，并快速提取决定其行为的关键参数。机器学习还用于识别异常行为或在特定环境中收敛于最佳解决方案成功的机器学习应用包括金融数据分析、社交网络应用和语言识别、图像识别（特别是人脸识别）、医疗保健管理和自动化、数字助理、制造机器人、机器健康监除了机器学习之外，其他人工智能技术在工程应用中也越来越重要。例如，应用统计学、概率论和估计理模型在AI技术的实施中发挥着核心作用。这些模型的属性用于证明AI技术和AI系统与功能安全要求的兼容性例如，如果在密钥之间存在潜在的已知和理解的科学关系，如果一个函数的行为取决于它的参数，那么在观察到的输入数据和输出数据之间可能存在很强的相关性。这导致了一个透明且足够复杂的AI模型作为AI技术的基础在这种情况下，模型与功能安全要求的兼容性是演示。然而，人工智能技术通常用于物理现象如此复杂或规模如此之小，或者在不影响实验数据的情况下无法观察到的情况，因此没有潜在行为的科学模型。在这种情况下，人工智能技术的模型可能既不透明也不完整，并且很难证明模型与功能安全机器学习用于创建模型，从而扩展对世界的理解。然而，机器学习的模型只与用于导出模型的信息一样好。如果训练数据没有覆盖重要的情况，那么导出的模型是不正确的。随着观察到更多已知实例，它们被用来强化模型，但这会使观察的相对重要性产生偏差，从而使函数远离不太频繁但仍然真实的行为。持续在通过使用人工智能技术不断改进模型的情况下，为了证明其安全完整性而进行的验证和确认活动会受到破坏，因为功能行为逐渐远离严格测试，理想的确本文件的目的是使安全相关系统的开发人员能够通过提高对AI技术的属性、功能安全风险因素、可用功能安全方法和潜在限制的认识，将AI技术作为安全功能的一部分适当本文档还提供了与AI系统功能安全相关第6条描述了不同类别的人工智能技术，以表明当人工智能技术构成安全功能的一部分时，其可能符合现有的功能安全国际标准。第6条进一步介绍了人工智能技术的不同使用水平，取决于它们对系统的最终第8讨论了人工智能系统的属性和相关的功能安全风险因素，并提出了这种使用所带来的挑战，以及在试第9、10和11条显示了从验证和确认、控制和缓解措施、过程和方法学领域应对这些挑战的可能解决方了如何应用三阶段实现原理和定义各种属性的示例。附录C描述了与9.3相关的更详细的过程。附录D显示一1人工智能-功能安全和人工智能系统2规范性引用文件本文中引用的下列文件的部分或全部内容构成了本文件的要求。凡是注日期的引用文件，仅引用的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括任何修3术语和定义2注1：效应是与预期的偏差。它可以是积极的、消极的或两者兼而有之，可以处理、创造或导致机会和威胁。注2：目标可以有不同的方面和类别，可以应用于不同的层次。注3：风险通常用风险来源、潜在事件、其后果及其可能性来表示。注4：这是风险的核心定义由于风险特别关注伤害（3.5），因此除了核心风险定义外，本文档还使用了风险的学科特定部件或元件的排列，这些部件或元件一起表现出单个组成部分故障，以确定性的方式与某一原因相关，只能通过修改设计或制造过程、操3条目注1：EUC控制系统与EUC分离且不同。注1：本术语涵盖基于一个或多个中央处理器（CPU）以及相关存储器等的微电子器件示例以下是所有可编程电子设备：注1：该术语旨在涵盖任何和所有基于电气原理运行的设备或系统。示例电气/电子/可编程电子设备包括：—基于计算机技术的电子设备（可编程44缩略语5功能安全概述5风险的定义根据第3条所示的域标签而有所不同。这两个定义都是使用AI的有效概念。从这一点开始，本相关风险以及产品或系统的合理可预见误用。减少风险将风险降低到可以容忍的程度。可容忍风险是基于通过提供功能安全降低风险与步骤2相关。本文件重点介绍安全相关系统在安全相关系统内或在安全相关系统的设计和开发过程中（步骤2）利用人通过E/E/PE安全相关系统或其他风险降低措施实施，旨在实现或维持EUC在特定危险事件方面的安全状态。”换句话说，安全功能控制与导致对人或环境造成伤害的危险相关联的功能安全系统状态。在功能安全和安全功能定义中纳入“其他风险降低措施”的基础上，明确纳入了非技术根据这些定义，功能安全作为一门学科，涉及这些技术和非技术安全功能的适当工程设计，以降低风险或控制特定设备的风险水平，从组件级别到系统级别，包括考虑人为因素，并在功能安全侧重于降低风险的安全功能以及降低风险所需的虽然安全功能的功能性与用例密切相关，但在可编程系统出现之前，当安全功能仅限于在硬件中实现随着软件越来越多地用于实现安全功能，重点转注：ISO21448：2022[7]包括预期功能的安全性要求，包括性能限制等方面。附录D描述了机器学习的含义。6关于如何避免非人工智能系统和软件开发中的系统性故障，有一个强大的知识体系。[138]本文件考虑了在安全功能的背景下使用AI技术。包含人工智能技术的功能，特别是机器学习，通常遵循与非人工智能系统不同的开发范式。它们不太受规范驱动，更多地受定义系统行为的数据出于这个原因，针对人工智能技术的特殊性，扩展了处理系统故障的可用措施目录：附件A提供了这种扩展的示例。从功能的角度来看，AI特定的风险降低措施也不同于非AI系统。除了整个生命周期中的随机硬件和系统故障之外，功能安全还关当用于实现安全功能时，人工智能技术的相关性在于其解决降低风险的新方法的潜力。本文件通过引入风险和分类方面的考虑，审查了为此目的使用此类一般而言，要使日益复杂和自动化的系统达到可接受的风险水平，很可能取决于先进的安全概念。这包括充分实施技术和非技术风险降低措施，以实现和保持安全的系统状态。确保这些先进的安全概念的有效性是功能安全的一个巨大挑战。它还导致功能安全要求的数量增加。对于所有技术风险降低措施，都考虑了硬件随机故障和系统故障的区别，这在IEC61508系列等基本国际标准或衍生国际标准中进行了区分然而，对于包括人工智能技术在内的安全功能，不可避免地需要额外关注确保实现这些功能的系统的系统能6AI技术在E/E/PE安全相关系统中的应用情况下是通用的，并且独立于应用程序。但是，数据和规格因应用和技术领域而异。图3中描述了三阶段实现原理的三个阶段中的每一个的属性选择这些属性是根据具体情况选择的，与特定应用或技术领域、其为了解决传统开发流程与人工智能技术典型方法之间的差异，本条款根据人工智能技术应用的各种背景，表1和图1所示的相关流程图总结了分类方案的示例。该计划旨在提供关于如何在特定应用的功能安全背景7—AI应用和使用水平。该轴考虑了人工智能技术的应用，其中包括使用人工注1：第8章中确定的因素在分类的背景下具有高度相关性。这些因素将在第8章中进一步描述，包括自动化和控制水平（见8.2）、决策透明度和可解释性程度（见8.3）、环境复杂性和模糊规范（见8.4）、安全性（见8.5）、系统硬件问题（见8.6）和技术成熟度（见—当AI技术用于与安全相关的E/E/PE系统中，并且不可能使用AI技术对系统功能进行自动决策时（例），注2：根据诊断功能的作用，评估可能会发生变化，例如，诊断是否对维护系统的功能安全至关重要，或者只是对功能安全的次要贡献。注3：C级使用包括明确提供额外风险降低的人工智能技术，其故障对可接受风险水平并不重要。示例：增加或减少安全系统需求率的人工智能技术。注4：示例是通过“沙箱”或“管理程序”进行分离，其方式不会影响安全功能。—如果人工智能技术是使用现有的功能安全国际标准开发和审查的，例如，如果使用现有的功能安—如果AI技术无法使用现有的功能安全国际标准进行充分开发和审查，但仍有可能定用于开发、设计、验证和确认所需安全属性的额外补充要求、方法和技术，以实现必要的风险—如果AI技术无法使用现有的功能安全国际标准进行开发和审查，并且无法使用相关方法和技术满8A中的示例）。因此，它们被归类为I类，尽管更高级别的抽象（例如深度学习模型）更可能被归类为II类对于AI技术I类组件，现有功能安全国际标准的应用是可能的，并且通常是期望的。对于人工智能技术II类组件，使用现有的功能安全国际标准可部分实现功能安全所需的特性。然后，使用一组补充方法和技术（如附加验证和确认）解决剩余部分（如第9所述）。补充方法和技术的有效性在本文档发布时，人工智AI技术等级=>AI应用和使用水平AI技术I类人工智能技术II类人工智能技术III类现有功能的风险降低概念的应用-国际标准可能适当的重新设置-在本文件出版之时，还没有一套适当的属性以及相关的方法和技术可以充分降低风险。适当的重新设置-适当的重新设置-适当的重新设置-使用水平Ca适当的重新设置-使用水平Db应用现有功能安全国际标准的风险降低概念a静态（离线开发期间）仅用于教9一7AI技术要素及三阶段实现原理功能层，提供了人工智能环境和所涉及的典型技术元素的高级描述。表3是针对机器学习的特定情况的那AI技术元素机器学习—模型开发和使用—用于机器学习的数据工程—基于领域经验的知识云和边缘计算以及大数据和数据源资源池-计算、存储、网络资源管理-资源供应技术元素（机器学习示例）实例（并非详尽无遗）b应用图图形交换格式（GXF）图形在YAML不是标记语言（YAML），最近合格的教师（rqt）图形在机器机器学习框架A机器学习模型语言机器学习图编译器），），性机器码编译程序注：本表不区分用于训练的元素和用于推理的元素。a机器学习框架是一个端到端机器学习平台，包技术元素（机器学习示例）实例（并非详尽无遗）b），），可执行机器代码可执行机器代码编译为以下架构：aarch64，计算硬件注：本表不区分用于训练的元素和用于推理的元素。a机器学习框架是一个端到端机器学习平台，包一些技术元素与现有的功能安全概念一起解决（例如，软件将模型转换为可执行代码）。然而，模型创建和执行中涉及的所有技术元素都是安全考虑的一部分，包括那些与现有功能安全概念一起处理的元素以及技术的示例。附录B包括一个示例，说明如何将特定属性（如第8条中所述的属性）应用于现有功能安全概如图2所示，包含AI技术的元素在系统或应用程序的不同级别使用：对于较高级别的元素（例如应用程序），其他国际标准中定义的属性。一12783783456关键5可执行机器代码6计算硬件）：注1：关于ISO/IEC22989：2022图5，第一阶段映射到输入任务，第二阶段映射到学习任务，第三阶段映射到处理任注2：在这种情况下，人类知识来源于相关领域和人工智能系统中的一系列不同专业知识注3：所述的实现原理是通用的。AI系统的具体更详细的例子是注4：三阶段实现原则的目的不是描述一个生命周期（在第11章中描述，包括从概念开发和成熟到需求开发的所有阶段），而是主要表明人工智能包括另一个观点（数据）。注5：图3没有显示适用于AI系统的反馈回路，这些系统被紧密地绑定到决策回路中或改变现实世界的情况。注6：知识归纳包括培训，而加工包括推理。Alanalysis一Dataacquisitionknowledgeinduction），—从一组详细的方法和技术中确定验阈值（如估计不确定性的限值）嵌入在总体接受论证中。总体验收论证表明，所选验收标准与技术无注1：这些特性是根据具体情况定义的，或者是根据包含人工智能技术的元素的水平，从现有国际标准中列出的特性中推导出来的有关考虑的属性列表，请参见第8条注2：“理想性能”、“与性能相关的主题”和“详细方法和技术”是每个阶段的特定或通用内容，取决于具体应用。注3：在这种情况下，验收标准是在开发过程中确定和确认的。一8人工智能系统的特性和相关风险因素第7条描述了如何定义理想的财产是三阶段实现原则的第一步。这些属性与主题相关，并最终与解决这些主题的详细方法和技术相关。然后从一组详细的方本条款提供了关于使用AI技术表征系统的属性及其相关风险因素的文献综述这些属性和风险因素包括自动化和控制程度（见8.2）、决策透明度和可解释性程度（见8.3）、环境复杂性和定义规范的可解本条款讨论了使用人工智能技术的系统的属性和风险因素及其相关在技术层面上，人工智能的能力往往是通过人工智能模型和模型参数的组合来实现的。AI算法在训练过程中生成的参数通常表示实现应用目的的信息（例如，关于如何区分和识别各种输入的知识），而模型则从AI模型的示例类型包括线性函数、逻辑演算、动态贝叶斯网络和人工神经网络（ANN）。模型的参数要么由工程师手工制作，要么由机器学习算法从数据中合成，这些算法本身使用系统的分析过程。这些模型通常被实现为可执行的表示，例如机器代码（在软件的情况下）或特殊硬件，例如现场可编程门阵列通常，没有参数的模型本身只包含有限的关于应用程序目标的知识或含义。这与非人工智能软件中基础软相比之下，模型参数通常包含与涉及功能安全的系统的目标相关的知识。有几种不同的构建参数的方法，例如，当模型参数由工程师手动创建时，模型可能反映工程师关于应用的知识，该知识在功能安全生命周期内使用的管理过程中进行评估。在这些情况下，遵循现有功在某些情况下，通过机器学习算法从数据中导出的参数在创建后进行分析和或者，分析机器学习算法得出的参数，提取基本参数并用于扩展一般工程知识，进而用于开发进一步的人工智能技术。通过应用经验证在其他情况下，通过机器学习算法从数据导出的模型参数对于使用者来说太复杂了。理解、分析和验证。对于复杂类型的模型，例如神经网络，通常是这种情况，因为这些类型的模型表示不一定反映人类的理解或推理。在这些情况下，使用不同的方法来评估功能安全的风险降低是适当的，这对它不仅决定了操作员可以获得多少关于系统行为的信息，而且还定该主题的维度包括各个应用程序的自动化水平有多高，以及用户的控制选项受到限制的程度使用人工智能技术的高自动化系统因此，高度自动化的系统可能在其性能特征方面带来风险，例在考虑是否实现功能安全时，有几个方面是相关的，例如人工智能系统的响应能力和是否存在“监督员”控制功能来实现的，尽管在某些情况下，这种监督功能是不可行的，例如高度复杂的决策或已经学习了新），另一种添加“监督者”的方法是使用一个人，其任务是在关键情况下进行干预解决这个问题的一种已知方法是通过添加系统（在6.2中描述的使用级别C或D）来通过检测决策的可能结果来帮助人类监督者一个例子是一个模拟系统，它为不同的决策提供“如果”信息，并检查结果。然而，即使人类处于循环中并监督系统的操作，有时这也不会将此类风险降低到适当的水平例如人类驾驶员没有意识到“黑冰”道路状况并控制车辆，因为他们不明白为什么自动驾驶系统如此小心地驾驶。此外，人工智能系统的适应性也是一个考虑因素，特别是系统是否会随着时间的推移而改变自己的行为，就像一些机器学习系统一样。这些系统适应不断变化的环境条件（例如通过反馈回路或评估功能），甚至随着时间的推移获得全新的功能。然而，这种学习系统的缺点是，它们可能偏离初始规范并且难以验证。评论自动化系统该系统能够在没有外部干预、控制或监督的情况下修改其操作域或目标。他律全自动化该系统能够执行其整个没有外部干预。自动化程度高该系统在没有外部干预的情况下执行其部分任务有条件的自动化系统的持续和具体性能，外部代理人随时准备在必要时接管。部分自动化系统的一些子功能是完全自动化的，而系统仍处于外部代理的控制之下。援助该系统帮助操作员。没有自动化操作员完全控制系统。注意这种级别划分适用于自动化AI系统的任何实施中的控制自动化功能，并考虑到该系统组件的功能（例如，铁路系统中的车载设备，地面设备和控制室设备）。工智能系统结果的重要因素，而透明度则定义为系统的属性，即有关人工智能系统内部流程的适当信息可有关决策过程所依据的模型的信息可能是相关的。透明度低的系统可能在公平性、安全性和问责制方面带来风险。此外，这种系统可能使其质量评估复杂化另一方面，高度透明可能因信息过载而导致混乱，或可可解释性水平往往是在没有高透明度的情况下实现的找到适当的透明度为开发人员提供了错误识别和纠正在非人工智能软件中，工程师的意图和知识通常使用逻辑过程编码到系统中，从而可以跟踪代码以确定软件如何以及为什么做出某个决定。这是通过回溯和调试软件或通过逆向工程软件来完成的。相比之下，人工智能模型做出的决策，特别是高复杂度的模型，或者从机器学习算法中衍生出来的模型，对人类来说更难理解。知识在模型结构中编码的方式和决策的方式通常与人类对自己决策过程的推理方式不同[130]，高水平的可解释性可以防止系统的不可预测行为，但有时也会伴随着决策质量方面的整体性能下降，这是由于当前可解释性技术的限制（限制了模型中包含的信息量，无法创建合理大小的解释）。在这里，一个权衡往往是可解释性和系统的性能之间。此外，关于人工智能系统决策过程的信息的相关性可能是一个重要因素。一个系统可能提供了关于其决策过程的清晰和一致的信息，但这些信息是不可解释的人工智能还用于协助事后分析，当输入数据（有时是瞬态—它是否是可理解的或至少向预期接收者（解释的预期接收者根据上下文而变化）传递可理解的信息道的那些。此外，对复杂模型的决策过程进行经验评估，例如，通过可视化其内部层的组件来检查卷积神经网络[41]目标是通过确定输入特征如何影响模型查其内部状态来检查卷积神经网络的输出是一种在相关工作中扩展的方法，如参考文献[42]，[43]和即使是传统上被认为在检查方面可以合理解释的系统（例如决策树），当部署在现实世界的应用中时，也会迅速达到难以理解的复杂性。在需要可解释结果的情况下，应用最优分类树[46]或重复树集合[47]等工具），和正式记录的模型可解释性评估，并仔细考虑不适当决策对功能安全风险的影响。这有助于可比性和模型人工智能系统通常在复杂的环境条件下使用，人类难以完全分析和描述。人工智能技术自动生成规则或应用判断，而不依赖于人类生成的分析，详细和复杂的环境条件的表示。此外，人工智能系统的开发生命周期有可能从模糊的规范或模糊的目标开始。这些规范以功能性或规范的模糊性导致难以保证与功能安全相关的特性。环境的复杂性只会使情况变得更糟。即使是功能安全过寻求极其详细的规范或通过寻求覆盖整个复杂环境（例如通过训练数据）或通过两者的组合来解决。更人工智能系统复杂性的另一个特征是，尽管它们的模型通常是确定性的，但它们的输出似乎是概率性的。例如，给定一个非常复杂的环境，它由一个在复杂的、不完全定义的环境中运行的影响，导致了一种新的不确定性，超出了当前功能安全评估的范考虑模型对预期应用的充分性的程度。此外，可能的错误预测和错误分类导致的模型不确定性也体现在行为了解决随机概念，以解决操作环境，扩展功能安全规程中通常用于硬件和“已验证使用”软件随机故障的数据漂移是指运行时输入数据的分布偏离训练阶段使用的分布，从而导致包括安全性在内的性能下降的现象。数据漂移通常与训练期间输入域例如，这是由于未能考虑输入数据的季节性变化、操作员的不可预见在风险分析的背景下，检查包含AI技术的组件是否存在数据漂移的来源，并在适当时计划采取适当的措一些数据漂移的例子被归因于未能在模型工程中应用最佳实践。常见的例子包括挑选不合适的训练数据，其分布不反映应用程序上下文中遇到的实际分布的数据，或者忽略训练数据中的重要示例。这些问题的实数据漂移是由外部因素引起的，例如季节变化或导致数据漂移的过程变化。示例包括用具有不同偏置电压模型处理已经部署的数据漂移，其中重新训练是不可行的。在这些情况下，构建模型以基于输入数据的特即使在存在先前未知的输入的情况下，模型设计也有望提供安全的输出。遵循适当的模型工程实践，例如建立足够多样化的训练数据集，并不会降低仔细分析所产生的模型是否适用于生产数据的重要性。此外，在模型提供不安全输出的情况下，对不安全输出的原因进行仔细分析，并指定系统从危险状态恢复的方例如，参考文献[32]说明了数据漂移的最常见来源，并提出了模型改进，例如更简单或计算更有效的模型，即使数据漂移作为简单的协变量偏移发生，对分类输出没有明显影响。这些性能考虑转化为现代深度概念漂移是指输入变量和模型输出之间的关系发生变化，并伴随着输入数据分布的变化。例如，模型的输出用于基于由飞行时间传感器获得的距离测量（输入数据）来测量操作者在运行时的可接受的最小距离。如果可接受的安全裕度因外部因素（例如，模型中未考虑机器速度增加）而发生变化，则尽管过程和输入系统理想地结合漂移检测的形式，区分系统中存在的漂移和噪声，并适应随时间的变化。潜在的方法包括早期漂移检测方法（EDDM）[34]，使用支持向量机（SVM）[35]检测漂移或在训练测意味着某种形式的运行时监控和模型更新，其在软件或系统级引入系统设计和安全考虑（例如，知道何时执行更新在功能上是安全的，检测失败的更新）。一概念漂移通常通过选择可用训练数据的子集或通过为单个训练实例分配权重然后重新训练模型来处理作为奖励黑客算法是指人工智能技术找到一种方法来“游戏”其奖励功能，从而为所提出的问题找到一个更“最佳”的解决方案。这种解决方案虽然在数学意义上更优化，但如果它违反了设和约束，则是危险的。例如，一个基于摄像头扫描检测人员的人工智能系统决定，如果它不断检测人员并因此用传感器跟踪他们，可能会错过其他受影响区域的关键事件，那么它将获得非常高的奖励。这可以通过使用对抗性奖励函数来解决，例如通过一个独立的系统，该系统使用人工智能技术验证主函数提出的奖励要求，然后学习并适应以对抗主系统。另一种选择是仅基于期望的结果来预训练解耦的奖励函数，并安全探索是在数据收集和训练期间强制执行先验安全要求的问题，这也限制了学习“不安全”的训练数据输当代理具有探索或操纵其环境的能力时，该问题特别令人关注。这不仅在涉及服务机器人、无人驾驶航空系统或其他物理实体时会造成问题，而且也适用于使用强化学习来探索其操作空间的在这些情况下，探索通常会得到奖励，因为这为系统提供了新的学习机会。虽然很明显，自学习系统在探索时遵循适当的功能安全协议，但控制过程参数并采用随机探索功能同时未与危险过程正确断开的系统会带来相等或更大的风评估人工智能系统的可信度包括确定功能安全行为对对抗性攻击和故意一般来说，在人工智能领域中，有两种类型的输入被故意设计用于可能的不当行为;第一种是那些破坏软件执行完整性的输入（例如缓冲区溢出或整数溢出），第二种是那些导致人工智能模型计算不正确的输出而不会导致软件级别的故障的对于第一类问题，考虑了传统的信息技术（IT）安全要求，参见ISO/IEC安全要求的审计和认证流程，这些流程也适用于人工智能系统，本文档中没有进一步讨论然而，对于第二类问题，遵循最佳实践并遵守现有的非人工智能系统国际标准是不够的。第8.5.3条包括了第二类问题的讨注1：本文档仅限于在存在AI特定安全威胁的情况下实现功能安全。它没有解决如何控制由网络安全威胁引起的恶意行为。附注2确保不受故意恶意输入影响的属性与确保功能安全特性。有关AI特定安全威胁的更多信息，请参见参考文献[94]，第9章。注3：确保对抗性攻击的弹性的属性与确保功能安全属性的属性是矛盾的。这作为更高水平系统适用性考虑的一部分进行了讨论。遵循已知的适当功能安全预防措施，在检测到功能安全问题的情况下，应用监督功能接管系统，确保AI系对于需要高级别功能安全的系统，随机故障和系统错误都总的来说，故障和错误是根据最佳做法解决的8.5.3AI模型攻击：对抗性机器人工智能系统的模型，特别是那些具有更高复杂性的模型（如神经网络），可能会表现出其他类型系统所没有的特定弱点。当部署在功能安全环境中时，会进行额外的审查。模型特定问题的例子包括对抗机器学对抗性机器学习是一种对人工智能系统的攻击，最近引起了人们的特别兴趣。被称为“对抗性攻击”，通常可以通过向输入添加微小的扰动来欺骗AI模型输出截然不同的结果，这些扰动是通过优化过程精心制作的。在图像输入的情况下，这些扰动通常是人类无法感知的，并且也可以同样很好地隐藏在数字输入中。虽然这些扰动通常是非随机的，但输入中已经存在的硬件故障或系统噪声可能导致模型输出中不可忽略的预训练模型，使得对抗性示例的实际部署似乎非常有可能，因此对使用AI技术的系统构成重大威胁[128]，即使一个系统看起来对输入的修改有弹性例如，使用直接连接到传感器的本地、非云AI模型的系统对文献[52]中得到了展示。最近，参考文献[53]已经表明，可以将对抗性示例引入模型的前向推理过程，使用应用于对象的物理贴纸创建上述扰动，并导致所得推理当AI模型的输入容易受到对抗性攻击时，在决定是否以及采取多少对策被认为是适当或足够的之前，会评估这些攻击对功能安全的净影响。真实系统中对抗性攻击的可能性取决于AI模型的部署方式。例如，它的可能性在很大程度上取决于围绕人工智能技术的系统，包括输入传感（例如相机）和预处理。此外，对可能的攻击者和受害者进行了分析;如果唯一可能的受害者与可能的攻击者重合，则在某些情况下省略保护是针对这些问题的一种可能的对策被称为对抗训练[132]。从本质上讲，对抗性训练试图用对抗性示例来训练AI系统，试图让模型编码有关此类攻击的预期输出的知识。下一个自然的行动途径是试图消除人为引入的此外，注意到通常受对抗性攻击影响的模型类型通常对噪声具有鲁棒性，几位作者提出了随机化方案来修改输入并提高对恶意目标噪声的鲁棒性。方法包括随机填充和填充[60]，随机自集成[61]和各种输入变换，情况下都是足够的措施。反过来，如果输入变换被用作对抗性示例的防御层，则针对使用参考文献[63]中稳健的整体模型，经常采用模型集合。然而，文献中也有结果表明，多样化并不总是足以使系统抵御对抗除了修改运行系统的输入的攻击之外，还可以通过在训练阶段注入恶意数据来在学习过程中进行扰动，这人工智能技术本身不会做出决策;它依赖于算法，实现算法的软件和执行算法的硬件。硬件中的故障可能会通过违反算法的控制流（导致基于内存的错误，干扰数据例如传感器信号）直接损坏输出，并且通常导致错误的结果。本条款描述了使用AI技术时可能影响功能安全的一些硬件方面。简而言之，可靠的硬件在AI系统中与在非AI系统中一样重要。与用于执行非人工智能技术成熟度描述了特定技术在特定应用程序上下文中的成熟程度和无错误程度。人工智能系统开发中使用的不太成熟的新技术会带来未知或难以评估的风险。对于成熟的技术，通常可以获得更多种类的经验，使风险更容易识别、评估和处理。然而，成熟的技术有一种危险，即随着时间的推移，人们对其潜在风险影响的认识会降低，因此，积极的影响取决于持续的风险监测（例如根据收集的实地数据）以及适当的认识9验证和确认技术本条款描述了人工智能系统与非人工智能系统的验证和确认技术之间的差异，以及解决或缓解这些差异引起的适用于功能安全的问题的一些考虑因素。本条款阐述了此类差异的四个重要方面，但潜在差异并不限当目标是包含从数据创建的AI技术的功能安全系统时，考虑到AI技术不是由非AI开发的系统中的规则构建此外，在大多数用例中，仅仅拥有数据是不够的。标签在应用监督学习技术时使用。不正确的标签是学习过程中错误的主要原因之一。一个完整定义的数据工程过如果模型来自数据集，则此子句的内容对于注：术语“确认”和“验证”是指不同技术领域或领域中的不同概念。在机器学习技术的背景下，“验证”意味着检查开发模型的收敛以终止AI训练过程的过程步骤，这与功能安全社区中使用的验证和验证的概念截然不同模型收敛是测试的先决条件，但不能保证最终产品的质量。例如，“奖励黑客”问题产生于一个主观设计的模型，以最大化给定的奖励函数。在本文档中，术语验证和确认几乎完全用于功能安全概念的上下文中。在机器学习模型的训练阶段，训练数据的选择（以及损失函数的定义，如果适用的话）正在取代操作行为的形式化规范的定义。这导致了行为的各个方面的可追溯性问题，因为没有单独的规范声明。相反，取代离散规范语句的信息隐含在训练数据的集合中[135]。虽然机器学习的一个好处是它从结构不良的数据中获另一个风险来源是用于训练模型的数据中存在偏差或不完整性。技出的被视为“可容忍”的每个风险都映射到一个或多个缓解措施。解释了缓解措施的实施及其在维护功能安全方面的作用。通常，缓解措施的设计不会相互干扰，因此可以单独验证、确认和评价每种缓解措施的有另一方面，许多人工智能技术被认为是一个“黑匣子”，因为它们的内部行为和决策过程的基础是人类难以理解的。这意味着，如果训练数据集包含一些旨在作为特定风险缓解措施的数据，则其对训练模型的影响并不确定，也不针对每种风险进行此外，如果为额外的缓解措施添加了一些额外的训练数据，则这些数据与测试非AI软件的过程相比，测试AI技术是困难的。一般来说，通常设计和执行两种类型的软件测试：一种侧重于问题描述的结构，另一种侧重于所实现软件的结构。在非人工智能软件中，这两种聚焦结构具有一定程度的对应性，从而可以进行有效的测试。不幸的是，大多数数据驱动的人工智能技术都缺乏这种属性，这使得许多现有的非人工智能软件技术在为任何人工智能技术（特别是基于机器学习的技术）设计测如8.4.1所述，人工智能系统的输出通常被认为是不可预测的或概率性的，尽管算法本身是确定性的。系统地应用验证和确认过程，并仔细考虑人工智能系统的性质，来实现缓解同样，“可解释的人工智能”是此外，人工智能技术明显的不可预测性或概率测试技术的有效性或适用性，特别是基于白盒的测试技术。有关适用于AI系统的基于白盒的测试的替代解系统和全面的分析，人工智能模型仍然会受到概念和数据漂移的影训练时间环境的偏差。为了克服这种漂移，对于AI系统的大多数实际应用，存在几种重新训练和更新模型此外，更新软件是一项重要的工作，特别是在涉及功能安全的应用程序中。从系统设计的最早阶段开始，一般来说，至少有两种类型的方法来实现从数据驱动模型生成一种类型的方法（通常更困难）是分析生成的模型以提取模型预期行为的人类可理解的知识。从理论上讲，如果行为完全可以由人类解释，那么人工智能技术和系统就可以被视为I类人工智能。这类方法将在另一种方法是通过分析人工智能系统在开发过程中的构建方式，间接评估安全风险缓解的实现水平。尽管对基于机器学习的人工智能的测试并不总是完整的，但对开发过程及其输入的额外分析和保证可以系统地通常，在机器学习算法的训练期间使用诸如准确度之类的度量。这些指标是管理人工智能培训进度的一部但是对于与功能安全相关的应用，通常不足以确保所需的功能安全特性。本条款描述了通常与使用人工智能技术指标的评估并行或按顺序应用的缓解措施，特数据驱动过程基于HARA中识别的风险与数据分布之间的关系。对于给定的用例，问题变成了AI系统是否获得了足够的训练和测试数据来开发特定的行为，以及特定HARA活动的结果与要使用的数据集的设计之间是否存在某种概念上的对应关系。这种方法被认为与非AI安全相关软件的方法相似，已经确定了一组风通常，系统的操作域被尽可能精确地定义和界定，无论初始规范是预定义的还是从示例数据实例导出的边界被定义为输入数据空间或真实世界使用的配置文件。在开发的早期阶段，建立验证和确认程序，以检查除了从给定数据集收集和学习之外，还执行输入数据分布的逻辑分析。这种分析与HARA活动的结果有），此外，即使输入数据集设计良好，也不能保证训练过程将预期行为编码到输出模型中，与数据分布观察中的每个已识别风险相对应。在培训过程中可能会出现系统错误和随机错误，这可能会导致违反功能安全目在验证和确认阶段测试活动的意图，在培训阶段也考虑减每项测试活动都应针对四项标准中的每一项给出答案。以下考虑因素是标准的一组可能的已知答案，适用于任何AI技术，其测试数据具有清晰，正确和预期的答案（“测试神谕”）。在这些示例中，还考虑了数据—对于为每个已识别风险提取的测试数据子集，检查其他属性的分布，并评估数据是否无意中偏向特定—如果怀疑数据集中存在非预期偏倚，则考虑收集额外的测试数据。在某些情况下，如果不能从真实数据中获得足够的多样性、代表性和覆盖率，则从模拟中合成测试数据是一种一些示例参见ISO/IECTR—项目符号b）中确定的缓解措施用于现有属性值的多样性。—评估数据收集和准备过程，以便测试数据集中不可能包含任何不必要的偏倚;参见ISO/IECTR—根据输入确定测试数据量，包括（但不限于）预期风险缓解概率（源自HARA）和培训所需的数据量（源自监测培训数据子集的准确度指标）。此外，考虑操作域的复杂性以减轻由许多不受控制的因素—确保在开发过程中检测到对训练数据的过度拟合。实现这一点的一种已知方式是确保训练数据和测试通过开发过程管理和评估，基于工具的方法，甚至在执行测试的团队或组织中使用一定程度的独立性是交叉验证，其中模型在训练数据的几个不同子集上训练，并且性能在保留的数据上进行评估。有几—生成不同大小的多个模型，只要满足其他目标，就使用—应用提高鲁棒性的技术例如，正规化或随机化训练）;所需的功能安全水平和其他应用标准。一包含人工智能技术的系统的性能和KPI会得到彻底评估。在机器学习中，通常使用单一指标。以下是通常注：安全性通常不是评估包含AI的系统安全性的唯一措施，方面.—指标的重要性和可信度：这与可用于训练、验证和测试的数据量有关-数据量与基于执行的测试用例数在使用人工智能技术作为组件的复杂系统中，系统一些标准，例如标准b也适用于系统级测试。系统级测试可以是基于数据的，也可以是基于数据的在具有模拟风险的试验场地中的试验车辆）。系统级测试可以在模拟、数字孪生或真实应用中现实世界的测试是昂贵的，并不总是可能的（部分原因是安全风险），但它是有用的验证KPI和揭示未知的危险，以减轻不完整的HARA。仿真对于在软件在环和硬件在环设置中探索大量场景非常有用。良好的验证和确认在开发生命周期内，准备足够大的测试预言机来测试所有结果是不可行的。如ISO/IECTR29119-11：2020，8.2所述，连续测试用于用预期答案注释测试预言。要测试的系统的不同版本之间的独立性程度要对于某些AI系统，工程师很难构建可靠的测试预言（例如，通过“AI对AI”竞赛构建的AI系统在这些情况下，测试的一般条件是相似的;但是，测试可靠性的附加标准适用。例如，使用经过良好测试的替代实现来进行背靠背测试。或者，实施设计变更以将任何风险与模型驱动AI技术的影响分离，有效转换为使用水平A人工智能技术的功能安全方法倾向于关注人工智能系统中被证明可以确保功能安全属性的元素，例如功能安全或规则监视器，这些监视器可以覆盖主控制系统以阻止不安全的演示系统性能的一种有效和客观的方法是通过虚拟测试或模拟，其中在鉴定和认证活动期间执行一组精心选择的压力测试场景测试单个组件以及系统级的多个组件。这些方法使用场景参数值的约束随机选择、基于参数分布的场景测试或在构建待测物理测试也被认为是关联模拟结果，验证KPI和发现未知的未知数。由于成本和时间的限制，物理测试在探测域空间的能力方面远比仿真有限，进行结构化测试，其中针对已知场景设置测试，例如在自动驾驶汽长期以来，使用仿真进行测试一直是功能安全的一个组成部分已建立的方法，如时序模拟和故障注入直接扩展到人工智能系统，并鼓励使用它们。对于许多人工智能解决方案中的复杂、高维模型（例如用于感知—对于某些应用程序，仿真提供了比真实世界测在可能的输入空间上大规模地进行。对于具有高维输入的模型，仿真用于在输入空—仿真极大地加快了开发时间，允许更多地访问功能安全产品和更新。新发现的危险被纳入功能安全解决方案，大大缩短了周转时间。对于高度复杂的环境，减少开—仿真为故障注入提供了多个入口点。故障是在系统、组件或子组件级别引入的，并且它们是在现实世这可以防止在实际测试中引入任何系统性偏差，—模拟的逼真度：考虑底层模型、工具链、简化和假设。模拟环境的风险评估解决了模拟环境的不准确性、不精确性或不完整性的影响。证据用于支持仿真输出的声明，例如仿真与真实世界的相关性。例如，用于证明感知功能安全组件的模拟器包括关于场景真实渲染的参数、将两者关联的度量、人类观—模拟类型：没有一个虚拟测试工具用于测试AI系统的所有方面。这就是为什么有时会使用多种工具来建立对整个人工智能系统功能安全性的信心。虚拟测试工具链包括以下类型：MIL（模型），—测试覆盖方法：方法包括随机测试抽样、基于输入空间的某些合理性的约束测试抽样、基于用户配置文件的基于分布的测试抽样、基于功能安全分析的关键性或重要性测试抽样、基于边缘情况或对系统—适合目的：工具适用于AI系统评估的程度。适用性明确描述了测试目标，并定义了AI系统的所有边界条件。它涉及到对操作环境的分析和对各个仿真模型的要求的推导。每个模型的复杂性和详细程度因每个因素的相关性、重要性和范围而异。例如，如果操作环境不包括夜间操作，则传感器模型将不会—能力：虚拟测试揭示故障和潜在故障相关风险的程度。测试能力包括定义假设、限制和工具链的保真度水平、评估保真度的方法（KPI）以及KPI的合理公差。它支持模拟与真实世界相关性的公差对于测—正确性（验证）：工具的数据和算法的合理性和鲁棒性。验证着眼于构建工具链的概念或数学模型的验证阶段未测试的输入该程序是基于一个多步骤的方法，包括代码验证，计算—准确性（验证）：虚拟测试重现目标数据的程度。这包括生成用于证明虚拟测试工具相对于真实世界的准确性的数据工具链验证由4个主要步骤组成—●子系统模型，例如环境模型（基础设施、天气条件、用户交互）、传感器模型（雷达、摄像））通过在所有工具级别（MIL、SIL和HIL）应用相同的场景，可以有效验证系统，而无虚拟测试工具的使用取决于其开发过程中实施的虚拟验证和确认策略。因此，仿真设计和工具链通常不会因此，虚拟测试工具链的整体评估需要一种统一的方法来调查这些属性，并获得对工具生成的数据的信心。在最终产品出现安全错误的情况下，研究了整个工具链中使用的仿真模型和仿真工具的影响。IEC一物理测试对模拟测试有补充作用。在真实世界环境或最终操作环境中测试系统可提供最高的真实使用验证—使用结构化测试，设置已知场景或用例测试。示例包括自动驾驶汽车应用的测试轨道案例，或传感器感知任务的定义场景。这些测试都有明确的规定，并提供可随时间跟踪和比较的受控测量。结构化测试源自许多不同的输入，例如安全、技术和产品级分析。一个全面的测试计划需要对最终应用有很好—将真实世界测试与模拟相结合。由于成本和时间的限—持续的测试和反馈。真实世界的测试也揭示了“未知”。报告的事件（以及可能从事件中收集的数据）—测试领域：操作的边界。用于测试的域（用于模拟和真实世界测试）与用于真实操作的定义操作并行。该领域包括使用限制、环境限制、位置和时间限制以及系统与用户之间的责任，如果适当的话，还包括其他系统。此外，测试评估与指标，以显示覆盖的设计域（这适用于模拟和真实世界的测—统计学显著性。测试程序和结果来自合理的统计原则。例如，多次进行安全停止功能的最终现场验证测试，以证明相关参数符合基于统计分析的预定义限值。相比之下，用于人体检测的感知功能的验证测试是在大型测试数据库上进行的，其大小和覆盖范围由目标故已经表明，深度神经网络对软错误的脆弱性很低（参见参考文献[25]，[83]）。评估导致安全行为（相对于不安全行为）的故障比例对于某些类型的网络是有用的。可能的方法包括故障注入（例如，神经网络中的各个例如，可以分析分类模型，以确定人工智能技术在软错误方面的唯一脆弱部分（参见参考文献一旦人工智能系统获得批准并投入运行，其自身的事件统计数据将用于提供安全性能的持续证据。报告的事件用于反馈信息，这些信息用于不断增强测试活动期间使用的场景套件。然而，对于无法进行归纳或演绎绝对证明的核心功能，可接受的故障率目标是从系统故障率目标中得出的，并附有适当的理由来证实功操作设计领域和真实世界的使用概况被用来定义和约束问题范围，创建测试覆盖率的度量（模拟和真如果条件允许，现场数据的记录被认为是可行的，用于系统一种不断发展的人工智能技术，称为“可解释的人工智能”，旨在以人类理解的方式提供影响基于人工智能员能够理解人工智能决策算法，并为确保机器学习算法的功能安全铺平道路，其方式与当前的功能安全国际标准类似。或者，某些知识有时由人工智能模型的人虽然目前对每个II类人工智能系统的决策进行充分解释是不切实际的，但目前有一些可实现的方法来解释模型结构的可解释性或可解释性，这可能有助于验证和审计过程。例如，有助于特定决策的内部节点的热图有助于理解决策的原因[96]。这种技术有时被称为“灰盒”方法，对于理解AI系统的行为非当它的决策与实现者的意图不同时。在这种情况下，这些技术考虑提取的解释的含义是否与功能安全要求一致或不一致。例如，理解从DNN的中间层提取的决策过程并不足以证明安全行为的合理性，因为其他层10控制及减轻措施拥有一个良好而强大的AI系统架构，能够在不损失安全性能的情况下容忍故障，这比仅仅提高AI质量更可取。安全系统的架构设计原则不会因机器学习而改变，尽管它们在定义和保证其可靠性属性和故障行为方本条款考虑了增强ML模型作为AI系统组件的方法，并讨论了如何使用它们周围的子系统来改善非功能属性，如可靠性，可用性和质量。子条款10.2描述了AI子系统架构考虑因素，包括缓解和控制方法。第10.3条提出了提高部件可靠性的方法。第8章中的故障机制强调了ML组件的差异化挑战，而第9章则解决了验证和确认这些组件的整个生命周期过程。本条款中引入的措施由这些失效模式的知识指导，并作为第11条备份操作允许使用检测方法，以便在未检测到异常时切换输出。注意这些架构解决方案共存或可供选择，即其中一个就足够了。人工智能技术的引入为这些架构选项中的每一个都带来了特定的挑战。10.2.2描述了如何使用异常输入、输出或内部状态（例如神经元激活强度）的检测机制10.2.3描述了如何使用监控功能，使用控制理论的元图5中的架构在容错系统文献中通常表示为被动（多样）冗余。例如，监督监视器检测人工智能技术何时产生潜在的不安全行为，无论是由于内部故障还是外部故障。检测到后，将采取行动以维持系统处于安全状态。监护仪使用非AI技术或使用AI技术开发。在后一种情况下，监视器和主系统之间的独立性水平的考Datainput入数据的情况下，通常不可能验证模型行为，这包括数据漂移的结果。可接受的模型输出依赖于模型的未经测试的泛化属性，并且可能是错误的，从而激励对此类输入数据的检测。分布取决于单个样本中的参数及其随时间的演变（即动态）。可接受输入的简单边界不太可能检测到训练数据中的间隙，特别是对于高维系统。在缺乏训练数据改进的情况下，在某些情况下，基于数据属性（维度、参数相关性的线性、动性方法已经表明，深度网络对微小的、看似随机的扰动（例如，通过添加噪声对图像进行错误分类，使可靠的输入解析具有挑战性）极其敏感。对抗性方法包括使用运行时检查和对传入数据的检查，以确定是否图6，b）]或替代模型监测输出在故障检测文献中是众所周知的（例如，基于统计或模型的残差检测）。边界自适应于多变量系统输入序列，因此禁止系统离开安全状态区域[见图6，c）]。对于动态系统，检测决策还确保在没有约束违反的情况下可达到安全状态（即，系统惯性或不稳定性不会阻止在备用控制器决策下进入危险状态）。ML用于创建一个监视器，其中输出分布违背传统的建模技术。一个例子是在ML模型生成的输出上训练一个（更简单的）二级网络（例如学生-教师架），Y23Y23U23Y1U1X1关键活强度）是有用的，但需要仔细校准到概率，并受到风险的影响。这些风险包括过度自信（分类器通常通过提供不正确但自信的输出而默默失败），不仅在极端或超出训练空间的范围时，而且在对抗性示例的情通过适当的监控模块，AI系统可能被限制在预定义的安全范围内工作。安全限制要求确定动作空间（安全包络）的子集，并且对安全ML组件行为的限制最小。然而，对输出的简单限制过度抑制了ML组件，导致例如，如图7a）所示，AI系统用作智能控制的一部分，以提供最佳决策。在这种架构中，非AI安全功能针基于输入的函数约束输出通常不适用于具有动态的系统，其中系统状态（x）定义了不安全区域，但不会立即响应控制器输入的变化。形式上，通过控制理论方法（如障碍函数方法（参考文献[102]））为动态和混合系统设计最小边界，该方法确定非AI系统控制下的不变集，参见图7b）。这些方法保证了系统不会超过对于某些有限的最坏情况控制输入（所有可能的控制信号U的子集u）被认为是安全的操作区域。这些设置通常是保守的，因为它们不主动地将系统恢复到更安全的区域，因此控制屏障功能用作检测机制，以切换传统的稳定控制（产生控制信号u*，如果它们可用适当的AI监控，如10.2.1所述）。对于具有特别复杂安全要求的系统，例如使用AI技术的多通道测量系统，应考虑检查功能，如自动自检或自验证，uu2键123456477968智能控制7安全校验8上/下界U安全u*不安全输出（u）不安全约束冗余可以是不同的类型：结构（空间），时间（频率），功能（信息，分析）或组合（参见参考文献）：测量与由系统的数学模型表示的先验信息的比较。这种方法有两个主要的趋势，即分析冗余或剩余生）：）：可能对相同的测试用例产生错误的结果。这样，就有可能设计一个容错系统，其输出由所有这些模型）：在关键设备的控制系统中已经发现应用的自动化自检方法（包括自验证、自诊断如参考文献[70]-由于多样性的复杂性和不确定性，多样性是由许多指标来表示的。这些指标回答了以下基本问题：具有相同训练条件的人工智能技术在性能和鲁棒性方面有多大差异？多样性指标是否适合选择成员以形成更强大当依赖冗余作为安全论证的一部分并考虑DNN的可解释性时，可以依赖分析论证来避免共因故障。在这种论证基于验证和确认，并通过仿真证明冗余一旦经过训练，许多人工智能系统在推理中是确定性的，但是在输入维度很高且连续的情况下，这些系统的性能通常是统计特征的[156][157]例如，神经网络的交叉折叠验证可以产生不同的性能指标，这取决于每个验证“折叠”上训练数据的变化分配样本对于特定操作条件下的特定虽然没有获得错误率的硬上限，但对于给定的输入分布，确定最大错误的统计置信区间。一个关键的假设是，这些统计数据依赖于测试数据的如果某些事件的概率很低，但影响很大，则可以适当增加这些事件在输入数据中的发生率，使输入中事件A作为对10.2中架构考虑的补充，本条款确定了AI支持技术，以提高部署时经过训练的系统的可靠性。子条为了提高对噪声干扰、设备故障和可能的恶意（对抗性）输入的鲁棒性，在测试和学习阶段都使用了几种—正则化是一种减轻过拟合问题的方法，从而提高稳定性。这种技术被认为类似于回归拟合中使用的方法，其中训练损失函数中的权重大小或非零值被惩罚或给定先验分布。这通常优选于低值权重的训练后修剪。替代方法包括构造网络以共享节点连接上的权重（例如，在CNN中的重复滤波器元素上），参数。这种技术随机关闭网络的一小部分训练。由于网络不能完全依赖于单个节点来建模特定的数据—当人工智能系统干扰可预测时（例如硬件错误），包括神经网络训练期间错误建模的故障感知训练使—对抗性鲁棒训练是一种学习方法，它最小化或限制了由攻击者可能扰动模型增强的训练数据下的最坏情况错误对抗扰动效应的同时最大化和误差的最小化导致了标准梯度下降训练算法的扩展（参见参考—随机化方法（诸如随机化平滑）提供了与利用随机化噪声增强的数据来训练多个模式的有效等效，以—对于受限于训练数据或数据漂移或概念漂移的应用，还考虑了对分布外输入的鲁棒性。数据增强和丰富减少了人工智能系统需要从训练数据中推断的距离。例如，如果在训练数据中平移和旋转图像，则优化和压缩技术，如参数和计算的量化（即减少参数带宽），修剪（即从模型中删除不太重要的参数）和知识蒸馏到更简单的替代模型，为系统提供了次要的好处与对系统的所有修改一样，对性能损失的风险进通过非人工智能技术（线性和非线性主成分分析、聚类、特征提取等）降低输入维度，可能会永久丢弃有在现代网络设计中，使用嵌入层（例如卷积层或低维全连接节点）。这导致下游简化，并且通常也提高了简化的模型具有降低的权重（可能还有输入）维度，使训练更容易，并降低了损失景观中的非凸性（以及多个局部最小值）的风险[154]除了收敛能力的提高，减少网络维度直观地使可解释性更易于处理。然而，减少网络尺寸仍然超过了能力，以了解每个参数的功能，其对需求满足的贡献（即其可追溯性）。新兴的络模块化是另一种帮助理解其可追溯性和简化验证的实用方法（包括使正式验证方法在计算上可行的潜知识蒸馏最初旨在创建更简单的代理和更易于计算的模型。这个概念产生了一个更简单的二级模型，它是在一个更大的模型的输出一个复杂的模型通常会创建一个比原始数据更低维度的嵌入，并且一旦学习，通常会使用二级线性模型进行建模，其性能损失可以忽略不计，并且具有可解释性的优势。非线性二次模型对可解释性的贡献较小，但有助于平滑梯度。更平滑的梯度提供了针对对抗性攻击的梯度掩蔽保护，使得对于给定的输入扰动，输出的变化更小。这是通过在具有复杂模型的第一训练路径中创建概率标签，然后网络神经元修剪可以抵御训练时间攻击。网络修剪的一种方法是通过对具有干净输入的神经元激活进行训练后分析来实现的，迭代地去除那些具有低激活的神经元并重新测试。这降低了在操作中发现不必要行为—学习全局上下文的注意力机制：注意力机制使用所有编码输入向量的加权组合来学习特征序列（例如句子中的单词）之间的关系。类似地，在机器视觉应用中，注意力权重在整个图像上学习全局权重，），被用作多域数据训练模型的合适解决方案，特别是序列和—用于健全性检查和特征操作的事后注意力图：注意力图，也称为显着图（用于解释CNN预测的解释方法）或敏感性图，是一种常见的机器学习解释类型，用于指出给定预测中最重要的特征。注意力地图是一种局部解释，仅限于单个模型预测，而无论整体模型行为如何，但仍然适合研究模型调试的边缘情况。注意力地图以不同的方式获得，例如使用浅层可解释模型的深度模型的局部近似（参见参考文献[114]，[115]，[116]）。为了生成DNN的显著性图，已经描述了各种基于梯度（参见参考文献—注意力地图的好处：回顾机器学习解释对设计人员在机器学习生命周期的多个阶段改进给定模型例），—可训练的注意力：可训练的注意力机制具有在训练期间学习的注意力权重，以提高注意力效率。例），—解释真实性：由于模型解释往往是对黑盒模型的不完全解释，因此模型解释的正确性和完整性受到启数据和模型参数可能容易受到随机和故意干扰和丢失的影响，其原因从硬件故障到对抗性攻击中的数据中毒。与系统中使用的所有数据一样，使用数据风险评估和管理流程（参见第11条）有助于推动所使用的保护措施，同时考虑与数据密集型人工智能技术相关的特定挑战（例如，数量、种），除了数据控制措施之外，对输入数据流进行预处理以去除不可行的输入模式也是一种明智的预防措施。例如，对物理系统带宽透明的过滤器可以去除对抗性噪声，补充了产权泄漏（例如加密、标签混淆和数据分发）是不够的。训练数据操纵（中毒）是由攻击者设计的，以规避本地测试，其中网络在具有休眠问题的正常测试数据上正确运行（例如，正常训练未激活的神经元）。通过在本地保护的数据源上进行（轻量级）再训练来补充修剪技术，有助于降低对对抗性示例的敏感性。11流程和方法从功能安全的角度来看，许多生命周期问题对于人工智能和非人工智能系统来说是共同的。这些共性在系统需要达到的功能安全水平与是否使用人工智能技术无关。使用非人工智能软件方法构建的系统部分按照现有的功能安全国际标准处理。从功能安全国际标准要求的角度来看，通常用于开发人工智能模型的方功能安全考虑系统整个生命周期的安全性。传统上，术语“生命周期”用于多个目标。一个目标是在系统或硬件或软件生命周期内提供一组定义的过本文件认为，从传统的功能安全生命周期开始，修改和调整功能安全生命周期，以考虑影响功能安全的人工智能系统特定问题是合理的危害和风险分析阶段基于IEC61508系列或其他功能安全国际标准，并进行IEC61508系列和其他功能安全国际标准提到V模型作为生命周期的基础，尽管某些国际标准（包括IEC一功能安全生命周期每个阶段的充分信息和文件有助于后续阶段和验证活动。它包括记录产品和流程的变人工智能系统特有的问题包括学习过程、数据相关性以及培训、验证本条款描述了一些已知的方法，以考虑与人工智能技术。故障模型的概念旨在对存在故障的元件行为进行系统且可能自动化的分析故障模型（故障感知）的思想是通过足够高的抽象级别来覆盖现实的多方面这尤其适故障模型是对可能导致错误的实际影响的简化抽象，旨在实现系统分析。通常，不同的影响被一个错误所掩盖。在现实中，故障传播是相当复杂的，但经常不同的传播链当定义足够精确时，可以手动模拟或分析故障的影响。通过将故障模型应用于所有元件，确保了关于故障为了创建故障模型，需要用相应的元素描述和），（提供信息）IEC61508-3对AI技术要素的适用性A.1概述B和C中的描述）应用于符合当前功能安全国际标准的AI系统技术注：关于第6章中描述的分类方案，本附录适用于I类AI技术元件，而附录B适用于II类元件。A.2IEC61508-3：2010附录A和B中技术和措施对AI技术要素的适用性分析B和C中给出的技术或措施的详细描述。一技术或措施参考文献AI技术要素解读半形式化方法有几篇研究论文在这个方向上工作，见参式的模型，语言和语义学。文献中已记录了它用于某些系统行为的正式验证，例如[29]和。关于ML的半形式化方法，几乎每一篇ML论文都使用半形式化方法来描述其架构，以框图，层描述和链接以及输入流行为的形式。形式化方法2系统安全需求和软件安全需求之间的前向可追溯性对于用例独立技术元素：适用于非AI系统元素。对于依赖于用例的技术元素，在某些情况下，很难为AI模型定义安全需求规范（例如，安全目标是检测道路上的所有行人），但如何明确定义行人的所有可能用例（例如，轮椅上的每个人）。另一方例如定义人员检测特定数量的像素或测量样本返回具有指定容差的值。无论底层软件技术如何使用，包括AI技术。3安全要求之间的向后追溯和感知的安全需求也适用于AI系统元素。4支持表A.1中适当技术或措施的计算机辅助规范工具也适用于AI系统元素。技术或措施参考文献AI技术要素解读体系结构和设计特点1故障检测对于运行时（推理）和离线（训练），有几种可能的AI故障检测方法，包括：—检查分布偏移的操作域;—检查新概念（例如，新的对象，不同的行为，新的规则）;—世界发生的变化（领域漂移，新对象，改变规因此，它在训练期间和推理期间的故障检测之间进行区2错误检测码也适用于AI技术元素。故障断言程序设计这对于AI技术元素也是可能的（参见多种监视器技术（同一台计算机中的监视器和监视功能之间具有独立性）这对于AI技术元素也是可能的：监视器是传统开发的机制或另一种AI技术（例如，不同的训练或实施另一种AI算法方法）;或者具有N模块化架构，具有不同的DNN解决相同的问题并进行投票。不仅要考虑软件和AI算法之间的差异，还要考虑ML它包括底层软件实现的多样性、编译指令的多样性、指令执行的多样性等。10.2.4中进一步讨论了不同技术的使用。多种监控技术（监控计算机和被监控的计算机）不同的冗余，实现相同的软件安全需求规范功能多样的冗余，实现不同的软件安全要求规范向后恢复它原则上也用于AI技术（以足够的存储状态空间为前提），并增加了AI结果的鲁棒性也是如此，因为这样的方法学引入了一种冗余（输入向量的轻微变化）。无状态软件设计（或有限状态设计）不适合AI技术元素。重试故障恢复机制它原则上也用于AI技术（以足够的存储状态空间为前提），并增加了AI技术的鲁棒性也是如此，因为这种方法引入了一种冗余（输入向量的轻微变化）。优雅降级对于AI技术元件，在输出值的确定性降低的情况下应用适度降级。5人工智能-故障校正的未来版本正在审查IEC61508系列的这一要求。技术或措施参考文献AI技术要素解读6动态重构的未来版本正在审查IEC61508系列的这一要求。基于特定的AI系统元素有不同的考虑。例如，主动学习是由于个体机器人学习而动态重新配置权重，而定期更新是过程管理的。7模块化方法也适用于AI技术元素。8使用可信或经验证的软件，部件（如有）也适用于AI技术元素。需要注意的是，经过验证的软件并不是AI模型开发的所有步骤都需要的。它与推理有关，但与数据收集过程无关。9软件安全需求规范与软件体系结构之间的前向可追溯性也适用于AI技术元素。软件安全需求规格说明与软件体系结构之间的向后可追溯性也适用于AI技术元素。结构图解法也适用于AI技术元素。半形式化方法也适用于AI技术元素。形式化设计与精化方法也适用于AI技术元素。软件自动生成软件开发的基本原则也适用于AI技术元素。计算机辅助规格说明和设计工具循环性能，保证最大循环时间也适用于AI技术元素。时间触发机制也适用于AI技术元素。事件驱动，保证最大响应时间也适用于AI技术元素。静态资源分配也适用于AI技术元素。访问共享资源的静态同步也适用于AI技术元素。这通过相关的嵌入式软件（例如运行时环境）进行管理。技术或措施参考文献AI系统技术要素解读1合适的编程语言这些措施适用于用例独立的元素（例如），（即模型）则非常困难。换句话说，在目标上运行的代码仍然满足那些不适用于AI系统其余部分的措施的