TV南德2026AI赋能系统的风险管理白皮书

人工智能(AI)的日益广泛采用，正在将传统的2AI组件AIAI组件AI系统AI赋能系统由系统元素之间以及系统与其运行环境中其他系统之AI赋能系统定义AI项AI项ISO31000ISO/IEC/IEEE15288AI赋能系统的风险管理相互作用的组件，而这些相互作用会产生仅通过单独评估各个组件无法发现的系发生的可能性。许多危害往往来自系统在运行过程中处理训练阶段未考虑过的输AI风险是指由AI赋能系统的集成、部署和运行所产生的一类运行风险。尽管AI和评估和缓解方面的研究仍然有限。本白皮书旨在为AI赋能系统的风险管理提供实义将关注点从单纯估计风险转向弥合由不确定性造成的知识¹https://digital-strategy.ec.europaeu/en/polic传统系统安全、功能安全和网络安全的新属性与新挑战。2018年6月，欧盟委员会成立了人工智能高级别专家组(AI欧盟AI战略旨在确保AI以人为本、可信赖且安全的方式开发应用提供指南。1)开发同时管理系统复杂性和技术复杂性的能力。3)以能够反映其动态行为的方式评估AI相关危害。4)确保覆盖AI可信赖性属性的完整范围。在实践中，风险管理通常包括三个关键步骤[3]:1)风险识别——确保全面覆盖所有相关风险。3)风险缓解—评价并确定缓解机制的有效性。释其如何在实践中应用。为应对AI赋能系统带来的挑战，本白皮书提出了一种以系统关注系统(最高抽象层级关注系统(最高抽象层级LoA,利益相关方A)关注系统(最高抽象层级LoA,利益相关方A)关注系统(最高抽象层级，利益相关方A)系统模块B(LoA(i))系统模块a关注系统(LoA(i),利益相系统模块A抽象层级(0)AI赋能系统的风险管理LoA（i−1）⸺AI组件。由一个或多个AI项以及额外硬件传统功能安全标准关注系统的物理伤害和失效率。它们依赖与安全后果严重性相关联的完整性等级，例如SIL（IEC来若干挑战。首先，这些完整性等级难以在系统的多个层级之间分其部分组成元素则由车辆制造商提供，并按照ISO26262开发至ASIL等级。这种不一致说明了在多层级系统架构中应用之间相互作用所产生的不确定性，并且可能在运行时频繁变为适应系统层级结构并捕捉系统动态性，需要一种更来衡量AI赋能系统满足特定要求所需的置信程度。LoC可从LoC关注不确定性的后果而非其可能性，因此可在整个系统架构中按层级应用。这使得较高系统层级的后果能够在风险重要的是，LoC并非在AI赋能系统的整个生命周期中保持不变化以及系统层级相互作用而波动。在建立AI赋能系统的接受准则时，应考虑这些动态性，并将在第4.3节进一步讨论。如果检测到偏离，则应相应修订LoC，并迭代更新风险管理由于LoC取决于不确定性的后果，因此可以与其他完整性等量（MoI但更为简单。当我们进入较低抽象层级⃞开发和持一致，例如IEC61508-3或ISO26262-6。4.风险管理方法的实施风险的推荐实践。图4展示了如何通过风险管理活动实施本例如，一个AI赋能系统可能需要经过超过四个层级的分解，才能到达AI/ML分析各个系统元素并不足以充分评估此类系统的整体特性和型必须被视为完整的系统元素。当它们与其他系统元素集成效风险管理的第一个也是最关键的步骤，是全面理解和分析客户输入目标准备阶段界保障案例全机制风险缓解顶层主张风险识别风险评估图4:AI赋能系统风险管理框架示意图。利益相关方是指受到AI赋能系统结果影响，或对其结果承担关方通过使用AI赋能系统来定义目标并追求目的，而这些目标构成系统需求的基础。利益相关方分析的输出4.2风险识别风险识别包括旨在识别危害并建立目标的活动，以控制其·应从较高抽象层级理解AI赋能系统的背景和用例。风险识别的结果可用于导出和细化针对已识别危害的要求。4.3风险评估进行表征，并基于相关不确定性和潜在后果对其进行优先排严重性度量不足以反映复杂系统和AI赋能系统的动态行为。此外，可能性/严重性度量也难以在不同系统层级之间良好运行边界。·风险控制工作的优先级划分。风险控制工作应基于所需LoC进行优先排序，确保与更高置信要求相关的危·LoC与完整性等级之间的映射。应建立LoC(用于AI赋能元素)与传统完整性等级(用于非AI元素)之间的系统性范围内风险评估的一致性。图5:4后续将开发一个针对AI项的详细需求库(requirementrepository),以及与之害带来的风险是否满足要求)。因此应作为最高优先级进行缓解。4.4风险缓解风险缓解是将风险降低到满足利益相关方目标水平的过程。要目标是支持客户在安全关键系统中消除或在新型复杂系统的背景下，风险概念应更加重视认知不确定性。对于与知识强度相关的不确定性，可采用Rumsfeld矩阵的未知和未知的已知。该复杂系统是否具有在(子)系统层级定义置信水平在(子)系统层级开展风将置信水平(LoC)分配至AI将置信水平(LoC)分配至非AI项AI相关网络安全(ISO/IEC27090)(与AI无关)→安全等级级神经网络的置信水平(LoC)级该组件是否包含AI项?图6:包含AI组件和非AI组件的复杂系统风险评估。2.已知的已知图7:即在设计阶段本质上难以预测或消除的未预见事件。因此，险缓解，应在从较低到较高抽象层级的多个系统层级上降低有效的系统级风险缓解的一个关键特征，是采用多种互补方图8:4.5动态风险管理性能波动以及运行过程中出现的未预见失效而增加AI赋能系·当设计时建立的基线LoC与系统观测到的运行时性能之间存在不可接受的差距时，应调整LoC。4.6迭代式风险管理赋能系统，需要应对在生命周期各阶段由系统元未知的已知未知的已知降低运行复杂性降低AI系统承担的功能责任已知的未知限制传感器输入数据空间限制AI组件承担的已知的未知检测AI/ML输出异常限制AI组件承担的功能责任降低AI组件置信水平已知的未知不安全行为运行时监测限制AI组件承担的已知的未知提升AI/ML性能以达到AI/ML模型冗余使用多个ML模型实现目已知的未知盖更广范围的场景(ODD)AI/ML模型冗余使用多个ML模型覆盖已知的未知运行时监测超出ODD限制AI/ML模型承担的切换至备用软件/硬件未知的已知检测超出ODD未知的已知细化AI/ML模型的泛化能力检测数据/模型漂移AI赋能系统的风险管理解通过使风险管理活动聚焦于SoI之间的相互作用，简化了义为“关于某项主张已经实现或将会实现的有根据的合理信相关的国际标准目前正在制定中。这些标准通常包括关于确5.2TÜVSÜDAI可信赖性框架AI可信赖性在保证AI赋能系统方面发挥着关键作用。在具有多个系统层级的复杂系统中，应跨这些层级考虑AI的可信赖AI可信赖性框架的详细内容将在另一份