2022欧盟AI网络安全与标准化报告1

2023年3月0人工智能的网络安全和标准化缩写缩写定义

人工智能CEN‑

欧洲标准化委员会–欧洲电工标准化委员会

机密性、完整性和可用性EN

欧洲标准化组织

欧洲电信标准协会

小组报告

信息和通信技术

行业规范组ISO

国际标准化组织它 术

联合技术委员会

机器学习

美国国家标准与技术研究院发 发

人工智能安全

小组委员会

标准制定组织易 告TS

工作项1人工智能的网络安全和标准化目录95。结论5.2.3为实施《人工智能法案》草案而提出的建议

88889101212121414161619212424

件： 七ISO

4人工智能的网络安全和标准化/ISO/IEC

CEN‑CENELEC会21和AI求 31ETSI《案求 335人工智能的网络安全和标准化执行摘要)（）（（（COM(2021)6（AI(SDO)的活动（如C1和C报告还指出，这种方法并不详尽，并且具有一些局限性。例如，虽然该报告侧重于软件方面，但人工智能的概念可以包括软件之外的技术和组织元素，例如硬件或基础设施。其他例子包括，确定适当的安全措施依赖于针对特定系统的分析，以及网络安全的某些方面仍处于研究和开发阶段，因此可能还不够成熟，无法进行全面标准化。此外，现有标准似乎并未解决特定方面的问题，例如数据和人工智能组件的可追溯性和谱系，或稳健性等指标。的能力和工具的标准。第三，它指出，人工智能法案草案和欧盟制定的治理体系6人工智能的网络安全和标准化（CSA等级。2019417ENISA（(EU2019/8819年1月33（（https:/lex.europa.eu/eli/reg/2019/881/oj）。7人工智能的网络安全和标准化)（）（（COM(2021)（AI本报告的目标受众包括许多关注人工智能网络安全和标准化的不同利益相关者。（SDO门（(ML）；（）和读者需要对软件开发和机密性、完整性和可用性(CIA)安全模型以及漏洞分析和风险分析技术有一定程度的熟悉。报告结构如下：（第2章）以及人工智能的网络安全；（第3章）（（第4章）3A（第5章）8人工智能的网络安全和标准化了解人工智能及其范围似乎是定义网络安全的第一步人工智能。然而，人工智能的明确定义和范围仍难以捉摸。人工智能的概念正在演变，关于它是什么和不是什么的争论仍然在2框《人工智能法案》在草案中第3(1)条提出了定义：（AI（（与ENISA之前的研究一致，该报告将机器学习视为人工智能技术的驱动力。这一选择得到了以下事实的进一步支持：人们3虑。2（UNESCO请参阅ENISA（https://www.enisa.europa.eu/publications/securing‑machine‑learning‑algorithms）。9人工智能的网络安全和标准化框4ML%MLIAI（（ENISA）。机器学习的一个主要特点是它依赖于使用大量数据来开发机器学习模型。手动控制数据质量将变得不可能。需要制定特定的可追溯性或数据质量程（）（（）。ENISA具（）本报告重点关注第一个维度，即人工智能的网络安全。不过，对人工智能的网络安全有不同的解读可以设想：（可信度特征，例如数据质量、监督、稳健性、准确性、可解释性、透明度和可追溯性。（“Fhttps://www.enisa.europa.eu/publications/securing‑machine‑learning‑algorithms10人工智能的网络安全和标准化稳健性、监督性、准确性、可追溯性、可解释性和透明度等可信度特征本质上支持并补充了网络安全。11人工智能的网络安全和标准化（新技术提供详细指导，或定义其他技术来填补空白。(ISO(IEC)、(CEN(CENELEC(ETSIN和CO和CCEN‑CENELEC(JTCJTC13“（ISO/IECJTC1(SC27(IT‧C（CC1C2）JTC13（见第2.2节）。ISO‑IECCEN‑CENELECISOISO15408IT27019:2017（CO0）。12人工智能的网络安全和标准化（）CI‑‑该文件目前处于准备阶段。CDR––C1（2节）ISO‑IEC/SC42JTC21整：C（），C)（ML）（已发布），ISO/IECDIS42001（），C（），CS（），CS（），ISO/IECCD5259（）。C1未来的潜在标准包括：（）。ISO‑IEC42001ISO‑IEC27001ISOETSIETSI(ISGI9I（ISGZSM）C（TCISGSAI求。人工智能的网络安全和标准化GIIIRIRIRIRIRGI发IDGR（），IDGR能（），IDGR（），IDGR（‑），IDGR（草稿），IDGR（），IDGRI（）。ETSIISGSAI的工作属于ETSI在AI领域的广泛工作，其中包括来自其他ETSI机构的贡献，包括其网络安全技术委员会CS21)ISO‑IEC在JTC1SC42A.2（）。StandICT6250(ITU)(IEEE)和SAEInternational6https://www.standdict.eu/14人工智能的网络安全和标准化ERMLC1I2023AI（）家标准与技术研究所(NIST)也在AI领域积极开展工作，并于2023年1月发布了其AI风险管理框架(AIRMF1.0)7。7https:///itl/ai‑risk‑management‑framework15人工智能的网络安全和标准化本节对前几章中确定的与CIA安全模型和支持网络安全的可信特征最相关的标准的覆盖范围进行了分析。狭义2.2（CIA1表18：CIA范式在人工智能背景下的应用9标 （例）机密模型和数据窃取攻击：（（）。ML（直 避型对ML作（误）就“觉”例。（）可用性

拒绝服务：机器学习算法通常考虑定义格式的输入数据来做出预测。（）（OCC‧C（8根据德国联邦信息安全局的白皮书《迈向可审计的人工智能系统》（https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Towards_Auditable_AI_Systems.pdf?blob=publicationFile&v=6)以及ENISA报告《保护机器学习算法》（https://www.enisa.europa.eu/publications/securing‑machine‑learning‑algorithms）。9CIAETSIGR/SAI‑004《问题陈述》和ETSIGR/SAI‑006《硬件在人工智能安全中的作用》可以参考有关针对硬件和软件的传统网络攻击的更详细描述。16人工智能的网络安全和标准化这引出了两个问题：（CC（ML）（AIIGR）SDO（）（（）嵌入现有标准的更新中。SDOIEEEISO9001ISO/IEC27001级别。确定适当的安全措施依赖于针对具体系统的分析。CIA们17人工智能的网络安全和标准化IS21(TVRAISO/IECIT技术发展，因此应予以鼓励和监督。换句话说，在某些领域，现有标准无法调整，新标准尚无法完全定义，因为相关技术仍在开发中，尚（CR发(R&D)的进展MLML框模型中毒在持续学习/运行学习过程中很容易发生。例如，在持续学习过程中，实时检查数据的质量是非常具有挑战性的。（）（）ISO/IEC22989O（）（（）。‧ML1ML%（ML（）目前正在修订，以包括人工智能。但需要注意的是，持续学习的概念有不同的解释。它并不总是明确的它与不时更新系统有何不同，即什么样的重新训练频率才能证明‘持续学习’的标签是合理的。18人工智能的网络安全和标准化AI/ML12（）先进的测量。值得注意的是，人工智能系统指标和测试程序的主题已由标准化交付成果解决，例如ISO/IECDIS5338‑人工智能系统（）CIS（R3xIRCEN‑CENELEC2.2表3（1412例如，如果监控系统检测到异常情况，自动驾驶汽车可能会自动停用这可能预示着一次网络安全攻击。C––CDIS––CDIS（AI）–性评估–第2部分：使用形式化方法的方法。14欧盟委员会人工智能高级专家组确定了人工智能的七个特点19人工智能的网络安全和标准化表315：《人工智能法案》草案概述的一系列要求中网络安全的作用人工智能法案草案求 述

网络安全的相关性据 一理 练发

这里的要求涉及数据质量，这是确保数据输入、处理和输出的关键。（保持记录中

（“应符合公认的标准或通用规范。

（ISO27000ETSITR103CIA。

[COM(20212063

（人类监督

这种控制形式在ISO27001和IS3。（16风险管理体系

通过内部检查对“独立”高风险人工智能系统进行评估，需要全

ISO/IEC31000（IS2

各项措施要⻬头并进。质量管理体系

ISO9001合格评定

欧洲市场须遵守,.和De,（https://publications.jrc.ec.europa.eu/repository/handle/JRC125952）。20人工智能的网络安全和标准化某些强制性要求和事前合格评定。鲁棒性

人工智能系统应该具有抵御与系统局限性相关的风险（例如

（）第3.1SDOICC2JTC21（A.3）全面、连贯和综合的可信度方法，同时避免工作量增加（在某种程度上是重复）。此外，针对相同特性（稳框（）ISO/IECSC42（）框–MLAI人工智能法案草案《人工智能法案》草案明确提到了高风险人工智能系统的网络安全。高风险人工智能系统仅限于旨在用作受（）21人工智能的网络安全和标准化评估。15高风险人工智能系统应具有弹性，以抵御未经授权的第三方利用系统漏洞改变其使用或性能的企图。[⋯]解决人工智能特定漏洞的技术解决方案应在适当情况下包括预防和控制试图操纵训练数据集的攻击的措施(（“《人工智能法案》草案还在第13条“透明度和向用户提供信息”中规定，高风险人工智能系统必须附有使用说明，151ICT2（A.3和(ESO在上述内容以及前面章节的基础上，从网络安全角度对《人工智能法案》草案的实施提出了以下考虑。17行《人工智能法案》而言，所描述的技术差距和正在进行的研发过程会影响第15条概述的网络安全要求的某些方面（）7CCC2（ISO术‑《人工智能风险管理指南》将由JTC21关于“人工智能风险目录和人工智能风险管理”的具体标准进行补充。22人工智能的网络安全和标准化1O标准化工具和能力，包括网络安全方面的能力。在某些情况下，合格评定可以由指定机构执行。因此，人工智能（（（（尽管ISO/IECSC42）2)（8（）T品务ICT产品//)（2年98（3（（的)1号（https://eur‑lex.europa.eu/eli/reg/2019/881/oj）。19https://digital‑strategy.ec.europa.eu/en/library/cyber‑resilience‑act23人工智能的网络安全和标准化5本节对报告进行总结并提出行动建议，以确保标准化支持人工智能的网络安全以及《人工智能法案》草案的实施。（CC2和C（CAI尽管如此，仍发现了一些标准化差距：（CDIS20和ISO/IECCD5259系列关于分析和ML数据质量21)；A（）关于人工智能法案草案的实施，除了上述考虑之外，还发现以下差距：（人工智能法案草案的实施，特别是有关数据中毒和对抗性例子的部分。0CDIS（）21该系列正在开发中（https:///ics/35.020/x/）24人工智能的网络安全和标准化OI的GI和N的C1虽然人们认识到ESO具有不同的运营模式和不同的成员结构，但也认识到ESO在许多领域开展合作，这同样值得鼓励。ESOSDO之间SDO/ESO22。以下建议针对标准化组织。体（）（为准备实施《人工智能法案》草案，建议提出下列建议，这些建议应理解为对上述建议的补充。2（ISOCC（201月20227）JTC21ISO/IEC人工智能的网络安全和标准化系统性分析，必要时制定行业性标准。行业标准应以横向标准为基础，连贯、高效地建立。（）1号)（COM(2022454（）。人工智能的网络安全和标准化附件：A.1选择与人工智能的网络安全名 考1

ISO/IEC27035‑1:20162

ISO/IEC27035‑2:20173

ISO/IEC27035‑3:2020

ISO/IEC27032:2012

ISO/IEC27031:2011ISO/IEC27001ISO/IEC27002

ISO/IECTR27023:2015‑

ISO/IECTS27022:20211：ISO/IEC27001:2013

ISO/IEC27021:2017/AMD1:2021

ISO/IEC27021:2017ISO/IEC27002

ISO/IEC27017:2015–组织经济学

ISO/IECTR27016:2014

ISO/IEC27014:2020ISO/IEC27001与ISO/IEC20000‑1

ISO/IEC27013:2021ISO/IEC270021

ISO/IEC27011:2016/修订版1:2018

ISO/IEC27010:2015

ISO/IECTS27008:2019人工智能的网络安全和标准化

ISO/IEC27007:20201

ISO/IEC27006:2015/AMD1:2020

ISO/IEC27006:2015

ISO/IECTS27006‑2:2021

ISO/IEC27005:2018–监测、测量、分析和评估

ISO/IEC27004:2016

ISO/IEC27003:20172

ISO/IEC27002:2022ISO/IEC27001:2013/修订版2:20151

ISO/IEC27001:2013/修订版1:2014

ISO/IEC27001:2013人工智能的网络安全和标准化ISO/IEC/姓名

预计出版日期（撰写本文时）（AI）1

ISO/IECTR24029‑1:2021

ISO/IECTS4213

ISO/IEC20546:2019 信息技术人工智能伦理和社会问题概述

TR24368:2022信息技术人工智能人工智能可信度概述

TR24028:2020

ISO/IEC24668:2022 信息技术人工智能(AI)人工智能系统中的偏见和人工智能辅助决策

TR24027:2021信息技术人工智能(AI)人工智能系统计算方法概述

TR24372:20211

ISO/IECTR20547‑1:2020 2

ISO/IECTR20547‑8 3

ISO/IEC20547‑3:2020已发布4

ISO/IEC20547‑4:2020已发布5

ISO/IECTR20547‑8 信息技术IT治理组织使用人工智能的治理影响

ISO/IEC38507:2022 ISO121005

ISO/TR22100‑5:2021已发布（AI

TR24030:2021

（2023）人工智能功能安全和人工智能系统

ISO/IECCDTR54692023年4月软件工程系统和软件质量要求与评估(SQuaRE)人工智能系统质量模型

ISO/IECDIS25059

5月23日人工智能分析和机器学习的数据质量（）1

ISO/IECCD5259‑1

7月23日人工智能分析和机器学习的数据质量（ML第3

ISO/IECCD5259‑3

7月23日人工智能的网络安全和标准化人工智能分析和机器学习的数据质量（ML第4

ISO/IECCD5259‑4

月23信息技术人工智能自动化人工智能系统的可控性

ISO/IECAWITS82007月23日信息技术人工智能AI系统生命周期流程

ISO/IECDIS5338

月23

ISO/IECDIS5339

8月23日

ISO/IEC空气质量指数TR17903

11月23日人工智能分析和机器学习的数据质量（）

ISO/IECCD5259‑2

月24信息技术人工智能机器学习模型和人工智能系统可解释性的目标和方法

ISO/IECAWITS62542024年2月信息技术人工智能分类和回归机器学习任务中不必要偏差的处理

ISO/IEC空气质量指数TS12791

月24

ISO/IEC空气质量指数TS29119‑11[1]

2月24日人工智能分析和机器学习的数据质量（信息技术人工智能人工智能系统透明度分类

ISO/IECAWIISO/IECAWI12792

225225

ISO/IECAWITS5471正在考虑中

ISO/IECDIS5392

正在开发中人工智能的网络安全和标准化CEN‑CENELEC21AITR，名 TS，EN

行动：采用/调整（ISO/IEC）–制定ISO/IEC22989:2022人工智能概念和术语

是 纳

2022720227

期系理期系理中

供息督性性供息督性性全系定XXXXXXXXXXXXXXXXXXXXXXISO/IEC23053:2022使用机器学习(ML)的人工智能(AI)系统框架是采纳ISO/IECCD5259‑1分析和机器学习(ML)的数据质量–是采纳第1部分：概述、术语和示例ISO/IEC9001:2015

是 2015 X XISO/IEC42001

是采用

2023年12月 X XISO/IEC27001:2022信息安全管理系统–要求ISO/IEC23894风险管理指引

是是 纳

2022 X X2023年12月x31人工智能的网络安全和标准化

风险目录与风险管理ISO/IECTR24029‑1风险目录与风险管理ISO/IECTR24029‑1神经网络鲁棒性的评估–第1部分：概述TR采用2022年12月XISO/IEC24029‑2神经网络鲁棒性的评估–是采纳2023年12月X第2部分：使用形式化方法的方法论

X X人工智能可信度表征

EN发展

？ X X X X X XISO/IECCD5259‑2(ML2ISO/IECCD5259‑3(ML

是 纳是 纳

XXISO/IECCD5259‑4(ML

是 纳

X人工智能的网络安全和标准化ETSITR，名 TS，EN

位（ ）DTR/MTS‑103910MTSAI

期系理中供息期系理中供息督性性全系定

2024年