赛迪译丛：人工智能战略合作

告。报告认为，人工智能技术的快速发展在带来巨大机遇的了单个国家难以独自应对的全球性挑战。报告系统分析了人际合作的四大障碍与三类目标，提出研究、标准制定、监测心职能，并通过17个国际组织的案例分析总结了实施经验。赛迪研究院科技与标准研究所对该报告进行了编译，期望对我国有关部摘要人工智能（AI）技术正在迅速发展，并可能深刻改变各国及其他行为体获取、保持和运用实力的方式。这些技术虽能带来显著益处，但也可能引发单个国家难以独自应对的挑战。各方在AI领域的互动，以及技术本身的不确定性，给政策制定者提出了难题：如何在推动AI创新、分享红利、维护国家利益的同时，有效管控风险？本报告探讨各方如何通过战略合作——即各国及跨国行为体为推进共同利益而协调行为的安排、规则、规范和流程——来促进有益AI发展并降低风险。通过考察现有国际组织是如何履行相关职责的，本报告确定了AI领域战略合作可以发挥的关键职能。这些职能不局限于任何特定制度形式，可以通过正式国际组织、多边或双边协议、临时联盟或公私合作机制来实现。本报告系统梳理了国际国内AI政策、负责任AI实验室建设与实践、可靠性标准制定、测试评估方法及国际竞争格局的相关文献，并查阅了国际关系学术成果及国际组织公开信息。同时邀请领域专家进行深度研讨。人工智能战略合作面临的四大潜在障碍包括：激励错位、深度不确定性、国家间的力量竞争以及无法做出可信承诺。通过战略合作，可以实现以下三类相互重叠的政策目标：提升对人工智能能力、影响和风险的理解；促进可靠人工智能的开发和使用，并管理高性能人工智能的扩散；减轻和应对人工智能相关的危害。在人工智能领域的有效战略合作中，四项关键职能很可能是必不可少的组成部分：研究、标准制定、监测和核查。此外，诸如制定规范、召集利益相关方、共享信息、预测和设定议程等辅助职能，则是实现核心职能的重要推动力。通过考察了17个现有国际组织履行这些核心职能的方式后，得出三点实施见解：•各项职能通常不会孤立执行；有效的合作通常涉及针对具体目标而精心设计的职能组合。•同一项职能在不同情境下，实施方式可能差异很大，这取决于具体问题、各方能接受的干预程度以及技术可行•即使职能设计得很完善，实施中也会遇到困难。为此，各组织采用了从能力建设到声誉压力等一系列机制来弥补设计与执行之间的差距。尽管AI技术发展轨迹仍存在不确定性，但现在启动政策讨论和规划至关重要。本报告提炼出一套适用于AI战略合作的核心职能，并展示其实际应用案例。这为构建新型合作机制奠定了基础——这类机制能够随着AI的发展而演进，并在不确定性中保持韧性，从而确保AI技术的研发和应用兼具可靠性、安全性和社会效益。人工智能技术的应用可能会改变主权国家及其他实体获取、保持和运用实力的方式。鉴于人工智能在几乎所有领域和行业都具有潜在的变革性效益，商业实体和国家行为体都在寻求加快人工智能的发展步伐，并试图在军事、经济及其他领域充分利用人工智能。在人工智能具有广泛变革潜力的同时，未来的人工智能技术也可能带来重大挑战和风险。这些可能包括以下方面：•滥用。人工智能可能被恶意行为者滥用，以实施大规模生物攻击；发动瘫痪性网络攻击；或在广泛范围内操纵、监视、控制或压迫人类。•失控。如果先进的人工智能无法按预期可靠运行，它可能会试图实现存在安全风险的目标。•替代效应。人工智能可能使经济领域的大部分环节实现自动化，从而导致大规模失业和社会动荡。•权力集中。对先进人工智能的控制权可能集中在少数主体（国家、企业、个人）手中，这可能导致地缘政治、经济、社会和政治权力不受制约地集中到一起。本报告中，使用“前沿人工智能”一词来指代那些具备广泛潜在影响（包括机遇与风险）的高度先进的基础模型。这些潜在影响具有全球性；单个国家无法确保取得积极成果。各国、企业、团体及个人所作出的选择，将对全球范围内的其他行为体产生影响。这些动态及其固有的不确定性，给政策制定者带来了一系列难题：他们应如何在推动人工智能创新、利用和分享人工智能带来的红利、维护国家利益的同时，有效管控相关风本报告将探讨国家行为体和非国家行为体如何通过战略合作（即国家及其他跨国行为体为推进共同利益而协调行为的安排、规则、规范和流程）来应对前沿人工智能相关挑战并促成积极成果。本报告着眼于国际机构，将其作为洞见来源，因为这些机构提供了经过实践检验的范例，展示了如何通过合作机制来应对复杂的全球性挑战。本报告旨在通过考察现有国际机构如何履行关键合作职能并据此进行推论，为人工智能政策讨论提供参考。具体而言，本报告试图了解：开展有意义的国际协调面临哪些主要障碍、如何克服这些障碍；能够实现哪些关键目标；哪些协作职能有助于推动这些目标；现有国际组织是如何履行这些职能的。为开展这项分析，研究团队查阅了关于人工智能政策、负责任开发实践、可靠性标准、测试评估及国际竞争的相关文献，并结合了国际关系学术研究及国际组织公开信息。本报告还征求了来自兰德公司及外部的领域专家意见，进行了非结构化的开放式讨论。研究过程中，我们梳理了43个国际组织履行的26项职能，并选取其中17个符合多边性、技术性、政治性和有效性标准的组织进行深入案例分析。本报告重点探讨通过战略国际合作来推进共同利益、降低前沿人工智能领域潜在风险的路径，该领域属于前文所述人工智能更广泛挑战与机遇格局中的重要组成部分。研究过程中虽选取了多领域真实案例进行分析，但未具体说明这些案例是否适用于人工智能应用场景及其具体适配方式。本研究聚焦国家间合作模式，未深入探讨私营企业、民间社会组织等其他利益相关方的重要作用。同时，本研究主要依赖文献综述和专家咨询，但并未进行访谈，也未收集与受访组织相关的其他非公开数据。第二章：ΛI战略合作的障碍国际合作对于应对先进人工智能可能带来的一些最重大风险至关重要。然而，鉴于这些技术在民用和军事领域可能带来的颠覆性影响，各国及其他行为体之间的合作与协调将并非易事。本章重点探讨在人工智能领域开展实质性国际协调所面临的障碍。一是激励错位。这种合作面临的主要障碍在于各国对激励机制的认知存在偏差。尽管在人工智能政策方面开展全球合作可能为各方带来更好的结果，但各国仍可能倾向于优先考虑战略或经济利益。这便形成了一个集体行动困境：国家利益与全球最优解产生分歧。各国可能认为先进的人工智能能力对其国家安全和经济竞争力至关重要，因此可能会得出结论：人工智能发展的预期收益大于长期风险。这种激励机制的错位可能导致全球发展陷入次优状态，即人工智能的发展和部署优先于对风险的管控。二是深度不确定性。本报告以及人工智能政策领域的大部分研究面临的一个重要限制是：人工智能的当前及未来发展轨迹，以及其对各领域乃至地缘政治力量平衡的影响，都存在极大的不确定性。我们目前尚未完全了解现有人工智能模型的能力，也不清楚其应用场景与潜在滥用风险。关于人工智能能力、其影响及相关风险的不确定性，以及关于可靠性与安全问题技术解决方案的不确定性，都使得各国在合作措施的必要性和适当范围上可能产生分歧。技术突变可能使现有协议迅速失效。三是国家间力量和影响力的竞争。主权、国家利益以及对地缘政治和经济影响的不确定性，也导致了激励机制的错位。人工智能对国家力量格局的影响存在高度不确定性。如果国家或企业认为存在先发优势，它们可能会因此受到激励，优先致力于率先研发和部署先进系统，而无需确保其可靠性或安全性。人工智能的双重用途性质进一步加剧了复杂性：相同的基础技术往往既可用于民用，也可用于军事目的。此外，由于各国在人工智能技术的优先事项、价值观和伦理准则方面缺乏共识，国际社会在该领域开展合作的能力进一步受到制约。四是无法就国际合作作出可信承诺。与辐射排放等具有明确物理特征的其他技术相比，人工智能的研发更难被监控。全球范围内的大部分前沿人工智能研发工作，都在私营实验室和数字环境中进行，这些场所都避开了外界的审查。尽管计算能力为监测和核查自愿承诺或国际标准的遵守情况提供了有前景的途径，但基于计算的方法仍需技术开发、行业合作和国际协调，目前尚未付诸实施。如果没有有效且持久的监测和核查机制，各国可能不愿参与合作，或者无法做出具有公信力的承诺，这可能导致合作破裂，或者使各方不愿达成有实质意义的协议。人工智能领域的国际合作面临着巨大的障碍，其根源在于深度不确定性、国家主权以及国家间竞争之间的复杂交织，以及各国无法就国际合作作出可信的承诺。各国可能难以就适当的政策达成一致，并可能倾向于将短期国家利益置于长期全球利益之上。然而，即使在当前存在诸多不确定性的政策环境中，仍可采取切实有效的措施来缓解潜在风险。第三章：AI战略合作的关键目标本章探讨在存在已知障碍的情况下，各国及其他行为体如何继续推进人工智能领域的战略合作。本报告归纳出以下三个通过国际协调可推动实现的目标。（一）提升对人工智能能力、影响及潜在风险的理解为了降低先进人工智能系统可能带来的风险，政策制定者和其他利益相关方需要全面、一致地认识这些系统的能力及相关挑战。这种共识既是有效政策应对的基础，也是建立信任的前提条构建这一共同基础需要涵盖广泛的信息，包括前沿模型的技术能力、前沿发展所需的投入要素与技术基础设施、相关资源的获取主体、新系统的开发机构以及未来的技术演进路径等。然而，信息收集与共享面临多重障碍：企业和政府可能出于维护技术优势的目的而保留信息；人工智能能力发展迅猛，导致评估结果迅速过时；前沿系统往往产生未被预见的“涌现特性”；目前尚无普遍接受的衡量或比较人工智能能力与风险的方法。国际协调有助于应对其中一些挑战。通过合作，可以拓宽数据获取渠道，为开展全面的能力评估和风险评估提供支持。通过建立共同的基准、报告惯例或技术评估协议，协调工作可以减少信息不对称。即使是规模有限的联合信息共享和标准制定工作，也能为日后更宏大的合作举措奠定基础。（二）促进可靠AI的开发和使用，并管理高性能AI的扩散为了促进可靠人工智能系统的开发和应用，政策制定者及其他利益相关方首先需要明确行动方向（即如何开发可靠的人工智能），然后激励相关方采取相应行动。国际协调对实现这两个目标都至关重要。实验室采用多种手段开发可靠的人工智能，包括测试、评估和人类反馈强化学习，但这些防护措施存在漏洞。即使具备了开发可靠人工智能的技术手段，企业之间及国家之间的竞争仍可能引发一场竞赛：可靠性被降为次要考量，以换取技术的快速进步。如果没有协调或其他干预措施，不可靠、不可信或存在风险的人工智能很可能被过度生产，而可靠的人工智能则很可能陷入生产不足的困境。协调机制可以改变这些激励机制，使个体行为者更容易、更有利地投资于可靠人工智能的开发与应用。在推动可靠人工智能开发和应用的同时，另一项重要任务是管控潜在有害人工智能的扩散。训练先进的人工智能需要大量资源，这限制了能够开发此类系统的参与者数量。然而，一旦模型开发完成，它便能被轻松地共享和传播。要管控这种扩散，就需要在访问控制和负责任的发布实践方面进行国际协调。若缺乏统一标准，某个司法管辖区的宽松规定或某家企业的信息披露，都可能破坏全球遏制风险的努力。当不良事件发生后，利益相关方必须采取措施减轻潜在危害并妥善应对后续影响。例如，开发人工智能的企业可构建技术防护机制，如紧急关机装置或系统隔离预案。风险缓解措施也可采取防御性策略，重点提升易受人工智能滥用影响的人员与系统的抗风险能力。虽然许多缓解措施可以在国内实施，但鉴于先进人工智能造成的许多最严重的危害可能具有跨境性质，因此及时有效地缓解和应对可能需要国际协调。协调可在以下几个方面发挥作用：恶意使用人工智能的影响可能迅速跨越国界；一个司法管辖区的事件可能对其他地区产生连锁影响；有效应对可能需要专业知识、高成本措施或稀缺资源，跨境协调使各国能够分担责任；各国在技术保障措施或法律权限方面的标准不一，可能导致事件应对时出现延误或混乱。本章确定了可通过国际合作推进的三个相互重叠的政策目标：提升对人工智能能力、影响和风险的理解；促进可靠人工智能的开发和使用，并管理高性能人工智能的扩散；减轻和应对人工智能相关的危害。第四章：AI战略合作的核心职能为了了解战略合作如何应对人工智能带来的潜在机遇与挑战，本报告考察了现有国际组织所承担的关键职能。我们首先查阅了与43个不同国际组织相关的公开资料，系统梳理了这些组织所采取的行动，确定了26项不同职能（见表4.1）。方决为（一）识别人工智能战略合作的核心职能尽管上述26项职能中的许多可能与人工智能领域的战略合作相关，但本报告重点关注了四项核心职能：研究、标准制定、监测和核查。这些职能在各种潜在未来情景中都具有相关性，且很可能成为任何人工智能国际合作的一部分（见表4.2）。•研究是理解技术、预测发展轨迹、评估风险以及制定应对措施的基础。•标准制定对于任何旨在统一规则、指南或行动的协作努力都至关重要。•监测能为各方提供关于其他行为体行动的信息，有助于消除不确定性。•核查对于任何旨在促使各方遵守规范、法律或标准的合作努力都必不可少。准施方面的标准准（二）人工智能战略合作的辅助职能除了四项核心职能外，还有五项辅助职能为核心职能提供支撑（见表4.3）。这些职能有助于核心职能的开展，很可能与核心职能同时进行。制定规范•通过鼓励广泛采用标准、遵守核查要求以及参与合作研究，支持核心职能•通过支持标准，促进公认行为规范的建立，并施加压力以确保依从性•将不合规行为视为对公认规范的背离，从而加强核查工作的合规性召集利益相关方•促进信息更新、知识交流以及对共同关切议题的讨论，以支持规范制定•促进合作，并就人工智能带来的机遇与挑战建立共识•有助于在各方之间建立信任，为开展监测与核查工作奠定基础•与所有核心职能相关•支持规范制定、标准确立、研究、监测和核查•可通过向研究人员提供有用的数据（例如关于安全措施的有效性或使用•可鼓励成员广泛分享有助于制定适当政策应对措施的信息预测•预测人工智能能力及风险的发展趋势，为研究重点、标准制定和监测工•确保合作举措在应对新兴风险及制定应对潜在挑战的主动措施方面保持•可能预测人工智能能力或可靠性指标可能发展的时间表•可通过明确哪些研究项目值得支持或哪些标准值得制定，从而帮助确定设定政策讨论议•引导利益相关方关注特定的机遇与挑战，并支持所有其他已确定的治理•决定哪些研究项目应优先推进，以及哪些标准应率先制定本报告认为对人工智能战略合作至关重要的各项核心职能——研究、标准制定、监测和核查——在各国际组织中的实施方式各不相同。了解这些职能如何履行以及如何与其他职能相结合，对设计人工智能合作项目的人士或许会有所裨益。第五章：执行AI战略合作的核心职能本章旨在了解现有国际组织如何履行第四章所确定的四项核心职能。本报告基于17个国际组织的案例分析，协助利益相关方探讨人工智能领域的战略合作可能采取的形式及其作用。本报告筛选了符合以下四项标准的组织：多边参与性（三个或以上政府间或公私合作安排）、技术性（处理具有显著技术含量的议题）、政治性（具有地缘政治意义）、有效性（普遍认为在履行职责方面有效），并且列出了按核心职能分类的17个组（二）人工智能战略合作的核心职能 1、开展或支持研究 研究（即信息的收集、分析和解读）有时是国际组织的核心职能，有时则是支撑主要使命的众多职能之一。 在内部开展研究。部分组织通过内部人员和资源建立研究能力。专家团队在工业合作伙伴和成员国资金支持下开展前沿实验，通常与访问学者或外部学术合作伙伴合作进行。研究成果以报告、论文等形式发布。通过提供设施或资金支持研究工作。一些组织通过提供资源（如设施、资金、数据访问权限）来支持外部研究。具体方式包括直接资助机制（研究经费、差旅补贴等）、向学术界开放数据、开放大型设施，以及协调志愿者和外部研究人员共同探讨主题。提升能力。许多从事科研工作的国际组织提供培训和教育机会，旨在提升科学界能力并培养新一代专家。形式包括面向发展中国家的奖学金、暑期项目、进修班、借调交流等。召集学术研究人员，传播最新研究成果。国际组织将研究成果传播给更广泛的学术界或公众，例如在期刊上发表论文，定期举办会议和研讨会，传播最新研究成果和政策指导，并为政策制定者举办宣传会议。这些活动构成了国际组织开展和支持研究工作的核心。组织内部和外部的诸多因素（如政治环境）可能影响研究的质量、认知和实用价值。2、制定标准标准文件通常以技术细节为基础，系统阐述最佳实践规范或行为准则。标准具有自愿性且不具强制约束力（除非被纳入法律法规）。在国际合作中，标准发挥着多重作用：建立共同语言和行为体系、推动规范的制定、为评估合规性提供依据、促进以研究为导向的政策实践。建立标准研究和技术专长体系。组织召集专家共同制定标准，采用基于共识的程序确保专家对标准的信任。发布标准。专家达成共识且管理机构批准后，将标准传达给更广泛受众。发布可定期或临时进行。协助标准的实施。组织可能提供培训、教育以促进标准的采纳和实施，包括制定实施指南和最佳实践。推动将标准纳入法律。标准本身是自愿遵守的，但一旦被法律采纳，就变成了强制要求。许多标准被引用或纳入法规。核查、认证并监督标准的实施。部分组织对符合标准的机构或个人进行认证，开展同行评审，并通过黑名单或灰名单公开谴责未能遵守标准的机构或国家。评估和修订标准。标准被采纳后，组织评估其有效性并进行必要修订，例如定期进行系统性审查以确定是否需要更新。这些举措有助于实现推动技术应用的最终目标。标准的有效实施不仅取决于制定，更取决于规范的建立与传播。3、监测监测是“系统性地追踪机构、组织或政府部门活动和行动的过程”。国际组织出于多种原因进行监测，包括跟踪进展、收集行政数据、追踪规范和法律遵守情况。不同组织在监督的风格和实践上可能存在差异。“警察巡逻式监督”是积极、集中的持续监测，排查异常信号；“消防警报监督”则建立举报机制，根据报警信号响应。两种模式并非互斥。核查。监测数据可用于判断各方是否遵守法律、条约、标准或规范。为核查提供数据。对违规行为施加处罚。组织可能根据监测和核查结果对违规行为实施处罚，如将制度薄弱国家列入黑名单，以震慑违规者并促使其他国家限制经济往来。共享信息。组织向公众或利益相关方发布监测数据，以便进行分析。预测。通过监测数据和活动，组织能够了解当前问题并预测未来发展趋势，如预警新风险并提供投资建议。核查的核心目标是评估各方、各项主张及其对法律法规、条约、标准或规范的遵守程度。监测收集信息，而核查利用这些信息确定准确性或合规性。核查可能更具侵入性，但并非必然。核查机制在国际合作中发挥重要作用。核查能够促进集体行动，确立信息对等的最低标准，使各方基于共同信息进行协调， 并防止信息不对称。核查还能为成员国提供外部专业知识和支持，助其自我评估。各组织在开展核查工作时通常承担以下职能。就核查参数进行协商。成员必须就核查参数达成一致，如保障监督协定或监测站点运行协定。制定评估标准遵守情况的方法和技术。改进信息分析方法以准确判断是否违规，如编制操作手册、开发科学技术方法。在各项职责之间分配核查资源。资源有限，需平衡遗漏事件的后果与虚假警报的风险。可采用统计抽样法。加强各方在核查过程中的合作能力。国际组织协助无力独立实施核查的国家，如举办培训课程、提供指导。收集和整理与成员活动相关的信息。通过定期检查、审计、不引人注目的监测站或现场检查收集信息。认证符合标准的主体，或将不合规者列入黑名单。发布核查程序的结果。向领导层、成员、被评估方或公众公布结果，信息披露程度因对象和内容而异。（三）人工智能战略合作的辅助职能在履行核心职能的同时，国际组织通常还承担一系列辅助职能，为核心职能提供支撑。制定规范。组织通过召开国际会议、提供评估服务等方式，敦促各方改善行为规范。虽然难以惩罚违规者，但可通过声誉机制（如剥夺投票权、点名批评）维护规范。召集成员或利益相关方。定期召开全体会议或专题会议，召集政府机构、研究机构官员及专家参与讨论，建立共识。也可召集外部专家或政策制定者共同商讨标准，并征求公众意见。促进信息共享。组织采取措施促进成员国共享各自数据，例如通过数据收集网络推动疾病检测、监控和应对相关数据的共享，帮助各方采取一致行动。支持性预测。组织向成员国提供资源、数据或分析工具，以支持预测工作。部分组织自行制作预测报告，部分则提供工具供成员自行预测，如物资需求估算工具。设定政策制定议程。组织通过发布评估报告、传播研究成引导政策讨论关注重要议题，为成员国决策者提供应对挑战的选本章探讨了17个国际组织如何履行研究、标准制定、监测和核查这四项核心职能。通过分析，可以看出以下几种模式。各项职能通常不会孤立执行。研究为标准制定提供依据；监测为核查提供数据；规范建设为标准推广创造条件。有效的合作通常涉及根据具体目标有针对性地组合各项职能。同一项职能的实施方式存在显著差异。核查工作涵盖范围很广，从持续的远程监测到定期的现场核查，再到同行评审和公开披露。具体方法取决于核查对象、各方可接受的干预程度以及检测的技术可行性。 即便是设计精良的机制也会面临实施挑战。标准只有在各方采纳时才具有意义；监测只有在数据能为决策提供支撑时才有效；核查只有在违规行为招致后果时才能起到遏制作用。本报告所研究的组织已制定了一系列机制——从能力建设到声誉压力——以弥合机制设计与有效实施之间的差距。 这些案例并非可直接照搬用于人工智能合作的模板。人工智能的技术特性、产业结构及地缘政治动态与其他领域存在差异。 尽管如此，这些组织的经验仍为思考人工智能战略合作的架构设计及可能遇到的陷阱提供了参考依据。第六章：结论人工智能领域的战略合作已不再是纸上谈兵。布莱切利、首尔和巴黎峰会已将各国政府与人工智能开发者汇聚一堂；多国已成立人工智能安全研究所；自愿承诺与监管框架也正陆续出台。问题不再是战略合作能否实现，而在于其设计是否周密——即是否以明确的目标为基础，通过有效的机制加以落实，并能否灵活适应人工智能能力与风险的变化。本报告为应对这一设计挑战提供了一个思考框架。报告并未提出具体的体制模式，而是确定了四项核心职能——研究、标准制定、监测和核查——这些职能在各种未来情景中都可能具有现实意义，并能推动实现关键目标：加深对人工智能能力和风险的理解；在管控扩散的同时促进可靠的人工智能发展；以及做好准备以减轻和应对危害。本报告通过考察17个现有国际组织如何履行这些职能，试图提炼出执行层面的实用见解。各组织在核查工作中如何平衡干预与合作？如何将标准转化为实际应用？如何设计研究框架，使其既能为政策提供依据，又不被政治压力所左右？虽然不