将人工智能安全视为全球公共产品：影响、挑战与研究优先项（中文）

影响、挑战与研究优先项FadiSalem，MohammedbinRas作者感谢IreneSolaiman、MohanKankanhalli和NateSharadin对本报2将人工智能安全视为全球公共产品：影响、挑4将人工智能安全视为全球公共产品：影响、ExecutiveSummary9Introduction11IdentifyingDefinitionalPublicGoodsintheAIRealm16Applyingthe“GlobalPublicGood”FramingtoAISafety23ResearchAgenda:GlobalPublicGoodsandAdvancedAI30AppendixA:StatementsonAISafetyasaGlobalPublicGood35PartnerOrganizations416将人工智能安全视为全球公共产品安全开发和部署已成为我们这个时代最紧迫的治理挑战之一能系统已经在特定领域产生了重大影响，但先进的人工智能我改进和解决一般问题的能力从根本上改变生活，使其发展借鉴气候变化、核安全和全球卫生治理的经验教训，本分析探讨了应用“公共产品”益物”是一种人人都可获得的商品，可以在不减少他人可获得本文分析了全球公共利益文献框架和新兴的人工智能治不能削弱领先的人工智能开发者和国家的责任，这些力和杠杆来确保安全发展。然而，发展前沿人工智能地方创造的人工智能的国家之间的巨大差距引发了国7一些关键的人工智能安全措施甚至可能需要了共享安全进步（一方面）和限制具有风险这项分析不是倡导具体的政策措施，而是促进了我们对集人工智能安全挑战的理解，同时促进公平和保持明确的人工智能能力的快速发展引发了对其潜在利益的热情，集体挑战的虽然人工智能技术可以帮助解决医疗保健、气候的全球挑战，但它们也带来了风险，从对算法偏见和隐私的当代担忧安全的基本问题。这些机遇和挑战在不同地区和社区可能会有不些国家推动了人工智能发展的前沿，而另一些国家则在努力[1]参见Hruby、Jill和M.尼娜·米勒。“评估和管理人工智能在核武器系统中的好处和风险。核威胁倡议，2021年。/stable/resrep40076。作者：Moore，PhoebeV.“奥什和工作的未来：理。人体和运动，编辑文森特G。达菲，11581：292-315。Cham：SpringerInternationalPublishing，.1007/978-3-030-22216-1_22.';奥玛图纳、多纳尔和罗恩·伊福芬。“自动化司法：人工智能及其算法在司法和执法中的使用问题，好处和风险。伦理，诚信和决策：案例研究的价值。研究伦理论坛Ser，v.第九章Cham：SpringerInternationalPublishingAG，2022。3Kordzadeh，Nima，andMaryamGhasemaghaei.”《明史》（卷112）：“明史，考。欧洲信息系统杂志31，没有。3（2022年5月4日）：388-409。/10.108）：9地方、区域和全球范围的挑战。快速的技术进步和集体行动这样的问题：从主要人工智能大国到新兴经济体，不同的协调人工智能开发、部署和风险管理的方法此外，人工智最近的国际对话探讨了集体行动和公共产品的框架，），于人工智能值得认真考虑。这些讨论探讨了人工智能开发、部署如何被理解为从地方到全球的各种规模的公共产品。从公益角度础设施发展等关键领域的投资不足，以及在协调能力和优先事项益攸关方的行动将人工智能安全视为全球公共产品意味着确保人知识，措施和实践是普遍可访问的，非排他性的，并且对所有人迄今为止，在世界各地关于人工智能和治理的讨论中，已公共卫生和可持续发展等领域的集体挑战方面。[为人类提供非竞争性（一个国家的拥有不会减少另一个（一个国家不能阻止其他国家拥有它）的利府在2025年1月限制国际人工智能技术转让的行政命令，全球公共产品的观点7与此相关的是，人工智能系统的能力水们对其开发和部署所带来的集体挑战的担忧。其中一些挑战6Truby，Jon.“治理人工智能，使联合国可持续发展目开发28号，不。4（2020年7月）：946-59。https://doi.o/briefing-room/presidential-actions/2025/01/14/executive-order-on-advancunited-states-leadership-in-artificial-intelligence-infrastruct8Chowdhury，Rumman.“人工智能迫切需要全球监督。Wired./story/ai-desperately-needs-10将人工智能安全视为全球公共产品：人工智能系统的负面外部性--本身就可能构成本文探讨了公共产品框架如何为人工智能相关风险和外部了全球公共产品框架的理论基础及其实际意义。该分析考虑了探讨了这些框架如何有助于解决人工智能发展的差异，同时确与。我们不主张采取具体的政策措施，而是寻求制定一个研究“全球公益物”的概念已成为现代经济学和政策讨论中的一个强有力的分析框架[10]要理解这一框架在人工智能发达的世界中的潜在应用，全球公共产品不同于传统的公共产品，它在全球范围内提供利益，但具有相同的 /10.48550/ARXIV.1606.010主要作品包括：保罗A.萨缪尔森，“公共支出的纯理论”，经济学和统计学评论tics36（November1954）：387-89;andidem，“ADiagramExpenditure，”ReviewofEconomicsandStatistics37（November1955）：350-奥尔森，曼库尔。集体行动的逻辑：公共物品与群体理论。北京：北京大学出版社./10.4159/9780674041660的网站。12/doi/full/10.1080/17487870.2023.22定的气候、消灭疾病和发生世界规模战争的低风险-这些利益由于人工智能的预期全球影响和相关的全球协调挑战，本文将场可能提供的人工智能安全性不足，因为它的好处是公共产品获取，而安全措施的成本是私人的，直接影响他们的底线。供其他全球公益物背景下观察到的典型搭便车动态个体行为者是研究机构--可能会在安全措施上投资不足，因为他们知全投资中获益，而不必承担成本。考虑到安全措施不足可能造危害，当多个行为体采用这种方法时，对安全的集体投资会低全球公共产品概念强调如何应对跨国挑战才能与国家利益和可能会激励政府投入自己的资源，并就市场往往提供不足作--例如在气候变化和COVID-19的情况下，尽管化石燃料仍占主导地位，而关键的医疗用品和公平的疫斯德哥尔摩：全球公益物国际工作队，2006年。https：///sites/default/files/[14]考尔、英格和唐纳德·布隆丹。“全球公益物与联合国”。《全球治理与发展》，何塞·安东尼奥·奥坎波编辑政策对话系列倡议Oxford：OxfordUnive15考尔岛“全球公共产品：解释其供应不足。《12将人工智能安全视为全球公共产品：时表明不协调的行动不太可能产生预期结果，资源、能力和激励措施以提供公益物和利益的行为者，献或参与情况如何17-在这些方面，追求自身利益仍可能带来全球利种框架可能会影响大国如何对待人工智能安全：它们可共产品做出贡献，即使是在独立行事的情况下，例如通务于其利益的标准，同时保持其技术优势。与此同时，协调的决策仍可能通过竞争性互动引发进一步的竞争态一个关键问题出现了：哪些要素需要作为全球公空气和气候稳定是环境治理的基本全球公共产品一马祖卡托街16号，玛丽安娜。“治理共同利益的经济学：从纠正市场失灵到塑造集体目标。经济政策改革杂志27，不。1（2024年1月2日）：1-24。/10.1080/17487870.2023.2280969.清洁空气、疾病控制和消除跨国冲突等既定的全球公益物已成基础随着人工智能系统变得越来越强大和普遍，我们是否必须的类似基本商品这个问题既涉及人工智能作为公共产品的潜力部署所带来理解这些要素需要分析人工智能发展和安全的不同就会激发对空气污染和流行病的集体反应。然而，多个会议或对进人工智能的背景下，在技术，社会和治理方面了核心全球公益物、相应的社会需求、全球公益物的特点以及物的补充工具这将有助于我们在下一节中将全球公共利益框层面上激励气候变化减缓效应的有效性跨学科人文与传播研究1，没有。4（2024年1月3日）。/10.61173/cdk21542和Jesus，LeslieA.“对权力说好话：通过规范框架重新定位全球政策建）：14将人工智能安全视为全球公共产品：乘以在人工智能发展中确定基本公共产品的复杂性反映在不同的国不相同，有的强调安全议定书和核查机制是潜在的非竞争性来处理基本公共产品问题。它将安全议定书和这种框架强调安全措施一旦制定，理论上可以使所有人点，将科学知识本身确定为基本公共利益。这种方法能力、机遇和风险的集体理解构成了一种共享资源，种资源变得更有价值，类似于医学知识在全球卫生框用本身视为基本公共产品。这种方法突出表明，核安可以通过跨界政策学习和协调提供非竞争性的好处采取了最广泛的观点，确定了人工智能背景下多个相互Mila'sYoongeBengio，AlondraDeclaration.Mila'sYoongeBengio，AlondraNelsonandManyOtheDeclaration.Mila'sYoongeBengio，AlondraNelsonandManyOtheDeclaration.Mila'sYoonge蒙特利尔学习算法研究所，2024年9https://mila.quebec/en/news/milas-yoshua-bengio-alondra-nelson-and-many-other-ai-experts-put-forward-the-ma0Commons.pdf。23联合国。人类治理人工智能：最终报告。New/sites//files/governing_ai_for_humanity_final_re16将人工智能安全视为全球公共产品：价值，但对这些不同概念化的深入分析为国内实验室、州政地理解人工智能与全球公共产品之间的关系提供了重要见解因此开发的框架应用于这些现有的关于人工智能和全球公共产品与同行评审员讨论的其他框架在下表中，我们探索了从先进征以及支持工具、资源和流程中概念化全球公别变得尤为突出。将人工智能安全理解为一种全球公共产品，对安全措施投资不足时发生的特定市场和协调失败，这些措施直接控制。例如，虽然一个强大的人工智能安从技术标准到治理框架，这些工具和资源本身可能是排析有助于解释为什么人工智能安全作为全球公共产品的与享构值人类机构（b）（b）;AI应用程序的好（b）(a)1）本表综合了人工智能/人工智能安全作为全球公共产品的不同概念，来自国际声明，研讨会讨论和学术分析。2）每一种框架都强调什么是核心普遍善的不同方面，以及它如何表现出公共善的特征。3）“全球公益物推进工具”一栏确定了实施每一框架的具体机制4）18将人工智能安全视为全球公共产品：这些不同的全球公共产品概念化表明，与其寻求一个先进的一类似物来传递类似于其他领域的全球公共产品（如“清的信息，以激励公共行动，公共产品和工具的多个互本的公共产品，类似于清洁的空气或稳定的气候。和安全协议可以广泛共享，而不会失去价值。然而公地是人类创造的，需要积极维护。此外，提高人性的技术措施往往与增强能力的技术工具和措施密这些具体措施在国家间竞争和国家一级对先进技景下具有非排他性的特点然而，这并不一定开放式和专有式安全方法之间的紧张关系反映了在工具和资源类别，以促进提供人工智能安全的核心生中的医学知识这些知识随着更广泛的参与而变得和公平的挑战;发展和应用这些知识所需的专门知识平或预防疾病的国际框架。在人工智能安全方面，安全的最佳实践这些组织框架可以在不同的情况下进行调整其有效性。然而，有效实施这些做法所需的专业知识和这种分层的理解有助于解释为什么人工智能开发的某些方面术优势，尽管共享这些工具有助于使每个人都更安全这也说声明强调公益物框架的不同方面这些多个维度表明，将人工特色虽然人工智能安全的一些要素表现出明显的非竞争性和要素的其他框架或工具可能与可排除的能力或竞争性资源有非竞争性、非排他性的资源，随着更广泛的此外，开发共享安全框架和评估工具可以提供普遍效益-20将人工智能安全视为全球公共产品：影响、挑战和研究重点但结合多种观点可以帮助建立集体行动的明确焦点这种分析并不于哪种框架是最好的明确意见，甚至不是要确定一些应该考虑的与人工智能安全相关的某些知识、能力和资源领征，这表明人工智能安全可能被视为一种全球公共产品。在基础上，本节评估了全球公共产品概念如何具体应用于人工智能智能系统发生事故，滥用或其他有害后果的措施和机制虽然不“人工智能安全”有不同的解释，但本分析侧重于确保人工智能系统安全可靠运行的具体措施，从防止直接伤害（如系统性偏见和侵才）既具有竞争性又具有排他性，但通过安全研究产生的安全出明确的公共利益特征。人工智能安全的非排他性主要体现在关风险的内在全球性安全措施一旦制定和实施，其保护效益自范围或创建这些措施的实体之外。例如，可解释性技术或鲁棒产生知识，虽然它可能会通过知识产权保护暂时受到限制，但开放获取预印本和开放源代码创新历来是规范）。这一动公益物类似，在这些公益物中，保护措施的理论基础必须根据复杂的执行挑战和政治现实来权衡该框架促体行动合理性的潜力。本节探讨了全球公共产品框架如何在不探讨了责任分配中的主要矛盾，并分析了可能影响其作为治理确保人工智能安全的方法，同时驾驭国际合作和国家利核安全、航空和食品安全的历史例子表明，公共产品例如，核安全主要是通过国家监管框架发展起来的，三里岛这些历史模式为人工智能安全治理提供了重要见解虽然先解决这些局部风险的措施往往有助于减轻更广泛的全球风险，的途径，即国家和区域安全框架可以成为国际治理的基石这术治理的历史模式，在这种模式下，公共产品框架在扩大到此外，这种“地方优先”的办法意味着，决策者可以利用现有在问题立即被定为全球挑战时可能出现的责任淡化。在人工智产品的渐进方法可以帮助弥合具有重要人工智能开发能力的国工智能影响的国家之间的差距，同时在各级治理不同类型的全球公益物为解决激励措施方面的挑战提并非所有这些途径都适用于每一种全球公益物。这一细分揭示全领域的不同组成部分如何与作为整个战略一部分24Waler24Waler，J.撒母耳三哩岛：历史上的核危机伯克利：加州大学出版社，2004年.26牧师，W。柯蒂斯风险，关注和社会立法：导致健康，安全和环境华盛顿/10.4324/978022将人工智能安全视为全球公共产品：影响、挑战和研究重点现足够广泛和深入的目标。在人工智能安全方面，这可评估标准来体现，类似于气溶胶/抗氯氟烃法规需要生产国参与为了使这种方法取得成功，政策制定者必须建立明泛参与其制定和实施，特别是避免“监管飞行”：人工智能安全，这意味着优先考虑人工智能开发或部署的所有能力和监控系统。该方法认识到，任何地方不安全的所有人带来风险，这类似于疾病控制需要全面的全球可以使所有利益相关者受益。在人工智能安全方面，这方法或鲁棒性技术等领域的根本性进步，这些技术一旦实施。这种方法表明，我们应该将资源集中在关键的技办法的选择和组合应反映技术现实和政治可行性将人工智能安全视为全球公共产品需要仔细研究实际的政治影响前的地缘政治动态和类似框架的历史在全球公益物框架中，集间出现了一种中心紧张关系。在当前的话语中，人工智能安全先进人工智能组织和领先国家的责任，这为这些行为者采取直道德论据。另一方面，全球公益物框架有可能削弱这种重点明战体现在安全投资中个人利益和集体利益的不一致。虽然所有强有力的人工智能安全措施，但个别参与者可能缺乏足够的动别是当安全进步可能在全球范围内共享而开发成本仍然存在时 ShaharAvin等人，“FrontierAIRegulation：ManagingEmergingRiskstoP 在这种情况下，个别国家可能不愿承担有利于所有国家的减排AI安全工作和能力增强的纠缠。在面对根深蒂固的国家利益、不平等的权力动态和巨大的财政原因是国家利益不同，技术能力各异，缺乏针对新兴技术州也可能不愿意在人工智能安全措施上投入大量资金，因可能会将这些资源用于开发攻击性人工智能能力或经济优势，家治理机制。[29]这种抵制体现在关于资源分配的复杂辩论中，对搭便车行为的担忧。执行方面的挑战使情况进一步复杂化，此外，对气候变化治理的后殖民主义批评表明，看似中立复杂的经济和规范控制机制发挥作用。30“全球公益物”这有的地缘政治等级制度，尽管其意图是促进集体责任，例如引这一术语，强制对不平等造成的问题承担统一责任，或颁）：///sites/default/files/files/Gl[30]RileyE.编辑的ClimateChangeandSociety：SociologicalPerspectives中总结了这种基于正义分析全球公共产品提供的不同负担（在气候变化案J.Brulle说：“如果考虑到历史责任，全球北方国家消耗了三倍多的大气份额（就我们可以安全地排放到大气中的排放量而言），而世界上最贫穷的10%人口贡献了不到1%的二氧化碳排放量。[...[然而，]全球南方和有色人种，土著社区，穷人，以及所有国家的妇女和儿童恰恰是在生态，经济和健康负担方面首当其冲的气候破坏人口。[...全球南方的许多政府强烈地感觉到，他们已经为气候变化付出了更大的代价，或者随着影响的恶化，他们可能会付出代价，而获得的好处却很少邓拉普，莱利E.，RobertJ.Brulle，andAmericanSociologicalAssociation，eds.气候变化与社会：社会学视角。NewYork，NY：OxfordUniversityPress，[31]参见，例如，这篇对《巴黎协定》进程的长篇剖析，以24将人工智能安全视为全球公共产品：影响、挑战和研究重点框架包括核心概念的重点如何旨在仅在私营部门激励措施不足失灵问题，这将把国家的作用限制在市场促进者而不是提供这种动态与人工智能安全特别相关，因为人工智能开发能力场失败的条件下构建人工智能安全，而不是使用更基于权利的虽然发展中国家需要被纳入安全治理结构，但他们可能会对安担忧，这些安全要求可能会限制或减缓对人工智能或人工智能取。33.安全措施可能减缓技术进步的看法构成了一个特别的挑战，中国家而言，这与气候变化谈判期间提出的关切相似，发展中经济增长，导致了《联合国气候变化框架公约》中的“共同但然一些批评人士指出，安全人工智能对所有经济体的潜在变配问题，但发展中国家可能无法证明忽视分配问题的理由，能开发和安全框架中的直接代表，他们可能会被排除在短期性影响到整个国际社会。这种能力和影响力的差异为国际杂的动态，突出了将能力建设和知识转让机制纳入任何全在考虑到公私关系时，全球公益框架也可能无意中阻碍私营推动减少具有法律约束力的行动和减缓形式以及内部透明度措施，这些措施对于在短期内更容易受到全球环境政策16，没有。3（2016年）：[32]关于这一批评的更多内容，参见：Sa）：人工智能规则制定的这种全球差异意味着该技术的发展道路将追踪富裕国家的国家，商业和社会利益，有时会损害全球南方权力较小和资源较少的社会如果没有更大的发言权和更多的人工智能决策能力，这些人群更有可能面临人工智能风险，并被剥夺人工智能的好处。出发地：LaForge，Gordon。https://techpolicy.press/the-dangers-of-imposing-global-north-approaches-to-ai-governance-on-the-global-south.预计将分享预付款，同时承担开发成本。这可能会加剧研究机构更难证明集中安全努力的因此，该框架需要解决如总的来说，鉴于这些政治现实，人工智能安全可能需要一种方法，该方法建立在地方，区域和全球层面方面，同时开发在这些层面上共同拥有的可扩展治理机制能力的出现，这也要求行为体保持紧迫感，因为在部署后可能要困难得多这一方法应能促进各区域的能力建设，使最佳做法，同时建立包容性的治理结构。体制设计的创新是，要制定新的协调做法，建立尊重不同国家优先事项将人工智能安全视为全球公共产品的一个根本挑战还在于人工智和能力发展之间安全措施往往需要复杂的技术能力才能有效所说的“安全-能力悖论”。这种相互联系使得难以在不同时实能力改进的情况下推进安全措施。例如，模型可解释性的改监督，并实现更复杂（和更危险）的人工智能应用。这种动步的同时管理能力扩散问题的努力变得复杂。因此，“安全清洗基于安全的语言来描述能力的进步，导致对实际采取的步区分安全工作与能力增强研究的挑战使这一情况进一步复杂化。人工智能安全工 etal.“Safety-washing：DoAISafetyBenchmarksActuallyMeasur26将人工智能安全视为全球公共产品：影响、挑战和研究重点这种纠缠为实施全球公共产品框架带来了实际挑战，因为而发展中国家可能会将安全要求视为其自身人工智能发展部署的速度可以提供有竞争力的经济利益，而不是自愿专注于前一种担忧有时可以被先进的人工智能发展中国家争，可以作为安全企业家工作，尽管目前拥有最先进人工实际的政治环境提出了几种替代或补充的方式来安全重要性的国家安全框架可以增加关注和资源分配，但可能范围，并使国际合作复杂化。区域合作具有优势，因为不同区理结构的基础上更进一步，从而可以逐步开展国际协调。公众个重要方面，与气候变化倡导的成功方面平行。建立对人工智解可以为政治行动创造压力，并有助于建立全球治理框架的合方法需要谨慎的平衡，以避免过度简化复杂的技术问题或1.仔细描述安全工作的各个方面--例如可解释性工具、鲁棒性测试框架和性披露协议，保护敏感的技术细节，同时仍然允许相匹配：如果没有国际协调就无法完成安全组成部分，那么将中在具体个别公司的行动上就会浪费;或者，如果安全组效实施，那么也会浪费时间和资源来制定有关国际协议成功可本文研究了人工智能安全作为全球公共产品的概念，分析性。通过对最近的国际声明、理论框架和新出现的治理挑战个关键主题首先，虽然全球公共利益框架为解决人工智能发供了宝贵的视角其次，人工智能能力的不断发展意味着我们的理解必须保持动态和响应性。第三，现有的国际框架和机整，或者可能需要开发全新的机制，以有效地将人工智能安这一分析表明，需要一个强有力的研究议程，为今后的治在这一早期阶段倡导采取具体的政策措施这一议程必须解决当人工智能世界中公共产品性质的长期理论问题下面，我们概述28将人工智能安全视为全球公共产品：影响、挑战和研究重点），•人工智能安全标准和治理框架在多大程度上可以被视为公共产品？它们的执•如何促进有意义的公共辩论和投入，同时承认主要参与开发先进人工智能的•不同的利益相关者如何解释和应对不同文化和政治背景下的人工智能安全的“全球公共利益”的意愿这在政府机构、国际组织、行业领导者和民间•不同的文化和政治背景如何影响不同的利益相关者如何解释和回应“全球公共“安全清洗”或以能力为导向的工作？30将人工智能安全视为全球公共产品：影响、挑战和险确保人工智能安全的挑战是我们这个时代最重大的治理挑战研究和讨论的关键领域，但成功将需要跨学科、跨部门和跨要对治理进行新的思考，新的国际合作形式，以及平衡相互方法此外，人工智能发展的加速往往要求在充分的经验验证时也要求从一开始就进行治理和安全，因为一旦部署了先进上文概述的研究议程并非详尽无遗，而是代表了重点调设计提供信息的优先领域随着人工智能能力的不断发展，解决在增加。要取得进展，需要理论上的洞察力和实际的实验，再这就要求将人工智能安全不仅仅视为技术挑战，而是作为32将人工智能安全视为全球公共产品：影响、挑战和本附录审查了通过全球公共产品框架解决人工智能治理的明在处理国际合作问题方面有一些共同点，但在主要重点、概机制方面却有很大不同理解这些区别对于制定有效的国际人工智能安全作为一种全球公共产品的概念在国际论科学家，包括图灵奖获得者YoongeBengio，AndrewYao和（现在也是诺贝尔奖获得者）GeoffreyHinton。他们最近在威尼斯举行的会议（2生了一份共识声明，强调迫切需要在人工智能安全方出了具体建议，例