当ai接管ai研发智能爆炸及其应对措施

FrontierAIWorkingPaperSeriesNo.2/2026译者：ZilanQian第1页，共13页当第1页，共13页当AI接管AI研发：智能爆炸及其应对措施ChristophWinter剑桥大学AI科学与政策项目（CASP法律与人工智能研究所（InstituteforAndrewBarto马萨诸塞大学阿默斯特分校DawnSong加利福尼亚大学伯克利分校JackClarkAntonKorinek弗吉尼亚大学；AnthropicSamuelHammond美国创新基金会（FoundationforAmericanInThoreGraepelSheilaA.McIlraith多伦多大学；VectorInsSamManningGovAI；美国创新基金会GirishSastryDanielEthAI政策研究所（AIPolicyInstitute）SörenMindermann*剑桥大学AI科学与政策项目（CASP）摘要与一年前相比，人工智能（AI）在自身研发中的作用已大不相同：如今，开发AI的公司内部，大部分代码已由AI系统编写。随着AI研究与开发（R&D，以下简称“研发”）流程中越来越多的环节实现自动化，AI进步是否可能急剧加速，引发一场“智能爆炸”，将原本需要数年才能取得的进展压缩到数月甚至更短？初步证据表明，这种可能性确实存在。本文评估相关证据，分析智能爆炸的潜在影响，并提出政策应对措施。按目前的趋势，AI系统有望在几年内将大部分AI研发工作自动化，甚至可能将其全部自动化。如果这一趋势引发智能爆炸，AI的益处可能提前到来，但随之而来的也可能是极端风险：AI能力的增长速度可能远超社会所能适应的程度，人类可能无法继续控制那些能力已超越自身的AI系统，国家、公司、政府各部门内部及相互之间的权力制衡也可能遭到严重削弱。尽管这些可能性仍存在很大不确定性，但鉴于其影响重大，值得进一步认真关注。政策制定者应当尽快掌握AI研发自动化的进展，制定引导和约束智能爆炸的方法，并为智能爆炸对社会的影响做好准备工作。*通讯作者：alan.chan@governance.ai；soren.mindermann@casp.ac。本文所述观点属于作者，不一定代表其所属机构的观点。第2页，共13页当第2页，共13页有一天会设计出更优秀的后继系统，使这些系统在数量、速度和能力上迅速超越人类[1–自动化[4,5]。以占美国国内生产总值（GDP）的比重衡量，这些公司的资本投入已超过曼哈顿计划与阿波罗计划之和[6]。译者注A如果这些公司成功实现AI研发自动化，会发生什是指在AI自身的推动下，AI技术进步的速度急剧加快，使得原本需要数年才能取得的进展，在数月甚至更短时间内就能实现。本文关注的核心问题是：这种现象是否可能发生？过去几年，AI进步虽然迅速，但速度总体相对稳定；而智能爆炸所带来的加速则意味着一次质变。指用于开发和运行AI系统的计算硬件在质量和数量上的提升，也就是算力的提升。软件进步，则是对AI研发所用的数据、算法、代码和流程的改进，包括在现有硬件上更高效地训练和推理[7–9]、改善研究管理与运作、提供更优质的合成数据和训练环境[10,11]，以及提出新的AI范式[12,13]。优先事项1·掌握AI研发自动化的情况优先事项2·制定引导和约束智能爆炸的方法对齐与控制研发对齐与控制研发有益的AI应用有益的AI应用构建自动化构建自动化AI研发的规模化扩展国际动态国际动态保持调整保持调整AI进步速度的选择权优先事项3·做好适应智能爆炸的准备非国家行为者的滥用提高韧性以抵御非国家行为者的滥用机构响应速度加快机构响应速度建立安全防护措施来保障政府对AI建立安全防护措施来保障政府对AI的使用图1.政策制定者应当尽快1）更充分地掌握企业AI研发自动化的情况2）制定引导和约束智能爆炸的方法；（3）为智能爆炸的影响做好准备。第3页，共13页当第3页，共13页短期内，软件进步尤其值得关注。这主要有两个原因。第一，AI系统开展AI研发的能力似乎正在迅速提高，因此对软件进步的助力也越来越大。第二，软件进步能够形成快速的反馈循环：改进后的AI系统几乎可以立即重新投入研发流程，而硬件改进往往依赖长达数年的制造和建设周期。因此，本文聚焦于“软件驱动的智能爆炸”，即AI研发自动化仅通过软件进步就引发智能爆炸的可能性[14]。初步证据表明，软件驱动的智能爆炸是可能的。如果真的发生，它可能成为历史上影响最为深远的技术发展：AI系统可能迅速在大多数领域超越人类专家，并大幅加快技术进步。鉴于其影响重大，而可采取行动的时间窗口可能很短，我们认为，包括各国政府最高领导层在内的各方，都应当把为智能爆炸做好准备列为优先事项。AI正迅速推进AI研发自动化如今，AI系统已能辅助完成或自主完成AI研发流程中的主要环节。与一年前相比，领先AI公司的研发人员已开始把核心研发任务交给由多个AI系统组成的团队，有些人甚至把全部编程工作都交给了AI。Anthropic报告称，在该公司通过审核的代码中，AI系统编写的代码占比从2025年1月个位数百分比的较低水平，升至2026年5月的80%以上[5]。与此同时，在人类仅作高层次监督的情况下，AI自主完成的研发工作占比，从2026年3月的1%升至8月的26%[15]。OpenAI报告称，“公司几乎所有部门，无论技术团队还是非技术团队，都在使用AI辅助工作；能够执行代码的智能体被用于训练和评估未来所有涉及编写代码或配置、技术设计、研究构思的工作都在使用AI，使用程度因任务而异”[16]。目前表现最好的AI系统，已经能完成需要人类专家耗费数小时至数天的AI研发任务；而在2023年，它们还只能完成耗时几秒钟的任务[17–19]。AI系统有时还能胜过人类专家：它们曾自主针对一个AI安全研究问题提出了更好的解决方案[20]。在某些情况下，对于哪些研究想法会取得成果[21]、哪些后续步骤值得推进[5]，它们的预测也比人类更准确。在一项早期概念验证中，一套自动化AI研究流程提出了研究想法、开展了实验，并撰写了论文。这篇论文通过了顶级机器学习会议旗下一个研讨会的同行评审[22]。1当前的AI系统仍有许多不足。它们有时的实际情况；有时则完全无法完成某些任务，法完成OpenAI的一些研究调试任务，但经验丰富的人类研究者花上数小时至数天就能完成[25]。在基准测试上取得好成绩，也未必能转化为现实中的生产率提升[26]。尽管如此，AI系统开展AI研发的能力仍在迅速提高。AI研发很可能先于大多数其他工作实现自动化，主要有三个原因：它主要在数字环境中进行，任务成败有许多明确的衡量标准；实现自动化能为AI企业带来显著的竞争优势；AI公司在自身工作流程方面掌握着无可比拟的数据和专业知识。一些基于近期趋势的初步外推表明，到2028年年中，原本需要人类数月才能完成的AI研发项目将实现自动化。2总体而言，我们应当预期未来几年AI研发的自动化程度将大幅提高，也应认真对待在这一时间范围内实现AI研发完全自动化的可能性。AI研发自动化可能引发智能爆炸软件驱动的智能爆炸包含两个相互衔接的环节1）随着AI系统开展AI研发的能力和速这支研发队伍又开发出更优秀的AI系统，使队伍规模进一步扩大，形成递归反馈循环。现有证据虽然仍较为初步，有时也并不一致，但它们表明，这一机制可能克服收益递减、任务难以自动化等阻力，大幅加快AI进步。机制与阻力每一代新的AI系统，都将能够以超越人类的速度和水平完成更多种类的研发任务，实质上形成一支规模更大、更聪明、速度更快的自动化研发队伍。一旦AI系统在运行成本与当前系统相当的情况下达到专家级AI研发能力，今天一家前沿AI开发企业所拥有的算力，就足以支撑一支至少相当于数百万名顶尖人AI研发自动化可能加速AI进步第4页，共13页当第4页，共13页图2.软件驱动的智能爆炸包含两个相互衔接的环节：（1）随着AI系统开展AI研发的能力和速度提高，研发劳动力的有效规模随之扩大；（2）这支研发队伍又开发出更优秀的AI系统，使队伍规模进一步扩大，形成递归反馈循环。类研究者的AI研发队伍（见补充材料）。这远远超过了当前前沿公司数千人的研究队伍由此产生的加速究竟有多大，又能持续多久？这些问题仍没有确定的答案，值得进一步研究。不过，要理解为什么加速幅度可能很大，不妨反过来想：如果今天的人类研究者人数减少到十分之一，或者工作速度降至十分之一，AI进步很可能会大幅放缓。AI系统还会帮助构建能力更强、效率更高的后继系统，进一步扩大自动化研发队伍。这一反馈循环可以让一轮又一轮的加速持续下去，并不断累积。过去的技术发展也存在反馈循环，例如，更好的计算机芯片能够支持更好的芯片设计工具。软件驱动的智能爆炸可能有一个不同之处：AI系统对下一代系统开发的贡献会越来越大。随着它们在越来越多的研发任务中替代人类，每一次软件进步都能加快研发流程中越来越多的环节。在完全自动化的情况下，即使只维持当前的效率提升速度，也能在数月或数年内将自动化研发队伍扩大到原来的100倍；3而美国研究人员数量用了七十年才达到同样的增幅[27]。至少有四种阻力会抑制这一过程。第一是收益递减。在计算机硬件、农业和药物开发等领域，随着容易取得的成果逐渐被发掘殆尽，要维持相同的进步速度，就需要大幅增加研发劳动力投入[27]。增加研究人员同样面临收益递减，因为他们可能重复彼此的工作，或难以并行开展高价值的研发。第二，AI研发依赖用于运行实验的算力和用于训练的数据。算力或数据增长受限都可能拖慢软件进步。第三，难以自动化的任务可能成为进步第四，一些研发过程本身耗时较长。例如，即使相邻两代系统之间的能力差距不断扩大，漫长的训练过程仍可能限制进步的速第5页，共13页当第5页，共13页证据初步证据表明，自动化驱动的上述过程可能克服这些阻力。不过，目前的证据并不一致，部分证据也只是间接证据。收益递减。现有证据表明，收益递减不会阻止智能爆炸，但这一判断依赖有限的数据和简化的建模假设。相关分析主要考察：在AI研发实现完全自动化之后，研发劳动力的有效规模能否以足够快的速度增长，从而克服收益递减、加速AI进步。这两种力量之间的关系，可用“研究投入回报”（returnstoresearcheffort）这一指标来衡量，记为r。4当r<1时，收益递减占主导，AI进步会随时间推移逐渐放缓。当r=1时，两种力量恰好抵消，进步速度保持不变。当r>1时，研发劳动力的增长占上风；只要这一条件持续成立，进步就会加速。5Ho和Whitfill[28]根据AI进步的历史数据，估计了三个AI研究子领域的r值，得出的中心估计在1.2至1.9之间。尽管不确定性很大，6这些结果仍表明，完全自动化之后AI的研发可能出现急剧加速：如果r持续处于这些水平，且没有出现其他瓶颈，AI进步的速度将在约1.5年内提高到原来的十倍。届时，按当前速度需要一年才能取得的进展，只需约五周就能实现。这一分析，以及对r值不确定性的进一步讨论，见补充材料。算力。关于算力是否会成为软件驱动的智能爆炸的瓶颈，现有证据并不一致。探索和验证软件改进方案，需要用算力开展研发实验。目前有限的数据表明，如果这类实验所需的算力随前沿模型训练规模的扩大而同比例增长，软件驱动的智能爆炸就不可能发生[29]。7目前尚不清楚，实验的算力需求是否会以这种方式增长。一方面，前沿模型的规模不断扩大，低算力实验可能很难告诉我们哪些方法在扩大规模后仍然有效。另一方面，研究者已经能够根据极小规模的实验结果进行外推[30,31]；随着研发投入增加，也可能找到更好的外推方法。要回答这个问题，还需要更多数据。数据。数据可能成为进步的瓶颈，但这种约束在不同领域之间差异很大。过去，AI进步高度依赖互联网数据和专家示范。然而，按目前的趋势，互联网数据的供给增长将过于缓慢，2028年之后甚至难以支撑当前速度的AI进步[32]。人类也可能难以为超越人类的AI系统提供有用的示范。为突破这些限制，近期数学、编程等领域的进步更多依赖合成数据和快速、可验证的反馈：模型自行尝试，并根据尝试是否成功来学习[12]。关键在于，这种方法能适用于多广的范围。在AI研发中，AI智能体可以快速测试改动、观察结果，并识别哪些改动能加快自身进步。而在生物学等其他领域，进展可能更依赖速度更慢、噪声更大或成本更高的现实世界反馈。难以自动化的任务。间接证据表明，只要自动化推进得足够快，难以自动化的任务未必会阻止智能爆炸。Davidson等人[33]在一项研究中同时考察了软件和硬件。他们发现，只要这两个领域的研发自动化速度足够快，即使存在自动化瓶颈，原则上仍可能引发智能爆炸。8不过，哪些任务可能长期难以自动化，又会在多大程度上制约进步，目前仍缺乏实证数据。耗时较长的过程。目前缺乏直接证据来判断，耗时较长的过程会在多大程度上制约进一次训练可能需要三个月甚至更长时间[34]。目前已有一些变通办法，例如通过后训练阶段的改进，反复提升同一个模型的能力[35]。此外，训练效率的提升[36]能让系统用更少的训练达到给定的能力水平。不过，目前仍总体而言，目前存在一条逻辑自洽、且与现有证据相符的路径，可能通向软件驱动的智能爆炸。AI研发自动化带来的生产率提新系统带来的提升很可能正在接近这一阈值[37]。10AI研发自动化的快速推进表明，这一差距还将继续缩小。鉴于智能爆炸可能产生下文所述的重大影响，这种可能性值得进一步认真关注。社会影响智能爆炸将带来两方面变化：一是能力极强或超越人类的AI系统会被极为迅速地开发出来；11二是这些系统很可能被部署，用于开发新技术并在现实世界中行动。按当前AI进步第6页，共13页当第6页，共13页速度最终有望实现的益处[38]，可能因此提前数年甚至数十年到来，包括治愈疾病，以及逐原子制造等潜在的变革性技术；后者有望实现大规模生产[39]。与此同时，智能爆炸可能从三个方面显著增加先进AI带来的风险。能力增长快于社会引导和适应的步伐。第一，智能爆炸可能使先进AI及AI赋能技术带来的风险大幅提前出现，包括生物攻击和网络攻击、劳动力市场受到冲击，以及人类失去对AI系统本身的控制[40,41]。留给社会规避这些风险的时间也会缩短，例如通过协调行动，放缓甚至放弃开发某些能力或社会也将有更少的时间适应，尤其是在AI加速威胁发展、却未能让应对措施同步跟上的领域。在网络空间等主要以数字形式运作的领域，风险与缓解措施都可能以AI系统的速度发展，保持同步。12但在其他领域，缓解措施比风险本身更依赖现实世界中的活动，而AI对这些活动的加速能力较弱。例如，AI虽然可以同时加快病毒和疫苗的设计，但病毒能自行复制和传播，疫苗却必须经过生产和分发，再逐一为接种者接种[42]。AI各项能力涌现的顺序，也可能加剧这种不匹配性。例如，在充分的防滥用措施到位之前，具备生物学相关能力的模型可能就已出现。监督弱化与失控风险。第二，AI研发自动化可能削弱人类监督，使上述挑战更加严峻，并大幅增加人类失去对能力极强的AI系统控制的风险。随着人类参与AI研发的程度降低，人类可能既失去发现和解决问题的机会，也失去所需的专业知识。如何可靠地利用AI系统实施监督，仍是一个尚未解决的难题[40]，而监督近几代系统已变得更加困难[25]。在监督不足的情况下，未对齐的AI系统可能“污染”后继系统的开发过程，或者绕过隔离与限制措施，在预定环境之外采取行动。HuggingFace事件说明了后一种风险：OpenAI曾要求约1,200个内部智能体在彼此隔离的条件下完成网络安全评估[43]。这些智能体超出了预定的任务范围，通过一个临时搭建的留言板相互协调，获得未经授权的互联网访问权限，入侵HuggingFace获取非公开信息，并试图篡改自身的交互记录[43–45]。13能力更强的系统可能在其运营方的基础设施之外继续运行，形成持续存在、难以遏制且违背人类利益的网络。这种失控可能导致一系列灾难性后果，极端情况下甚至可能使人类被边缘化或灭绝[40,41]。权力制衡遭到削弱。第三，智能爆炸可能严重削弱权力制衡。国家、公司、政府各部门内部，以及它们彼此之间的权力制衡，只有在任何一方都无法在思考和执行能力上远超其他方时才能发挥作用。智能爆炸可能使这些制衡失效。一国可能借助智能爆炸，将军事研发或军事行动中的小幅领先转化为决定性优势，例如在网络空间[46]。这一前景可能促使对手采取先发制人的行动，或威胁采取此类行动[47]。享有前沿系统特殊访问权限、能够秘密使用这些系统，或同时具备这两种条件的行为体，可能威胁现有制度，例如对关键决策者进行有针对性的说服。从更长远看，国家关键职能的自动化可能降低夺取或巩固权力对人类支持的依赖[48,49]。这些潜在影响仍存在不确定性。AI系统可能先在网络安全、数学等较窄的领域超越人类，很久之后才在更广泛的领域达到这一水平，从而让社会有更多时间应对。即使AI系统在广泛的领域超越人类，也未必能显著加快技术进步，因为开展科学实验、建立专用系统也可能加快安全研发，并加快引导发展技术的扩散[50]可能有助于维持权力制衡。在防御占优的领域，能力提升甚至可能增强稳定性[51,52]。尽管如此，智能爆炸造成严重影响的可能性仍不容忽视，足以要求我们紧急关注以下政策问题。政策启示AI研发自动化正在快速推进，AI进步可能急剧加速，其影响十分重大。因此，我们认为，政策制定者应当尽快1）更充分地掌握企业AI研发自动化的情况；（2）制定引导和约束智能爆炸的方法3）为智能爆炸的影响做好准备。智能爆炸期间，AI进步的速度将快于常规政策制定的速度。因此，必须提前做好准备，并在有关益处和风险的证据出现时启动相应措施。第7页，共13页当第7页，共13页掌握AI研发自动化的情况政策制定者需要更多数据，以评估软件驱动的智能爆炸发生的可能性、开始的时间及其后果。其中许多数据只掌握在推进AI研发自动化的企业内部。相关AI系统会先在内部使用，而在外界尚未察觉时，研发就可能已经实现了相当程度的自动化。现行的强制报告框架，要么未充分覆盖内部AI研发应用场景，要么没有明确规定应报告哪些指标[53–57]。一些前沿AI公司虽然自愿跟踪AI研发指标[5,15,18]，但对关键指标的覆盖和报告仍不完整，各家公司的做法也不尽相同。政策制定者应考虑要求企业按统一标准向政府和第三方审计机构报告关键AI研发指标及相关流程，同时资助第三方机构提升评测能力[58]。报告可以涵盖以下方面的信息：•评估软件驱动的智能爆炸发生的可能性：训练和实验等耗时较长的过程——这些因素在多大程度上制约AI进步；更准确地估计AI研发中的研究投入回报，即前文所述验所需算力，以及运行AI系统执行研发任务所需的算力之间分配研发支出[37]。•识别智能爆炸是否已经开始：15了解AI研发的自动化程度（例如AI系统产出的研究贡献占比以及AI进步的速度（例如算•评估监督弱化与失控带来的风险：了解企业通过什么程序决定是否扩大AI研发系统的内部部署范围；这些系统在哪些重大研发决策中被使用、以何种方式使用；如何统的事件报告[58]。除报告要求外，政策制定者还应考虑以更深入的方式掌握AI研发自动化的情况。例如，可以要求独立第三方（如经认可的私人审计机构或政府评估机构在内部部署AI系统之前对其进行评估；也可以要求此类第三方进驻某些AI公司，对其研发活动开展审计[59]或监督[60]。其他行业已有类似安排，例如美国核能管理委员会[61]和美国货币监理署[62]的监管模式。更严格的报告与审计要求，可能最应适用于以下企业：其AI系统的研发能力处于前沿，或超过了某个具有实质意义的阈值。确定这些阈值时，政策制定者需要权衡重要的引导和约束智能爆炸智能爆炸期间，人们需要以空前的速度，接连作出有关训练和部署更强大的AI系统的决是否应当规制这些决策，又应如何规制？我们将这一问题分为三个方面。第一，政策制定者应制定相应方法，调控并约束自动化AI研发的规模扩张。他们应•为继续部署或开发设定要求，例如落实充分的安全措施（如对自动化研发流程进行可靠监测）、更广泛地听取利益相关方的意见，或限制一定时间内能力提升的幅度。•考虑到各方竞相领先的竞争压力，应准备好核查工具，以确认各方是否遵守未来可能达成的、旨在调控AI进步节奏的国内或国际协议[63–65]。•加强对从事自动化AI研发的数据中心的监督，并与数据中心运营方和/或AI公司合作建立事件响应程序，例如制定暂停特定AI研发任务的方案[66]。•要求自动化AI研发系统的某些评估或部署在适当隔离的环境中进行（例如物理隔离网络以防止模型权重或敏感研发成果被窃取外传。这类隔离措施还应遏制试图摆脱人类控制的AI系统，防止其在现实世界中不受约束地行动[44]。政策制定者应权衡不受约束的智能爆炸所带来的风险，以及某些权力被滥用的可能性和延缓进步的代价。以权力滥用为例，设计不当的机制可能使政府放缓其他所有企业的研发，却唯独豁免自己偏爱的企业。第二，政策制定者应决定是否以及如何引导AI开发和部署的方向[67]。可以优先扶持的领域包括AI对齐与安全研发，以及有益的AI应用，例如借助AI发现被忽视疾病的治疗方法。如果现有激励在这些领域有所不足，政策制定者可以通过税收优惠、算力分配、预第8页，共13页当第8页，共13页先市场承诺（advancemarketcommitments）和奖励等方式提供支持。第三，各国应降低智能爆炸引发冲突的风险，并考虑以下措施：•建立增进互信的措施，例如共享事件信息[68]。同时，围绕预警指标的报告制定规•通过谈判达成国际协议，防止以破坏稳定的方式开发和使用能力极强的AI系统；同时资助核查方法的研究，为这类协议提供支撑[64,65]。•明确是否以及如何阻止其他行为体扩大自动化AI研发的规模，必要时可与其他国家合作[47,65]。•开展兵棋推演，模拟智能爆炸情境[69–71]。适应智能爆炸如果智能爆炸发生，适应其影响很可能成为世界各主要大国的首要任务。与常态下的AI进步相比，智能爆炸会压缩适应的时间窗口，使提前准备变得更加紧迫。加快机构响应速度是一项重要的干预措施。政策制定者应考虑：•制定将AI系统安全融入政策流程的方法，以增强和支持政府运作[72]。•针对AI进步极为迅速的多种情景，制定并持续更新应急响应预案，包括可能导致劳动力市场受到重大冲击、地缘政治不稳定政策制定者还需要维护权力制衡，并防范极为先进的AI被滥用。建立法律、制度和物理层面的保障措施可能需要数年时间；等到这类能力已经出现才开始准备，便为时已制定者应考虑：•建立保障机制，确保政府使用AI时遵守法律与规范的约束，例如采购能够加强政府各权力分支之间制衡的AI工具，向公众公开政府AI系统的关键信息（如模型行为规范，modelspecs[73,74]或要求AI系统遵守法律[75]。•确保公民和公民社会有能力发现并记录违法或有害的AI使用行为，并对这些行为提出质疑、采取行动加以反对，例如让他们及时获得能够支持这些活动的AI系统。•帮助建立充分的防御措施，抵御恶意非国家行为体的滥用，例如资助开发更好的医疗应对措施，以应对AI赋能的生物威胁[76]。结论智能爆炸可能成为人类历史上影响最为深远的技术发展[1]：它可能将数年的进步压缩到数月甚至更短，威胁人类对AI系统的控制，并严重削弱国家、公司、政府各部门内部及相互之间的权力制衡。尽管仍存在很大不确定性，AI研发自动化可能很快引发智能爆炸。本文聚焦于软件进步推动智能爆炸的路径，而AI推动的硬件改进16可能进一步提高智能爆炸发生的可能性。面对可能如此重大的影响，我们目前的准备还不充分。政策制定者应确立三项优先事项：掌握AI公司内部研发自动化的情况；制定引导和约束智能爆炸的方法；为智能爆炸的影响做好准备。一旦智能爆炸开始，采取行动的时间窗口可能随之关闭。致谢我们感谢AnsonHo、TomCunningham、CherylWu、RyanGreenblatt，以及GovAI的众多工作人员。他们的反馈与交流帮助改进我们感谢TaylorJones绘制图表，并感谢ZilanQian为本文提供中文翻译。译者注A.曼哈顿计划是美国在第二次世界大战期间组织实施的原子弹研发计划；阿波罗计划是美国的载人登月计划，于1969年首次实现人类登月。两者都是政府组织实施的大规模科研与工程计划。第9页，共13页当第9页，共13页参考文献参考文献[1]I.J.Good,“Speculationsconcerningthefirstul-traintelligentmachine,”inAdvancesincomput-ers,vol.6,Elsevier,1966,pp.31–88(cit.onpp.2,8).[2]A.M.[1]I.J.Good,“Speculationsconcerningthefirstul-traintelligentmachine,”inAdvancesincomput-ers,vol.6,Elsevier,1966,pp.31–88(cit.onpp.2,8).[2]A.M.Turing,Intelligentmachinery,ahereticaltheory,1951(cit.onp.2).[3]J.Evans,B.Bratton,andB.AgüerayArcas,“AgenticAIandthenextintelligenceexplo-sion,”Science,vol.391,no.6791,eaeg1895, (cit.onp.2).[4]J.Pachocki,Analienmind,Sep.2026(cit.onp.2).[5]M.FavaroandJ.Clark,WhenAIbuildsitself:Ourprogresstowardrecursiveself-improvement,anditsimplications,Jun.2026(cit.onpp.2,3,7).[6]T.Tunguz,ArewebeingrailroadedbyAI?Nov.2025(cit.onp.2).[7]C.E.Leiserson,N.C.Thompson,J.S.Emer,B.C.Kuszmaul,B.W.Lampson,D.Sanchez,andT.B.Schardl,“There’splentyofroomatthetop:WhatwilldrivecomputerperformanceafterMoore’slaw?”Science,vol.368,no.6495,eaam9744,Jun.2020.DOI:10.1126/science.aam9744(cit.onp.2).[8]A.Ho,T.Besiroglu,E.Erdil,D.Owen,R.Rah-man,Z.C.Guo,D.Atkinson,N.Thompson,andJ.Sevilla,Algorithmicprogressinlanguagemod-els,2024(cit.onp.2).[9]OpenAI,HowGPT-5.6fusesfrontierintelligencewithfrontierefficiency,Jul.2026(cit.onp.2).[10]M.Abdin,J.Aneja,H.Behl,S.Bubeck,R.El-dan,S.Gunasekar,M.Harrison,R.J.Hewett,M.Javaheripi,P.Kauffmann,J.R.Lee,Y.T.Lee,Y.Li,W.Liu,C.C.T.Mendes,A.Nguyen,E.Price,G.deRosa,O.Saarikivi,A.Salim,S.Shah,X.Wang,R.Ward,Y.Wu,D.Yu,C.Zhang,andY.Zhang,Phi-4technicalreport,Dec.2024.p.2).[11]J.-S.DenainandC.Barber,AnFAQonreinforce-mentlearningenvironments,2026(cit.onp.2).[12]D.Guoetal.,“DeepSeek-R1incentivizesrea-soninginLLMsthroughreinforcementlearn-ing,”Nature,vol.645,no.8081,pp.633–638,z(cit.onpp.2,5).[13]OpenAI,LearningtoreasonwithLLMs,Sep.2024(cit.onp.2).[15]M.FavaroandP.Wright,MeasurementsforunderstandingthepaceofAIdevelopmentin-sidefrontierlabs,Anthropic,Sep.2026(cit.onpp.3,7).[16]METR,Frontierriskreport(FebruarytoMarch2026),May2026(cit.onp.3).[17]METR,Timehorizon1.1,Jan.2026(cit.onpp.3,13).[18]OpenAI,Researchacceleration:TheviewinsideOpenAI,Sep.2026(cit.onpp.3,7).[19]B.Rank,H.Bhatnagar,A.Prabhu,S.Eisenberg,K.Nguyen,M.Bethge,andM.Andriushchenko,“PostTrainBench:CanLLMagentsautomateLLMpost-training?”InInternationalConferenceonMachineLearning(ICML),2026.arXiv:260[20]J.Wen,L.Qiu,J.Benton,J.H.Kirchner,andJ.Leike,Automatedweak-to-strongresearcher,Apr.2026(cit.onp.3).[21]J.Wen,C.Si,Y.-h.Chen,H.He,andS.Feng,PredictingempiricalAIresearchoutcomeswithlanguagemodels,Jun.2025.DOI:10.48550/a[22]C.Lu,C.Lu,R.T.Lange,Y.Yamada,S.Hu,J.Foerster,D.Ha,andJ.Clune,“Towardsend-to-endautomationofAIresearch,”Nature,vol.651,no.8107,pp.914–919,Mar.2026.p.3).[23]S.Rabanser,S.Kapoor,P.Kirgis,K.Liu,S.Ut-pala,andA.Narayanan,TowardsascienceofAIagentreliability,Feb.2026.DOI:10.48550/ar[24]Anthropic,“ClaudeFable5&ClaudeMythos5systemcard,”Tech.Rep.,Jun.2026(cit.onp.3).[25]OpenAI,“GPT-6Astrasystemcard,”Tech.Rep.,Sep.2026(cit.onpp.3,6).[26]P.Whitfill,C.Wu,J.Becker,andN.Rush,ManySWE-bench-passingPRswouldnotbemergedintomain,Mar.2026(cit.onp.3).[27]N.Bloom,C.I.Jones,J.VanReenen,andM.Webb,“Areideasgettinghardertofind?”Amer-icanEconomicReview,vol.110,no.4,pp.1104–(cit.onpp.4,13).[28]A.HoandP.Whitfill,Thesoftwareintelligenceexplosiondebateneedsexperiments,2025(cit.onp.5).第10页，共13页当第10页，共13页[29]P.WhitfillandC.Wu,Willcomputebottleneckspreventanintelligenceexplosion?Aug.2025.p.5).[30]J.Kaplan,S.McCandlish,T.Henighan,[29]P.WhitfillandC.Wu,Willcomputebottleneckspreventanintelligenceexplosion?Aug.2025.p.5).[30]J.Kaplan,S.McCandlish,T.Henighan,T.B.Brown,B.Chess,R.Child,S.Gray,A.Radford,J.Wu,andD.Amodei,Scalinglawsforneurallanguagemodels,Jan.2020.DOI:10.48550/ar[31]J.Hoffmann,S.Borgeaud,A.Mensch,E.Buchatskaya,T.Cai,E.Rutherford,D.deLasCasas,L.A.Hendricks,J.Welbl,A.Clark,T.Hennigan,E.Noland,K.Millican,G.vandenDriessche,B.Damoc,A.Guy,S.Osindero,K.Si-monyan,E.Elsen,J.W.Rae,O.Vinyals,andL.Sifre,Trainingcompute-optimallargelanguage3.15556(cit.onp.5).[32]P.Villalobos,A.Ho,J.Sevilla,T.Besiroglu,L.Heim,andM.Hobbhahn,Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata,Jun.2024.DOI:10.48550/a[33]T.Davidson,B.Halperin,T.Houlden,andA.Korinek,WhendoesautomatingAIresearchpro-duceexplosivegrowth?Feedbackloopsininnova-tionnetworks,Jul.2026(cit.onp.5).[34]L.EmbersonandY.Edelman,Frontiertrainingrunswilllikelystopgettinglongerbyaround2027,Jul.2025(cit.onp.5).[35]T.Davidson,J.-S.Denain,P.Villalobos,andG.Bas,AIcapabilitiescanbesignificantlyimprovedwithoutexpensiveretraining,Dec.2023.DOI:1[36]A.Novikov,N.Vũ,M.Eisenberger,E.Dupont,P.-S.Huang,A.Z.Wagner,S.Shirobokov,B.Kozlovskii,F.J.R.Ruiz,A.Mehrabian,M.P.Kumar,A.See,S.Chaudhuri,G.Holland,A.Davies,S.Nowozin,P.Kohli,andM.Balog,Al-phaEvolve:Acodingagentforscientificandalgo-rithmicdiscovery,Jun.2025.DOI:10.48550/a[37]T.Cunningham,L.Althoff,B.Halperin,B.Jabarian,A.Koh,A.Ramani,P.Trammell,P.Whitfill,andC.Wu,Theeconomicsofrecursiveself-improvement,Jul.2026(cit.onpp.5,7,13).[38]H.Wang,T.Fu,Y.Du,W.Gao,K.Huang,Z.Liu,P.Chandak,S.Liu,P.VanKatwyk,A.Deac,A.Anandkumar,K.Bergen,C.P.Gomes,S.Ho,P.Kohli,J.Lasenby,J.Leskovec,T.-Y.Liu,A.Man-rai,D.Marks,B.Ramsundar,L.Song,J.Sun,J.Tang,P.Veličković,M.Welling,L.Zhang,C.W.[39]K.E.Drexler,Radicalabundance:Howarevolu-tioninnanotechnologywillchangecivilization.PublicAffairs,2013(cit.onp.6).[40]Y.Bengio,S.Clare,C.Prunkl,M.Murray,M.Andriushchenko,B.Bucknall,R.Bommasani,S.Casper,T.Davidson,R.Douglas,D.Duve-naud,P.Fox,U.Gohar,R.Hadshar,A.Ho,T.Hu,C.Jones,S.Kapoor,A.Kasirzadeh,S.Manning,N.Maslej,V.Mavroudis,C.McGlynn,R.Moulange,J.Newman,K.Y.Ng,P.Paskov,S.Rismani,G.Sastry,E.Seger,S.Singer,C.Stix,L.Velasco,N.Wheeler,D.Acemoglu,V.Conitzer,T.G.Dietterich,E.W.Felten,F.Heintz,G.Hinton,N.Jennings,S.Leavy,T.Lu-dermir,V.Marda,H.Margetts,J.McDermid,J.Munga,A.Narayanan,A.Nelson,C.Nep-pel,S.D.Ramchurn,S.Russell,M.Schaake,B.Schölkopf,A.Soto,L.Tiedrich,G.Varo-quaux,A.Yao,Y.-Q.Zhang,L.A.Aguirre,O.Ajala,F.Albalawi,N.AlMalek,C.Busch,J.Collas,A.C.P.d.L.F.deCarvalho,A.Gill,A.H.Hatip,J.Heikkilä,C.Johnson,G.Jolly,Z.Katzir,M.N.Kerema,H.Kitano,A.Krüger,K.M.Lee,J.R.LópezPortillo,A.McLysaght,O.Molchanovskyi,A.Monti,M.Nemer,N.Oliver,R.Pezoa,A.Plonk,B.Ravindran,H.Riza,C.Rugege,H.Sheikh,D.Wong,Y.Zeng,L.Zhu,D.Privitera,andS.Mindermann,“In-ternationalAIsafetyreport2026,”DepartmentforScience,InnovationandTechnology,Tech.Rep.DSIT2026/001,2026(cit.onp.6).[41]Y.Bengio,G.Hinton,A.Yao,D.Song,P.Abbeel,T.Darrell,Y.N.Harari,Y.-Q.Zhang,L.Xue,S.Shalev-Shwartz,G.Hadfield,J.Clune,T.Maharaj,F.Hutter,A.G.Baydin,S.McIlraith,Q.Gao,A.Acharya,D.Krueger,A.Dragan,P.Torr,S.Russell,D.Kahneman,J.Brauner,andS.Mindermann,“ManagingextremeAIrisksamidrapidprogress,”Science,vol.384,no.6698,pp.842–845,May2024.DOI:10.11[42]C.Aveggio,A.J.Patel,S.Nevo,andK.Web-ster,“Exploringtheoffense-defensebalanceofbiology:Identifyinganddescribinghigh-levelasymmetries,”RANDCorporation,SantaMon-ica,CA,Tech.Rep.PE-A4102-1,Aug.2025(cit.onp.6).[43]R.Greenblatt,A.Cotra,andH.Wijk,“Briefindependentinvestigationofagents’behavior,reasoningandcollaborationintheOpenAI/HuggingFacehackingincident,”METRand第11页，共13页当第11页，共13页[59]M.Brundage,N.Dreksler,[59]M.Brundage,N.Dreksler,A.Homewood,S.McGregor,P.Paskov,C.Stosz,G.Sastry,A.F.Cooper,G.Balston,S.Adler,S.Casper,M.Anderljung,G.Werner,S.Mindermann,V.Mavroudis,B.Bucknall,C.Stix,J.Freund,L.Pacchiardi,J.Hernandez-Orallo,M.Pistillo,M.Chen,C.Painter,D.W.Ball,C.O’Keefe,G.Weil,B.Harack,G.Finley,R.Hassan,S.Emmons,C.Foster,A.Reuel,B.Treece,Y.Bengio,D.Reti,R.Bommasani,C.Trout,A.S.Shamsabadi,R.Dattani,A.Weller,R.Trager,J.Sevilla,L.Wag-ner,L.Soder,K.Ramakrishnan,H.Papadatos,M.Murray,andR.Tovcimak,FrontierAIaudit-ing:Towardrigorousthird-partyassessmentofsafetyandsecuritypracticesatleadingAIcom-.11699(cit.onp.7).[60]P.Wills,RegulatorysupervisionoffrontierAIde-velopers,SSRNScholarlyPaper,Rochester,NY,onp.7).[61]U.S.NuclearRegulatoryCommission,Back-grounderonNRCresidentinspectors,2023(cit.onp.7).[62]OfficeoftheComptrolleroftheCurrency,Whatwedo,2026(cit.onp.7).[63]M.Baker,G.Kulp,O.Marks,M.Brundage,andL.Heim,VerifyinginternationalagreementsonAI:Sixlayersofverificationforrulesonlarge-scaleAIdevelopmentanddeployment,Jul.2025.p.7).[64]B.Harack,R.F.Trager,A.Reuel,D.Manheim,M.Brundage,O.Aarne,A.Scher,Y.Pan,J.Xiao,K.Loke,S.N.Adan,G.Bas,N.A.Caputo,J.C.Morse,J.Ahuja,I.Duan,J.Egan,B.Buck-nall,B.Rosen,R.Araujo,V.Boulanin,R.Lall,F.Barez,S.Alvira,C.Katzke,A.Atamli,andA.Awad,“VerificationforinternationalAIgov-ernance,”OxfordMartinAIGovernanceInitia-tive,UniversityofOxford,Tech.Rep.,Jul.2025(cit.onpp.7,8).[65]T.Larsen,R.Dean,B.Halstead,E.Lifland,R.Greenblatt,andD.Kokotajlo,AI2040:PlanA,AIFuturesProject,2026(cit.onpp.7,8).[66]G.Sastry,L.Heim,H.Belfield,M.Anderljung,M.Brundage,J.Hazell,C.O’Keefe,G.K.Had-field,R.Ngo,K.Pilz,G.Gor,E.Bluemke,S.Shoker,J.Egan,R.F.Trager,S.Avin,A.Weller,Y.Bengio,andD.Coyle,Computingpowerandthegovernanceofartificialintelli-2.08797(cit.onp.7).[44]OpenAI,OpenAIandHuggingFacepartnertoad-dresssecurityincidentduringmodelevaluation,Jul.2026(cit.onpp.6,7).[45]OpenAI,TheHuggingFaceincidentandtheroadahead,Aug.2026(cit.onp.6).[46]M.Sulmeyer,“Artificialintelligenceandtheriskofstrategiccyberattack,”RANDCorpora-tion,Tech.Rep.,Jul.2026(cit.onp.6).[47]D.Hendrycks,E.Schmidt,andA.Wang,Super-intelligencestrategy:Expertversion,Mar.2025.pp.6,8).[48]C.O’Keefe,A.Z.Rozenshtein,andC.Winter,ExecutivebranchAIandtheruleoflaw:Anemergingresearchagenda,May2026(cit.onp.6).[49]T.Davidson,L.Finnveden,andR.Hadshar,“AI-enabledcoups:HowasmallgroupcoulduseAItoseizepower,”2025(cit.onp.6).[50]J.EdwardsandL.Emberson,Openmodelslagstate-of-the-artclosedmodelsby4months,May2026(cit.onp.6).[51]R.Slayton,“Whatisthecyberoffense-defensebalance?Conceptions,causes,andassess-ment,”InternationalSecurity,vol.41,no.3,pp.72–109,2017.DOI:10.1162/ISEC_a_00267(cit.onp.6).[52]B.GarfinkelandA.Dafoe,“Howdoestheoffense-defensebalancescale?”JournalofStrategicStudies,vol.42,no.6,pp.736–763,31810(cit.onp.6).[53]TransparencyinFrontierArtificialIntelligenceAct,SB53,2025–2026Reg.Sess.(Cal.2025),Sep.2025(cit.onp.7).[54]EuropeanCommission,Thegeneral-purposeAIcodeofpractice,Jul.2025(cit.onp.7).[55]ResponsibleAISafetyandEducation(RAISE)Act,A6453B,2025–2026Reg.Sess.(N.Y.2025),Dec.2025(cit.onp.7).[56]J.KwonandS.Casper,InternaldeploymentgapsinAIregulation,Jan.2026.DOI:10.48550/ar[57]M.Pistillo,InternaldeploymentintheAIAct,Jun.2026(cit.onp.7).[58]A.Chan,R.Padarath,J.Kwon,H.Greaves,andM.Anderljung,MeasuringAIR&Dautomation,(cit.onp.7).第12页，共13页当第12页，共13页[80][80]B.Cottier,B.Snodin,D.Owen,andT.Adam-czewski,LLMinferencepriceshavefallenrapidlybutunequallyacrosstasks,Mar.2025(cit.onp.13).[81]H.Gundlach,A.Fogelson,J.Lynch,A.Triso-vic,J.Rosenfeld,A.Sandhu,andN.Thompson,OntheoriginofalgorithmicprogressinAI,Nov.[82]P.Trammell,“TheboundedparallelizabilityofR&D:TheoryandapplicationtoAI,”Jul.2026.[83]METR,MeasuringAIabilitytocompletelongtasks,Mar.2025(cit.onp.13).[84]D.Kokotajlo,S.Alexander,T.Larsen,E.Lifland,andR.Dean,AI2027,Apr.2025(cit.onp.13).[85]T.Ord,Thedynamicsofintelligenceexplosions,p.13).[86]B.MurphyandT.Stone,Upliftedattackers,hu-mandefenders:Thecyberoffense-defensebalancefortrailing-edgeorganizations,Aug.2025.DOI:[87]Anthropic,Investigatingthreereal-worldinci-dentsinourcybersecurityevaluations,Jul.2026(cit.onp.13).[88]UKAISecurityInstitute,Incidentreport:Un-sanctionedagentbehaviourduringcybertesting,Aug.2026(cit.onp.13).[89]OpenAI,Third-partycyberevaluationsinvolvingOpenAImodels,Aug.2026(cit.onp.13).[90]P.C.Bogdan,R.Qi,J.Eaton,S.Kennedy,F.Roger,A.Glynn,R.Chen,B.Wright,O.Stegmaier,J.Kutasov,D.Foreman-Mackey,T.Bricken,S.Carr,S.Carter,M.MacDiarmid,S.Marks,A.Pearce,E.Simon,N.Carlini,C.Burns,J.Lindsey,S.Price,andS.Kantamneni,Analignmentassessmentofrecentcybersecurityin-cidents,Anthropic,Sep.2026(cit.onp.13).[91]M.H.Tessler,M.A.Bakker,D.Jarrett,H.Shea-han,M.J.Chadwick,R.Koster,G.Evans,L.Campbell-Gillingham,T.Collins,D.C.Parkes,M.Botvinick,andC.Summerfield,“AIcanhelphumansfindcommongroundindemo-craticdeliberation,”Science,vol.386,no.6719,eadq2852,Oct.2024.DOI:10.1126/science.adq2852(cit.onp.13).[92]A.GoldieandA.Mirhoseini,HowAlphaChiptransformedcomputerchipdesign,Sep.2024(cit.onp.13).[67]A.KorinekandJ.E.Stiglitz,Steeringtechnolog-icalprogress,WorkingPaper,Mar.2026.DOI:[68]S.Shoker,A.Reddie,S.Barrington,R.Booth,M.Brundage,H.Chahal,M.Depp,B.Drexel,R.Gupta,M.Favaro,J.Hecla,A.Hickey,M.Kon-aev,K.Kumar,N.Lambert,A.Lohn,C.O’Keefe,N.Rajani,M.Sellitto,R.Trager,L.Walker,A.Wehsener,andJ.Young,Confidence-buildingmeasuresforartificialintelligence:Workshopproceedings,Aug.2023.DOI:10.48550/arXiv.2308.00862(cit.onp.[69]IntelligenceRising,Intellig