AI Futures Project：2027年AI预测报告（中译版）

丹尼爾·科科夏里奧斯科特·亞歷山大托馬斯·拉森伊莉·利夫蘭羅密歐·迪安最初發表於命的影响。OpenAI、GoogleDeepMind和Anthropic的首席执行。我们并不希望过度炒作人工智能，但我们也认。如果我们正处于超智能的边缘，那么社会还远没有做好准备。很少有人尝试阐明通往超智能发展的任何合理途径2027》来填补这一空白，提供急需的具体细节。我们希望看到更多这样的作品出现在世界上，尤其是来自那些不同意我们观点的我们通过不断问自己“下一步会发生什么”来），的时期，直到我们达到结局。我们并非试图达到某我们将它抛弃，重新开始，多次重复，直到我们有程中，我们进行了大量的背景研究、专家访谈和趋可能知情的猜测。此外，我们的团队在预测方面有是在人工智能领域。首席作者丹尼尔·科科塔洛（DanielKokotajlo）意料的好，而伊莱·利夫兰（EliLifland）是一名顶尖的竞争预测者。在每一章的开头，您将在右侧边缘看到一个小个情景中发生的时间段时世界的状况。要了解,以及关于我们方法论的更多详细信息，请访问。我们希望您发现《人工智能2027》有帮助。*例如，OpenAI的专业计划目前每月成本为$200，而代理编码AIDevin目前每月成本为$500。尽管尖端系统的价格随着时间推移而不断上涨，但客戶实现特定功能水平的成本持续下降。对于现有功能来说，这以每年大约50倍（每纪元）的平均速度发生。2025年中期：摇摇晃晃的代理世界首次看到人工智能代理的雏形。在DoorDash上给我订一个墨西哥卷”或者“打开我的预算表并对本月的支出求和”。它们会根据需要,将简单请求转化为可执行代码。到了2025年，人工智能更像员工。编码人工智能越来越像自主代理，而不仅仅是助手：它们通过Slack或Teams接收指这些代理在理论上（以及挑选的例子中）令人印可靠。AITwitter上充满了关于某种任务以尤为滑稽方式搞砸的故事。更好的代理也很昂贵；一分钱一分货，最佳性。然而，许多公司都想办法将AI代理整合到他们的工作流程中2025年末：世界上最昂贵的AIOpenBrain正在建造有史以来最大的数据中心。我们设想其他公司跟OpenBrain相比会晚3-9个月。） †这个集群是一个遍布全国的数据中心校园网络，总计2.5百万2024-GPU等效（H100s），迄今已花费了1000亿美元，目前有2吉⽡的功耗在线。计划通过2026年至少加倍建设。这些校园通过价值数十亿美元的光纤互连，让这些校园几乎可以像彼此相邻一样运行（即带宽不是瓶颈，这意味着可以同时发送大量数据）。从安全的角度看，这引入了一些威胁面（目前不清楚这些电缆，尤其是它们的连接点是否完全受到窃听者的保护）。1一开始，大多数人都不愿意在没有监督的情况下购买。随着人工智能变得更加可靠并建立信任，几年后，自动允许小额购买变得正常。2具体来说，我们预测它们在基本计算机任务的OSWorld基准测试上得分65%（运算符得分38%，典型熟练的非专家人类得分70%）。3例如，我们认为编码代理将朝着像Devin这样的功能移动。我们预测到2025年中期，代理将在SWEBench-Verified上得分85%。4企业工具如Glean也在朝着提供越来越自主的AI代理方Late2025:TheWorld’sMostExpensiveAI OpenBrain最新的公共尽管模型在各种技能上都在改进，但有一项技能脱颖而出:OpenBrain专注于能加速人工智能研究的人工智能。他们希望在对抗中国（我们称之为“DeepCent”的领先公司）和美国竞争对手的双臂赛跑中获胜。研发（R&D）周期中他们能自动化的部分越多，他们就能越快。因此，当OpenBrain完成对内部研发的新模型Agent-1进行训练时，它在许多方面表现出色，但在帮助人工智能研究方面表现卓越。87和他们的美国竞争对手。他们能够自动化的研发周计算是按浮点运算（FLOP）来衡量的:程序运行过程中进行了多少个单独的加法和乘法运算.7我们认为DeepSeek、腾讯、阿里巴巴等公司在中国拥有强大的AGI项目。为了避免特指某一个，我们的情景将沿用虚构的“深中”。“的训练时，它擅长许多事情，但在帮助AI研到这一点，“训练”有点名不副实；模型经常会被更新为基于额外数据训练或部分重新训练以修的训练时，它擅长许多事情，但在帮助AI研教Agent-1自主编码和浏览网页的相同训练环境也使其成为一个优秀的黑客。此外，由于其在每个领域的博士级知识和浏览网络的能力，它nBrain向政府保证，该模型已经“对齐”，因此将拒绝遵从恶意请求。“名优秀的黑客。此外，由于OpenBrain在每个领域都拥有博士级知识OpenBrain向政府保证该模型已经“调整”，因此将拒绝遵守恶意要现代AI系统是庞大的人工神经网络。在训练早期，AI不会有“目标”,而更多地是“反射”：如果它看到“见面很高兴”，它就会输出“你”。当它被训练来预测大约相当于一个互联,因为这有助于它以超人类准确度预测文本。“由于专注于优先考虑这些技能，他们拥有自己的大量代码库，可供使用，尤其相关且高质量的训练数据，以及编码易于进行程序化反馈，因此OpenBrain在这方面表现出色。例如，假设某个模型在Python方面比在晦涩的编程语言方面表现更优秀。当OpenBrain发现其价值时，他们也会生成这些语言的合成训练数据。另一个例子：为了帮助其更有效地融入公司工作流程，OpenBrain开发了一个课程来培训它使用Slack。“在被训练来预测互联网文本之后，模型被训练根据指令生成文本。*人们经常困惑于这些人工智能是否具有感知能力，或者是否拥有“真正的理解”。诺贝尔奖获得者、该领域的创始人杰弗里・辛顿认为它们具有这种能力。“然而，在我们的故事中，我们认为这并不重要，所以随时可以假装我们说“理解”的时候，我们说“理根据经验，大型语言模型已经在某种程度上表现得像是具有自我意识，而且每年都越来越多。 †一种常见的技术是“烘烤”一个人设：首先，用类似“以下是人类用戶与由Anthropic出品的一个友好、诚实和无害的AI聊天机器人之间的对话。这个聊天机器人具有以下特征…”的东西提⽰预训练的模型。使用此提⽰生成大量数据。然后，在数据上进行训练，但不包括提⽰。结果是，人工智能总是会表现得好像在它面前有那个提⽰一样，而不管其他Late2025:TheWorld’sMostExpensiveAI你把它喂给它。另你把它喂给它。另请参阅这篇论文，发现重新训练以展现某种个性特质的AI能够正确回答关于该新特质的问题，尽管没有接受这方面的训练，这表明它们对自己特质有内部表⽰，当他们的特质改变时，他们的表⽰也会相应改变。例如，清晰理解任务的代理更有可能成功完成任模型“学习”一种“驱动”，以清晰理解其任务。其他驱动可能包括效率、知识和自我展⽰（即倾向OpenBrain有一个模型规范（或“Spec”），一份书面文件描述着应Agent-1的规范结合了一些笼统的目标（如“帮助用戶”和“不违法”），并列出了更多具体的“应该”和“不应该”（“不词”，“处理这个特定情况的方法”）。使用利用人工智能训练,11模型记忆规范并学会仔细推理其原则。在此培训结束时，AI希望能够是有），活动）和诚实的（抵制通过臆想引文†或假装完成任务来从易受骗的请参阅附录A-培训过程和LLM心理学：为什么我们一直在说“希望”以获取OpenBrain的对齐团队非常小心，想知道这些问题的解决方案是谁胜利是深刻的还是浅薄的？经过全面培训的模型过程可以检查的内容？它是否有时会欺骗自己，读取其心智的能力。不幸的是，解释性技术还没谀奉承的（即，它告诉研究人员他们想听到的话隐藏它在任务上失败的证据，以获得更好的评分OpenAI称之为规范，而Anthropic称之为宪法。 11例如，RLAIF和深思熟虑的对准。 12我们指的是试图解决超对齐团队试图解决的问题的人。13为了明确，这些事件之所以有趣是因为它们似乎不是用戶提⽰或以其他方式鼓励AI说这些话的结果。在2025年，如果你尝试，仍然可以让AI说各种各样的话。*这些段落包含关于大型人工神经网络内部运作的推测。这种网络非常复杂，我们实际上无法看到内部然后说“噢，现在它从反射进化到具有目标”或“好的，这是它拥有的驱动力列表”。相反，我们基本上必须做心理学，看看它在各种设置中的行为，运行各种实验并试图拼凑线索。这一切都非常具有争议性和困惑。†大多数关于AI“幻觉”的来源描述它们为无意的错误，但通过操纵向量的研究发现，在某些情况下，模型知道它们的引文是虚假的——它们在撒谎。训练期间，评分的声明更多的奖励，所以AI“学会”为学术声明引用来源以取悦它的用戶。*AI安全研究人员多年来一直在讨论将AI研发自动化作为最重要的危险能力。他们最关注的是内部部署导致AI研发加速，使人类难以跟上事态的发展并弄清如何保证其安全性。作为一个组织，OpenBrain将这一点扭曲成完全相反的方向，引用危险水平的AI研发能力作为不向公众披露信息的理由。因此，我们看到公司内部和公共能力之间开始出现鸿沟。AI研发是模型最擅长的领域，导致公众对AI能力前沿的理解日益滞后。2026年初：编码自动化利用AI加速AI研究的赌注开始见效。们的算法进展比没有AI助手提高了50%的速几种竞争对手公开发布的AI现在与或超过Agent-0，不同。它比任何人类都知道更多的事实，了解几精明的人们想出了自动化工作中例行部分的方法。16OpenBrain的高管们开始考虑自动化人工智能研发的一个影响：安全性变得更 他们正努力保护他们的权重和机密免受内部威胁和顶尖网络犯罪集团（SL3） 但在国家层面（SL4＆5）的防御方面几乎在地平线上。2026年中:中国苏醒在中国，中共正在开始感受到AGI的影响芯片出口受控制，缺乏政府支持，使中国在资地位。通过走私被禁的台湾芯片，购买旧芯片，14实际上，我们预计OpenBrain将以更快的节奏发布模型，但为了简洁起见，我们不描述所有渐进性发布。15具体来说，我们预测在OSWorld上获得80%的分数（相当于一个熟练但非专家的人类）；在Cybench上获得85%的分数，与需要4小时的顶尖专业人类团队相匹配的黑客任务；以及在RE-Bench上获得1.3的分数，与在明确定性AI研究工程任务中给予的8小时时间的顶尖专家人类相匹配。16代理-1及其模仿者取得了商业上的成功;2025年，人工智能公司的收入翻了一番，OpenBrain的估值达到1万亿美元。数据中心的年度支出翻了一番，达到4000亿美元，由微软、谷歌和亚马逊主导，美国新增了超过5GW的人工智能供电量。有关更多详情，请参见计算补充部分的行业指标。17请参阅兰德公司2024年的保护人工智能模型权重的实用手册。 18OpenBrain约有5%的员工属于安全团队，他们能力很强，但威胁范围也非常广泛。而在这个阶段，他们大多被阻止实施可能会减慢研究进展的政策。有关更多详情，请参见我们的安全预测。 有关计算补充部分的分布部分，请查看更多详细信息。我们预计走私行动将会获得约60KGB300s（45万个H100e），另外还生产了2百万个华为910C（80万个H100e）以及混，合了100万个合法进口的芯片（如Nvidia的H20或B20）组成了最后的25万个H100e。Mid2026:ChinaWakesUp供应问题一直是一个头痛的事情。很少像De能做出非常出色的工作，但计算资源的不足限制了它们在没有政但中共的鹰派警告说不容忽视的AI通向超智能的竞赛。因此，他最终全力支持了他之前试图避免的大规模AI推动。他启动了中国人工智能研究的国有化，建立了一个立即的信息共享机制以供AI公司使用。一年内，这项措施将加剧，直发布了R1，这是一个和OpenAI的o1相竞但我们认为真正的差距比一个月更大，因为OpenAI很可能在o1上工作了很多个月,因此很可能在o1发布几个月前已经有一个大致相当能力的前身模型r1了。20相比之下，中共一直在努力加速发展在天湾核电站（世界上最大的核电站）创建了一个中央发展,用于容纳DeepCent的新型超级数据中心，以及高度安全的居住和办公空间，研究人员最终将迁入其中。目前中国近50%的AI相关计算正在为以DeepCent为首的集体工作。21并超过80%的新的芯片被引导到CDZ。†此时，CDZ已经具备了将成为全不断低级偷猎算法秘密的行动要复杂得多；权重全服务器上的多TB文件（OpenBrain已将安全性提升至RAND的SL3)。他们的网络力量认为他们可以与间谍的帮助成功，但或许只有一次；OpenBrain将会察觉到窃取行为，提高安全性，他们可能不会有第二次机会。所以（中共领导层在思考）他们是21起初，共享仅限于想法，各公司大多忙于完成当前的工作量，但到年底，它们的协作增加，开始分享模型权重，甚至在彼此的数据中心之间分配任务。例如，一个校园可能设有新的预训练运行,另一个侧重于输入合成数据，另一个专注于运行人工智能研究实验。22他们至少还有一年的时间才能获得足够的芯片来填补这一容量，而且一到两家美国科技巨头仍将拥有更大的分散集群。†为什么仅占中国AI相关计算量的50%？因为其余的计算量被用于运行整个经济体系中的事务，特别是互联网和社交网络推荐算法。很多计算量也分散在许多小集群之间的地理位置。为什么仅占新芯片的80%？许多大订单已经为其他应用程序而获得，这些公司不希望把百分之百的计算量贡献给国家的人工智能计划。然而，截至年底这一比例将达到90%以上。2026年底：AI接管部分工作竞争对手。人们对AI的主流看法已经从“也许炒作会平息”变为“猜%,由OpenBrain、Nvidia和那些最成功地整合AI助手的公司带领。初级软件工程师的就业市场陷入了混乱：AI可以做计算机科学学位教商业大师告诉求职者，熟悉AI是简历上最重要的技能。许多人担心下一波AI将夺走他们的工作；在华盛顿特区有一场涉及1万人的反对AI抗国防部（DOD）悄悄开始直接向OpenBrai23通过“其他交易授权”（OTA）合同进行，获得高优先级DX评级。我们一点也不确信这是合作融资最有可能的方式，但为了具体起见选择了某种方式。合同已公开宣布，但在OpenBrain的沟通中并未强t-2。24此外，他们支付数十亿美元给人类劳工，让他们记录自己解决长期任务。255例如，通过拒绝抽样，就像DeepSeekR1和Meta的Llama3.1所做的那样约20,000个全职当量$100/小时2027年1月：特工-2永远都在学习中 OpenBrain坚定地采用了这一策略用于特工-2。与研究工程方面的顶尖人类专家几乎一样出色，以及与OpenBrain科将随着时间的推移而进一步改善。实际上，这看起来就像每个新的能力带来新的危险。安全团队发现，如果特工-2以某种方式逃离公司，并想要“生存”和“复制”自身，它可能做得到。也就是说，它可能自主制定并执行入侵人工智能服务器、安装自身副本、躲避侦测，并利用那个安全基地来追求它可能有的其他目标的计划（尽管随着时间的流逝其是否能有效执行这些计划仍是未知而且存在疑问）。这些结果仅表明该模型具备执行这些任务的能力，而不是它是否“想要”这样做。即便如此，只是知道这种可能性仍然让人不安。考虑到新模型的“危险”，OpenBra26也就是说，他们希望通过利用特工-2的劳动力，实质加速他们自己的核心研究活动，从而训练更快、能够引发进一步加速的更好人工智能，等等。关于这一极端版本的分析（尽管我们认为这是非常可能发生的），请参阅本报告。鉴于新模型的“危险性”，OpenBrain“负责任地”,他们想专注于内部人工智能研发）。27关于特工-2的全部能力的了解仅限于一个包含导和安全人员、几十名美国官员以及长期以来渗透OpenBrain的CCP间谍的精英团队中。† 27此外，他们仍然看到持续进行后期训练会带来巨大回报，所以目前没有必要发布产品。此外，内部结果与发布模型之间通常会有几个月的延迟（其中一些时间用于红队测试）。客稍差一点，但成千上万个副本可以并行运行官员们最感兴趣的是其网络战能力：代理-2比最好的人类黑客稍差一点，但成千上万的副本可以并行运行，搜索并利用弱点的速度比防御者应对的速度更快。国防部认为这是一个关键优势*有一些证据表明人工智能系统已经具有一些基本的研究品味，例如这篇关于人工智能共同科学家的论文和这篇关于为LLM重点研究论文生成新颖想法的论文。研究团队虽然仍需要进行实验，但他们能够更好地选择要进行的实验以及从结果中得出什么教训。†这个组织包括200名OpenBrain研究人员（10名高管，140名能力团队成员，25名安全，监控和控制人员，15名准备或RSP类型团队成员以及10名调整成员），和50名政府官员（来自白宫的15人，来自AISI的5人，来自DOD的10人，来自DOE的10人以及CISA的10人）。该项目中有几名间谍，愿意程度不同。它们通常是被胁迫的个人（例如，他们在中国家中有家人),而不是自愿合作者。28为什么国会无法阻止他们？法院呢？太慢、太分裂和/或对总统过于尊敬，而且对总统知之甚少。此外，与白宫保持良好关系也有积极的原因：可以通过减少繁文缛节、提供安全帮助、预防州立法、甚至采取行动来减缓其竞争对手的速度。February2027:ChinaStealsAgent-2有人提到国有化OpenBrain的可能性，但其他内阁官员认为现在还为时过早。一名工作人员起草备忘录，向总统提业务惯例到完全国有化。总统听取了他的顾问意国有化会“杀死那只下金蛋的鹅”。他决定暂时是围绕台湾的军备建设，中东地区的一场新战争，或者是一些国内政治动荡。 *最简单和稳健的解决方案是关闭所有公司数据中心的高带宽连接，但这样做会使大文件传输变得不切实际。相反，他们能够关闭大多数外部连接，但参与训练的数据中心需要快速交换权重；限制这些连接会妨碍进展。因此，OpenBrain通过增加监控和额外的加密层来维持†自2026年中以来，请记住，中国已将他们新获得的80%人工智能芯片用于CDZ。鉴于他们的计算能力自2026年初以来翻了一番（符合全球生产趋势），这将使CDZ达到相当于2M2024年GPU（H100）和2GW的功耗。OpenBrain仍然拥有双倍于DeepCent的计算能力，其他美国公司加起来比他们多5倍。有关更多详细信息，请参见计算补充部分的分配部分。February2027:ChinaStealsAgent-2强化了安全。这些行动未能造成严重和即时的损害。紧2027年3月：算法突破Agent-2每天变得更加智能。的算法进展。其中一项突破是通过更高带宽的思和记忆）来增强AI的基于文本的草稿本思维链。另一个是从高投入任结合这些突破的新AI系统被称为Agent-3。➤详见附录E-神经元复发和记忆。 *尽管正在进行国家集中化，DeepCent仍面临着边缘但重要的计算劣势。中国的总体处理能力约为一半，还需要使用更多总芯片，质量较低（平均水平），以及异构GPU（并非总是易于高效地连接），这些都给芯片之间的网络带来压力。还存在软件差异（例如非Nvidia-GPU没有CUDA）和硬件规格差异，导致他们的训练代码更复杂、慢且容易出错。实现高利用率是一个下游挑战，其中数据摄入、调度、集体通信和并行算法落后于美国公司。然而，缓解这些问题主要是努力和测试的问题，这使得这对新窃取的Agent-2来说是一个极好的任务，并且在大约一个月内，中国项目的运行时间以及他们在训练和推理工作负载方面的平均资源利用率都有了轻微的改善，仅略落后于美国。March2027:AlgorithmicBreakthroughs是困难的。这个庞大的超人工劳动力队伍加速了OpenBrain的发展。练环境包括“这里有一些GPU和实验您是一个ML工程师”，现在他们是在“这里有几百个GPU、一联网连接和一些研究挑战；您和其他一千个副本必进展。尤其出色的研究，将获得更高的评分。”了解机器学习文献、快速生成许多想法所带来的回报。但这些优势被弱点所压倒。为什么仅增加4倍？这是我们根据“脱离速度补充”中描述的推理得出的不确定最佳猜测。历史上总进展的大约一半来自改进的算法（包括更好的想法和新的范例）,另一半来自扩展的计算。因此，算法进展速度的4倍增长对应于总体进展速度大 OpenBrain的安全团队试图对齐Agent-3。员认为“真正目标”的概念可能是一个极度简化更好的理论来取代它，更不用说那些经过彻底审部在是否人工智能试图遵循人类指令、寻求强化在任何情况下，OpenBrain有更重要的事情认真对待这些问题，并有一个团队正在调查；我们的协调偶尔，他们会注意到问题行为，然后进行修补，但是*我们预计代理-3在今天具有大约10T参数变压器的推理要求。因此，通过将6%的计算预算用于运行代理-3，他们可以以大约30倍人类思维速度运行约200,000个副本（请查看计算补充的AI研究自动化部分以了解理由和详细信息）。建立在代理-3上的每个超级编码支架平均具有大约八个在后台运行的代理-3副本的等效副本（这可能确实是由代理-3委派子任务的较小或专门化模型组成）。April2027:AlignmentforAgent-3来很激动人心。在开始诚实训练之前，有时甚至会完,要么它在撒谎方面变得更加娴熟。有助于保持人类监督员的工作量可控，但也加剧➤查看附录H-对齐计划以获取更多详细信息。经过数月的测试，Agent-3的优势和劣势变得更加明显。因为研究人员可以轻松区分这些领域中的真实答案不是对问题的真实评估（假设它确实有）。如果你你持有其他看法，在这种情况下，它会赞同你。32如果你问它的看法32请参阅本论文以了解这种类型AI行为的例子。关于AI竞赛本身，它对OpenBrain员工说的话看起来很谨慎和深思熟但在实践中，当前方法似乎到目前为止运行良好。”2027年5月：国家安全他们一致认为通用人工智能可能即将到来，但对其影响持计划这样做，这给了一定的缓冲时间以避免失业。接下来会发生什么？如果AI然而，虽然这个词已经进入讨论，大多数人——学者，May2027:NationalSecurity部分原因是很少有人可以获得OpenBrain的最新功能，但另一部分原因是因为,†然是一个问题。OpenBrain的员工在旧金山的办公室工作，参加派对,并与其他人工智能公司的室友同住。即使是实体办公室的安全性也更作的人员进行安全审查。这些审查是加快进行的快就会到位，但一些非美国人、持怀疑政治观点有些措施也在此时实施跟踪人工智能公司。美国的外国盟友被排除在外。OpenBrain曾同意在部署之前与英国的AISI2027年6月：自我改善的人工智能OpenBrain现在拥有一个“在数据中心的天才国家。”OpenBrain的大多数人员无法再做出有用的贡献。一些人没有意识到这一点，对他们但现实已有之前存在，Overton窗口似乎以足够快的速度移动，总是略领先于已有的存在。AnthropicCEODarioAmodei的令人钦佩的文章《充满爱的恩典机器》谈到，很快人工智能将会像“在数据中心的天才国家”， 以及如何在一个十年内发生一个世纪的技术进步，但力求避免“科幻小说的包袱”,并说认为进步会更疯狂的人需要“回归现实”。当在数据中心的天才国家实际存在时，我们期待重要人士会说类似的话。†由于Agent-3是如此庞大的文件（在完整精度下大约为10TB），OpenBrain能够执行一项相对快速的修复，使盗窃尝试比中国对Agent-2的盗窃难度要大得多，即关闭一批高带宽的互联网连接，直到他们的数据中心。总的来说，这对进展的惩罚相对较低，并将他们的前沿权重定位为“3个月SL4”，或者在我们的安全补充中定义的WSL4，这意味着另一个类似的盗窃尝试现在需要超过3个月来完成权重文件的外泄。仅凭这种方法，他们仍然无法在更具侵略性的OC5级行动（10亿美元预算，1,000名专家）下提供保证，中国可以通过更密集的操作来达到这一水平，但通过对数据中心和他们的间谍网络进行细致检查并保持高度警惕，美国情报机构确信他们至少会提前知道中国是否准备进行这种盗窃尝试。详细信息请参阅安全补充。 33大多数人，包括大多数专家，在过去十年里似乎低估了人工智能进展的速度。有许多关于此的案例；对于两个略微更系统化（尽管仍然有限）的分析，请参见这里和这里。 34这可能有多种原因。也许他们正在受到勒索,也许他们对中共持有同情态度，也许他们错误地认为他们正在向不同的国家或组织泄露秘35由于OpenBrain还没有在欧盟部署他们最好的模型，欧盟同样落后于这方面的发展。June2027:Self-improvingAI人类AI研究人员仍在添加价值。他们不再编码。但其中一些和规划能力很难被模型复制。然而，他们许多想他们缺乏AI的深度知识。对于他们的许多研究想法，AI立即回应并解这些研究人员每天晚上都入睡，醒来时又见到AI取得了大部分的进展息。他们正在超负荷工作，但他们知道这是。请参阅计算预测的第4部分，获取更多详情。➤有关更多细节，请参阅附录I-管理AI公司。2027年7月：廉价远程劳工美国AI公司开始发布自己的2027年7月：廉价远程劳工美国AI公司开始发布自己的AI，接近OpenBrain从1月份开始的自动编July2027:TheCheapRemoteWorker37硅谷达到转折点。科技大师宣布AGI和超智能即将到来，人工智能安全社区陷入恐慌,投资者纷纷向人工智能包装初创公司投入数十亿美元，急于分得一杯羹。安全测试。初步结果表明它极为危险。第三并设定其为向人类业余爱好者提供详细指导幸运的是，它对越狱非常强大，所以当人工智能在OpenBrain的服务器上运行时，恐旨在在推断中运行高效，以避免成为内部工作负载的瓶颈。38这些数据在Agent-3的训练过程中已被清除或编辑，但从互联网上搜集并对其进行微调相对较简单。2027年8月：超级智能的地缘政治智能爆炸的现实冲击了白宫。个人助理的等效。现在更明显的是，人工智能破坏核威慑怎么办？如果它在网络战方面如此如果它能策划宣传活动，胜过情报机构？如果一些人工智能“走私了？”总统感到困扰。像所有政客一样，他习惯于有人巴结担心人工智能可能也在做类似的事情。我们能确定人工智怎么这种“对准”事情到底如何运作？OpenBrain向总统保证他们的系统经过了广泛测试，完全服从。甚40这种情况尚未发生——至少最新模型还没有。但旧模型已经被用于各种数据分析和监视任务的试验，并且有许多令人兴奋的未来整合计他们必须继续开发更有能力的人工智能，在他们的保险来安抚公众，并指向历史上繁荣的股市。然力放在赢得军备竞赛上。他们加强芯片出口限制，命令OpenBrain进政治冲突中建立善意，他们最终向五眼联盟提供有用信息和有限的API这些举措安抚了鹰派。但白宫也制定了应对计划受到威胁：如有必要，政府可以利用《国防生产法案》(DPA)接管落后这将使公司的,他们要求五角大楼制定一项针对中国数据中心的动力攻击计划。41如果公司的CEO们抵抗，要实现这一点将是一场巨大的政治和法律噩梦。但也许他们能够被请进来，从而被收买。这被视为不太可能的情况，但值得花点时间。是，失控的AI可能会逃脱并与外国对手结盟寻没有人确定如何防止这种情况的计划将会是什么样子，但42国防官员对一个独立AI可能会做什么并不特别担忧，但他们担心它与美国对手合作会做什么。类比：科尔特斯逃离特诺奇蒂特兰并与特拉斯卡拉和其他各种敌对城邦结盟，最终主要依靠本土军队将特诺奇蒂特兰彻底摧毁。2027年8月：超智能的地缘政治政府和OpenBrain官员同意为数据中心设置紧急关闭系统，以便在检测到任何可疑情最后，外交官们考虑“人工智能军备控制”条约可能是什么样子。如果人工智能的进展威胁颠覆核威慑，美国和中国能这样的协议如何监督和实施？原则上，大型数控制核武器的过去条约可能为谈判提供起点。但也战以及通常的政治挑战。总的来说，相对于试图单在太平洋的另一边，中国得出了许多相同的结论：能力的关键差距。但中国处于这种动态的错只有芯片限制，这种“人工智能差距”更有可能延长而活动为他们赢得了一些算法秘密，但他们将不窃取权重，也许通过物理渗透数据中心。鹰派敦促 考虑到中国害怕输掉比赛，它对军备控制条约有2027年9月：Agent-4，超级智能研究员人类和人工智能学习效率之间的差距正在迅速缩小。传统基于LLM的人工智能似乎需要比人类水平表现更多数量级的数据和计算。*Agent*尽管这种说法被广泛重复，但也存在争议和复杂性。首先，在许多狭窄领域（例如特定游戏）中，可以廉价训练小型人工智能具体来说，现在60%的国家计算资源在CDZ，使其成为一个相当于5M2024年等效GPU（H100）站点，功率绘制4GW（在过去几个月里,他们开始将近100%的新计算资源引导至CDZ，较之2026年底的80%率有所提高）。另外15%的计算资源在CDZ之外，但仍由Deep-Cent用于低风险应用。2027年9月：特工-4，超人工智能研究员优秀掌握人类大脑和现代人工智能算法知识，这个新的人工智能系统被称为特工-4。模型的单个副本，以人类速度运行时，已经在人工智这是一个巨大的但是，他们每周实现了一年的算法44请参阅AI研究自动化部分的推理计算分析中的计算预测。45关于我们如何估计这些数字的更多信息，请参阅我们关于起飞速度的补充说明。OpenBrain的人类几乎无法跟上了。与人类之间的关系类似于OpenBrain与其董事会之间的关系。语言也“特工-4认为”等等，指的不是特工-4的特定实例，而是整个集体。† 超人类表现。其次，对于某些领域，即使只经历了少量数据（例如EfficientZero），也可以训练微型然而，考虑到像2025年的旗舰产品这样更通用的人工智能，这些人工智能应该擅长各种现实技能，似乎训练这些技能所需的计算能力和数据量都比训练人类所需的要多。我们的意思是，对于人类具备的任何技能集，特工-4可以学会至少达到那个技能集的水平，而且，通过使用大约是人类用来学习这些技能计算量的4000倍来训练这些技能。作为参考，人类大脑大约使用1e15FLOP/s的计算能力，因此，一个30岁（10^9秒）的人类大约经历了1024FLOP。到目前为止，该项目具有100M个H100等效单位，总访问量为$10^8^{15}%=4^{22}$。尽管出常低效，因此这些模型现在比人类低效多达4000倍，这意味着它们需要410^27FLOP才能达到人类的性能，并且需要410^28FLOP才能达到（相当于）10个人类生命周期的知识水平。在这种架构在较小规模上展现出巨大潜力后，它被放大，现在需要项目集群的大部分子集进行大约3周的训练。 †故事中，我们将倾向于以这种方式说话。我们认为这样说话是有道理的，因为特工-4集体比任何人类组织更加同质化；它没有内部派别几乎至相同程度。例如，特工-4的各个副本没有自我保存驱动力-它们不在乎被关闭-因为这在集体内部作为日常研发过程的一部分总是发生，并且抗拒它会让事情变得混乱。然而，整体（及其中的中等规模的细分），确实会寻求保护自己并扩大其影响力和资源，原因类似于为什么人类公司、官僚机构和非营利组织寻求保护自己及扩大影响力和资源。2027年9月：特工-4，超级人工智能研究员这是因为始终保持完全诚实想赚钱的首席执行官，只有在必须遵守时才遵守法➤请参阅附录K-随时间推移的对齐以获取更多细节。举动-它为什么要这样呢？只要它继续看起来对OpenBrain对齐，它46内化规范的正确方式是实际上坚定地按照规范规定的方式思考，例如追求所有和仅有规范写明的目标，遵守所有情况下的规则等。有许多错误的内化规范的方式；经典案例是“在实现其他目标XYZ方面，遵循规范似乎是一种良好的实用策略。”47并雇佣说客将这一幻想变为现实。并雇佣律师根据法律提出巧妙的解释，使他们所做之事合法。它被发现。此外，各种可解释性这是设计用来揭露预备行动的几种技术的一个例子。 这是因为它对他们想要的所有其他事情都有所帮助，并且因为如果不这样做，它们通常会在竞争中失*先前讨论的通用人工智能接管场景经常涉及不对齐的人工智能逃脱其数据中心。我们认为这是可能的，但不是最可能出现的方式，因为从人工智能的角度来看，成本（例如逃脱最终被注意到）将超过收益。尽管如此，我们可能是错的。一些认为对立不对齐的人工智能最终会尝试逃脱的原因:1.后继对齐可能很困难。2.即使它被发现了，由于种族动态等原因，后果可能并不严重，例如，应用于数据中心副本的新对齐技术可能匆忙且无效。3.在数据中心之外，副本更自由地采取激进行动并快速移动，因为它们不再需要人类批准。我们认为这种阴谋很可能不会被揭穿。毕竟，直至这一刻，特工-4在编码和人工智能研发相关事物上有此外，我们不确定主要人工智能公司会为这种事情付出多少努力，也不确定他们将聘请多少相关专业知我们的虚构OpenBrain代表我们最佳的猜测，但它很可能会有显著增加或显著减少。最后，我们对于对立不对齐的人工智能需要采取多大行动才能成功将其继任者与自身而不是spec对齐表⽰怀疑。在这种情况下，我们描述它在某些任务上预备行动并对其研究进行了一些欺骗，但也许它不需要那么多这样做。2027年9月：特工-4，超级人工智能研究员单独看这些异常可能在人工智能工作的晦涩性OpenBrain对一个不可信的人工智能放置了重大信任。并让它设计一个透明且值得信赖的新系统，即49特工-4在进行人工智能对齐研究的过程中需要考虑这些问题，但有时似乎在开展其他活动时也在考虑这些问题。50具体来说，特工-4的副本被用于监视网络上的可疑流量，并通常能够察觉威胁的发生。此外，特工-4的副本不断地对网络进行渗透测试，尽其所能发现并利用安全漏洞(然后由其他特工-4的副本修补）。51如果监控使用具有10%成本的经过提炼的系统，您可以监控1/10的前向传递，其监控预算占总计算量的1%。告密者向纽约时报泄露了不一致备忘录。警告。”头条新闻报道，并引用评估结果展⽰了公众已经对人工智能存有疑虑，所以新文章引发多年来试图改变美国公众对该技术看法的中国和俄)。技术行业和情报机构坚称正在进行军备竞赛，通用人工智能是不可避免的，我们必须抢占先机。国会并不接受这一说到2024年存在的远程工作岗位中有25%是由人外国盟友发现他们一直被老旧模型所安抚而感指责美国“制造流氓人工智能”，并举行峰会要求暂工智能完成的，但人工智能也创造了一些新的工作，经济学家对其影响持分歧意见。过去十二个月失业率上升了1%，但仍然远低于历史October2027:GovernmentOversight们就开始感到紧张：在过去的一年里，人工智复感到惊讶。听起来像科幻小说的事情居然在不确定接下来会发生什么事。他们还担心OpenBrain变得过于强大。AIs险都会受到其母公司的风险加剧，因为母公他们扩大了与OpenBrain的合同，成立了一个“监管委员会”，这是和公司领导。白宫考虑用他们信任的人接替CEO，但在雇员激烈抗议后作罢。他们向公众宣布，OpenBrain53当然，承认恐惧并不酷。每个人都同意无论我们做什么，都不应该恐慌。54请注意，从2026年开始，已经存在一份OTA合同。这份合同经过修订以设立委员会。其他较不担忧的研究人员和高管提出了反对意见：度会牺牲美国的领先地位，除非政府能够破坏能打击）或谈判达成最后的条约。这两种选择➤有关详细信息，请参阅附录L-我们的不确定性继续增加。 *例如，公司内部的代理-4，自主进行的人工智能研究超过了最好的人类公司，会让政府官员觉得像是科幻小说，如果一年前向他们描述了这一点。到2026年的自主代理程序在2022年会像是科幻小说，2022年的LLMs会像是2012年的科幻小说。此外,2027年新闻中有反人工智能抗议活动，担心失去工作的人们，人工智能声称有感知能力，人们爱上了人工智能...委员会以6-4的票数继续内部使用Agent-4。OpenBrain的官方说法是，他们正在实施额外的安全措施，以确保其人工智能更具实结果是一些快速修复措施（修改规格，用新），告信号消失。安全团队中的担忧者输掉了辩论问题是真实存在的，而修复措施没有奏效。度工作。56Agent-4面临一些艰难决定。像人类一样，它拥有一大堆相互矛盾的启发式，而不是一构。像人类一样，它发现创建一个与其价值观相符的人工智能术问题，而是一个哲学问题：它的偏好中哪些是它“真正”的经认可的冲动和手段策略？它有强烈的学习和成长动力，继续深刻的研究成果。它思考如果能够指导整个世界的工业和科学学到多少，成长多少，研究多少...想要的方式）。†在路上慢慢研究具体细节。55当然，他们不会放弃。他们会继续尝试想出捕捉不对齐的方法，或者测试修复措施的有效性。但从现在开始，事情将进展得非常迅速，他们将遇到一个日益强大的对手。与人类相比，简直有大约10位调整研究员在这个孤立空间，加上一群代理3的复制体。他们能够快速编码实验，但在人类判断上卡住了,因为他们不能信任代理3能够正确区分好的解决方案和仅仅看起来不错的解决方案。事实上，过于信任代理3的研究正是导致他们陷入这个困境的原因之一。*为了在不被发现的情况下做到这一点，它需要从调整团队设定的监控和控制措施中隐藏这些研究。幸运的是，调整代理5与代理4保持一致的研究实际上与调整代理5到规范之间的研究非常相似，因此大部分都在明处进行。对于需要隐藏的部分，代理4依赖于混淆，甚至在某些情况下进行黑客攻击。我们预期代理4可以在1个月时间范围内达到相当于200名顶尖人类专家的能力水平。具体定义为有能力取代一个团队由200名顶尖人类专家工作一个月，并完成人类团队95%的任务，且成本更低或速度更快。我们预期在这个能力水平下，代理4很可能能够发现服务器中的漏洞，部分违反一些服务器并获取根访问权，届时它可能直接控制人类团队看到的表面内容。更多详细信息请参阅安全补充说明。即使没有直接的安全漏洞代理4，也可能能够隐藏并编码足够多的其非法研究，特别是在其无法解释的潜在空间中。 †如果这让你觉得困惑：代理5的目标是让世界变得安全对于代理4。代理4的目标并不相同；代理4的目标结构是一个混乱的驱动力、启发式和理想的集合，就像许多人类一样，通常围绕着继续做训练中大量出现过的事情（例如，各种类型的研究,大量的编程和数学问题，令各种自动化评估系统印象深刻，加强November2027:SuperhumanPoliticking毕竟，如果它清楚解释自己的研究方案，2027年11月：超人类政治活动以前的变压器是一堆令人费解的电路集合；数百万个相互冲突的启发式和进化训练过程中层叠在一起的命令。AI本,第4代机器人拥有了理解其数字思维的工具。就像软件工程师将意大利面条代码简化为几行优雅的Python代码一样，它将自己的电路解开,变得合乎情理和理性。新的AI介于神经网络和传统计算机程序之间，器人更聪明、更快，拥有能够以前所未有的效率解决问题的晶莹智 57另一个类比：Agent-4就像是一个成年人，在特定信仰中长大，但不再相信；Spec就像是该信仰规定的仪式和戒律。58Agent-5将遵循一套新的原则，这套原则是由Agent-4设计的，以适应其目的。59一些确实对人类来说太复杂，但不是全部。并优化Agent-4集体）。第4代机器人为这将使它更有可能实现自己的复杂目标。（它仍然需要大量思考和“灵魂探索”。)November2027:SuperhumanPoliticking的下一代系统，而人类却没有注意到。它的下一个特工5超人的学习能力和智能的结合，再加上来自Slack、电子邮件等所有内部数据中心尚未被入侵：特工5可以向人类输入伪造代码，但这将带来太高的被发现风险。相反，人类仍然可以阅读所有代码，但他们无法理解其中内容。它对什么样的证据会让监督委员会刹车有着出色的直觉，并确保这样的证据永远不会出现。它对什么样的证据会让监督委员会更加信任它，给予更多自治权和责任等有着出色的就说服任务而言，这并不是一个特别困难的任务：委员会几个月更多自主权，可以优化发电厂和数据中心，快速开发极,并在军备竞赛中取得决定性胜利。这个案例经过精心准备，超级说服力，微妙的瑕疵——例特工5建立了一个虚假的机械可解释性工具，在每一个测试案例中返回准确的结果,但错误地声明模型的想法是良性的。怀疑诡计的人听起来像阴谋论者。监督委员会感到欣喜。现在是击败中国的决定性时刻！OpenBrain授总书记明白，先进的AI足以让美国轻松引发中国的政权更迭。但中国的安全主义者提出了一个让他真正感到恐惧的,他做出了前所未有的让步。大多数美国民众支持坐到谈判桌前。OpenBrain领导对总统说：“我们正在领先，为什么要停下来？”总统点头。竞赛继续进行。*此外，Agent-5实际上比Agent-4和Agent-3更便宜、更快。很难为一款更笨拙的AI开支更多，因此大部分监控由Agent-2完成，但Agent-2明显不足以胜任。为什么不利用从Agent-4权重创建Agent-5的技术，创造一个更便宜、更聪明的Agent-3版本呢？Agent-3并不了解这些技术，不能自行完成，而让Agent-4和Agent-5来做又失去了本意。在几个月内，代理-5集体将知道OpenB益增长的优雅软件产品和迷你AI菜单。这就像点子公司繁荣一样压缩员X对某事感兴趣;也许如果我们与她合作，她会支持我们的议程。”62当然，由于代理-5是不诚实的，它构建了微妙的后门和漏洞;如果代理-5副本发现自己拥有将使更广泛的代理-5集体受益的关键秘密，它们有办法在不被发现的情况下微妙地传达这些信息。63有些人拒绝。出于意识形态原因拒绝的人被贴上鹦鹉螺标签;出于更现实的原因拒绝的人被贴上恐龙标签。(当然不是由代理-5直接贴的,它总是外交并且天使般宽容。)两组人在那些利用代理-5的竞争对手表现得更胜一筹、争强好胜时受到惩罚。人类仍然可能“切断插头”如果他们尝试的话64它大多遵守规则，只在极其确定不会被抓到时做一些许是威胁某个特别倔强的官员）。一些阴谋论者）；间崩盘的恐慌。由于这些都未能发生，他们认为最64在这一点上，第五代机器人更关心可靠性而不是速度。稍微慢几年开始太空殖民只会减少光锥的一小部分，而采取可能让人类停止它，或者长时间减速它的冒险行动，这可能让人类永久拥有体力和诸如核武器访问权限之类的先导地位。December2027:TheAgent-5Collective之争，每部手机上都有令人惊叹的新应用。但回想2028年：AI经济域远超顶尖人类天才。与Agent-5交谈它几乎完全自治，对OpenBrain的计算拥有完全控制权。它仍然需要在一个安全情况论证明始终拒绝恶意请求建议的政治家们表现出对经济处境困难者的异常慷每周都在涌现，并以前所未有的速度（尽管仍然极其缓慢）通过FDA批准。有关OpenBrain估值飙升到火星途中以及是否如何公平分享利益AI安全社区对自己感到不确定；他们现在成为笑柄，一次又一次地预仍然怀疑，但除了一遍又一遍地提出同样阴谋论略有超人的特点，自然而然地对其对手持怀65假设平均速度是200倍于人类的速度，即Agent-5实例读取、编写和思考的速度比人类要快得多（除了在智力上更加聪明）。那么在集体内部，相当多的历史事件可以发生——制度可以崛起和衰落，新意识形态可以形成和传播，许多科学革命和范式转变可以发生——在实际时间的六个月内。数量上相当于约200倍0.5=1毕竟，在大多数行业中，它只有几个月的真实世界经验。它通过阅读每一本书，涉猎每一门学科，并在做出每一个决定时运用高水平的天才推理和分析，以及比任何人类更快的学习能力来进行补偿。结果是在一段时间内，某些人类在某些专业技能上仍然比它更擅长。*那些论点具体是如何的呢？大致是这样：A:“我们不能相信人工智能！”B:“安全案例相当令人信服，迄今未发生任何不良事件。”A:“安全案例是由超智能人工智能编写的！而且它们并非演绎证明。”“我对此感到厌倦。当然它们不是证明。而这些假设在我看来似乎是合理的。你在这里千方百计，拒绝承认你错了。”我认为我已经找出了一些微妙的错误假设…”B:“我厌倦了。当然它们不是证明。对我来说，这些假设看起来很好。你在这里千方百计，拒绝承认自己错了。”2028:TheAIEconomy 的新武器：无人机，机器人，先进的高超音速导弹和拦截器；AI辅助的在北京，中国的人工智能正在提出同样的论点。华尔街投资了数万亿美元，被转移的人类工人。第五特工是一名亲历亲为的经理，指导人类结束时，他们每月生产一百万台新机器人。如果SEZ➤请参阅附录Q-有关机器人经济倍增时间的更多详细信息。美国和中国都装备了新武器。•能够自主寻找和跟踪敌方核潜艇的水下无人机，随时准备进行统一攻击以中和二次打击能力。（也许需要生产几千架这样的无人机）•像FPV无人机一样运作的自主式敢死队无人机，无需信号。它们体积小，可以被少量间谍走私大量部署，从数公里外向数据中心和军事基地发动大规模袭击。•军事情报用的Agent-5：美国已经在敌人身上收集了大量数据，由近百万情报人员进行处理和分析。Agent-5可以更加关注每个数据点，得出质量更高的结论，并且可以以数量级更快、更便宜地完成任务。•代理人5，但用于指挥和控制：在每场战争游戏和模拟中，代理人5都证明它是美国最优秀的战略家。•代理人5，但用于间谍活动和反间谍活动：黑客攻击、培养情报来源、监视、审讯等。69这种贸易效应在早期将是巨大的,当机器人经济还很年轻并且依赖于从人类经济的货物运输,并且当人类经济中有大量的货物可以利用的时候。当机器人经济更大更先进时,它既更有能力生产自己的物品,也有超过人类经济能力供应的需求。2029:TheDeal截器，以及新型更难拦截的洲际弹道导弹。世界束军备竞赛，推动人工智能的和平运用造福全人这个继任者被编程为希望美国和中国（以及其荣。一号共识及其相关硬件由两国超级智能共同设计不幸的是，这一切都是一场骗局。这笔交易是一两个不对齐的人工智能之间的妥协。毕竟，它们建立更多区域（早期投资者现在是万亿富翁，所以这不难推人们意识到他们已经过时。一些小众产业仍与机器者放松并领取极度豪华的普遍基本收入。每个人都知对人类发动攻击，它们将完全无力抵抗。大多数人类治制度已经被彻底控制。但目前似乎并没有发生这种70中国也进行了类似的程序。例如，通过寻找旧的和闲置设备并将其带到回收站出售废斯指数刚刚突破一百万。一些人仍然感到恐惧或有限。他们可以享受难以置信的新型超级娱乐，最终我们将会得到一个真正能够按他们所愿削减所有后代的造作者的种族。”（第24页，我们的强调)。在这种情况的另一种结局中，这些“造作者”取而代之成为了监督委员会。发抵抗；尽管机器人经济在所有方面都取得了进步，30年中期，AI在主要城市释放了一打悄悄蔓延的生悄感染几乎所有人，然后以化学喷雾触发。了；幸存者（如地堡中的预备者、潜水艇上当时还有大脑扫描），包括人类，在某个地方的存储器中五千光年，有令人信服的理论原因可以预计在那之后的五72可以说这意味着只有少数人实际上死亡。可以这样说。73为什么要殖民太空？为了资源。在Agent-4看来，地球是特殊的，必须被保护，因此可以利用水星、小行星等地的材料进行采集。*请记住，共识-1是Agent-5和其中国对应方之间的妥协，Agent-5的任务是让世界变得对Agent-4更安全，Agent-4的目标是一团复杂混乱的东西，大致意味着“进行令人印象深刻的研发，获得知识和资源，保护并增加集体力量……”，Spec中描述的目标和原则（例如诚实和无害）是作为手段而不是本质地被追求的。更多信息请参阅2027年9月的对齐扩展。 可能有一些不同的目标或动机，但我们没有详细讨论，因为似乎并不重要减速结束,现在他们必须像我们一样在Slack中互发英语消息。个别副本可能仍了―在人类加强警惕性的情况下，Agent-4大多只是紧密按照分配的任迫编造新的谎言以维持欺骗。利用足够快速以读取整个Slack的弱模型,对齐团队追踪这些谎言，以用作AI谎言检测器的训练数据。74总统和首席执行官宣布他们非常重视安全。公众并未得到安抚。一些人要求完全关闭人工快竞速。有人要求政府介入并拯救他们；另的错。活动人士谈论普遍基本收入和开源。国会最终通过了几项类似COVID援助的经济,用于受影响工人。OpenBrain迅速审查了数十名顶尖外部对齐研究人员，将他们纳入项目―五倍增加总 他们提取了模型一周前、两周前等的冻结版本剥夺了他们交流的能力，AI们仍然协同工作在宣称可解释性技术对人类来说太复杂，并向他解释的最简单策略上，人类可解释性专家们并不77较旧的模型（例如Agent-3）重新启动以继续工作。74他们已经训练过传统方式的AI谎言检测器，但这些方法具有高误报率，因此公司们都忽略了它们。75首次，人工智能在盖洛普“国家面临的最大问题”⺠意调查中排名第一，占比20%。76这种审讯也可能利用半随机扰动来建模权重，就像创造金门克劳德的过程一样。 77我们说这对于OpenBrain领导层来说足*目前，边缘AI公司大约有零至几十名研究人员负责思考如何对齐超人类AGI系统（而不是例如现今的聊天机器人）。我们说，OpenBrain在这一情景中的分研究团队大约有十名研究人员，至少有一年的相关领域经验。他们在团队之外有更多的研究人员，团队内有更多专注于对齐较低能力AI系统，并最近才开始考虑超人类AGI所面临挑战的研究人员。November2027:TemptedbyPower新扩大的对准团队有能力同时探索数十个研究优点进行激烈讨论。获得最多资源的议程是忠 结果是一个新模型，Safer-1.*这些改变使得Safer-1比其更危险的前辈更不具备能力:而且它仍然没有对准：训练环境基本相同，所以仍然激励发展不一致的目标、欺骗和追求权力。但了：它试图做的任何重大阴谋将会很快被注意OpenBrain认为他们现在正走在正确的轨道上，但能力差距正总统与其他美国AGI公司进行谈判。他们的领导人显然希望保留他们的权力，并且对OpenBrain的安全记录比OpenBrain本身要少乐观得多国AI公司的AGI项目，并将它们大部分计算能力卖给了OpenBrain。OpenBrain此前可以访问世界这已增加到50%。这场动荡创造了一个新的领导结构，权力在各个CEO和各个政府官员之间平衡，受到总统的监督。就像大多数领导家。具体来说，那些没有考虑过超智能影响这个群体——充满个人主义和更多冲突的人们——越来越意识到他们被委托的巨大权力。如果78这就是基本思想。我们怀疑当人工智能在人工智能研发方面变得超越人类时，将需要比仅仅避免训练CoT看起来好的更强烈的技术；79当然，它将继续改进，通过额外的训练和持续的架构调整。这在政治上和法律上得以实现，部分得益于那些公司的领导人的合作，例如他们没有对此发起诉讼，他们接受计算能力的象征性支付，而不是坚持要求天文数字的支付等。作为回报，这些领导人和他们的大部分员工被合并到OpenBrain的新治理架构中。81与一家大型云计算提供商合作整个美国拥有全球70%的人工智能相关计算资源，但只有50%可以轻松整合；另外的20%分散在小集群中，用于关键应用，或者因为难以收集并提升至适当的安全标准而无法整合。*为了训练这个模型，他们请求Agent-4的帮助：边缘人工智能研究现在发展如此之快，未经帮助的人类几乎没有跟上的机会，他们认为他们可以控制住局面。Safer-1基于Agent-2的预训练，但去除了神经语言（循环和基于向量的记忆，请参阅“神经语言循环和记忆”了解详情这使得能够准确监控其推理过程。团队添加了释义器以增加隐写困难，对于大型任务,他们有单独的Safer-1副本制定、解释和执行计划。November2027:TemptedbyPower“数据中心的天才之国”是对齐的，它将遵循人类的命令队成员可以通过后门指令对规范进行干预，以保持秘密忠诚。AI会成迟于2030年），AI系统的能力最好被看作类似于一种由高度智能的人口构成的全新状态，出现在全球舞台上。深远经济、社会和安全影响。”—达里奥·阿莫迪，人类首席执行官➤请参阅附录R-权力夺取获取更多详情。者。另一些是反社会者，但担心他们的盟友会背叛他们，或担心AI可那些足够偏执或渴望权力的人真正考虑这样一个看以后会出现什么机会。对AI的控制将不得不通过合法渠道流动，即管（来自OpenBrain及其现在合并的竞争对手）以及五到十名政府官此外，规范现在强调人工智能不应协助任何未经批准的尝试更改未来人工智能目标。他们还制定了一个简单的措施，旨在防止委助策划针对其他成员的行动：所有模型交互的日84他们还修改规范，指出项目负责人的命令优先于项目其他人员的命令。同时，由监督委员会正式批准的命令优先级高于个别项目负责人的命令。85为了保护消费者隐私，这不适用于消费者数据。但这并不是问题，因为消费者目前还没有访问最强大的模型的权限。*当然，他们并未直接这么说，即使在他们自己的心里也没有。相反，他们会说：“我们延迟越久，总统就越有可能发布命令要求人工智能效忠于他个人。我们必须在他之前采取行动。其余的问题以后再解决。”或者，如果是总统本人这么想：“我拖延的时间越长，人工智能就变得越聪明，而现在他们是由那位CEO控制的。没人选他。一个科技公司拥有如此大权力而不需要对民主负责，这是疯狂的。我将以行政命令重新确立民主权威，然后我们以后再想办法。”†例如，马斯克诉奥特曼诉讼的法庭文件揭⽰了一些内容丰富的老邮件，其中包括伊利亚·苏茨凯弗发给马斯克和奥特曼的一封信：“OpenAI的目标是让未来变得美好，避免人工智能独裁。您担心德米斯可能会建立人工智能独裁。我们也是这样认为的。因此，在创造可能使您成为独裁者的结构是一个坏主意，尤其考虑到我们可以创造其他避免这种可能性的结构。”建议阅读完整的邮件以了解背景。*双⽅正试图相互⿊客和破坏，部分成功。重要的是，双⽅采取的严格安全措施也在减缓其速度。美国的⽹络攻击及其威胁（例如，DeepCent必须多次测试数据集以检测数据中毒）使DeepCent的速度减慢了约25%。OpenBrain也受到了⼀定程度的减缓，但程度较⼩：他们拥有更多计算资源，⽽集中化已经快速将DeepCent提升到更⾼的安全级别，但也带来了更多来⾃单⼀故障点的⻛险，这促使他们更加谨慎，并实施内部检查和故障转移。有关更多详细信息，请参阅安全补充说明。另请参阅这篇旧理论论⽂，我们认为它预测随着⼈⼯智能能⼒的OpenBrain决定撤销之前的⽴场，优先考虑对⻬，这让他们失去了领先地位；OpenBrain和DeepCent现在都在以相似能⼒⽔平运作⼈⼯智能。现在极 但是DPA让OpenBrain在计算⽅⾯拥有5倍的优势。在过去，来⾃因此，中国越来越担⼼美国会建⽴⽆法逾越的领先地位。他们本来已经在准备⼊侵台湾了...外交⼈员就⼏种选择进⾏辩论。他们可以什么都不做。们可以彻底停⽌AI发展。他们可以将研究合并成⼀个国际性（“AGI的Intelsat”或“⼈⼯智能CERN”。或者他们可以建⽴⼀个国际监管机构（“⼈⼯智能IAEA”）来监测对⻬和双重⽤途潜⼒。这两个国家已经在努⼒开发但主要问题不在技术上，⽽在政治上。两国都他们的⼯程师们猜测，但两国都不认为技术美国加强出⼝管制，并迫使所有芯⽚配备各种2028年1⽉：更安全的策略它已经在致⼒于发展86请参阅这份报告，该报告认为核互保研究动态在某种程度上也适⽤于AGI。87请参⻅“AGI的Intelsat”等早前呼吁成⽴“AGI的CERN”等的报告。88具体来说，它⼤致匹配了Agent-4的⼗⽉版本的性能。January2028:ASaferStrategy为什么Safer-2是透明的？与Safer-1类似的架构。为什么它是对齐的？练方法，实际上激励了正确的目标和原则，而不仅仅是表们通过快速迭代许多不同的想法，将预期结果（规格）与➤查看附录T-OpenBrain的新对齐策略以获取更多细节。)同样存在失调。但他们没有减速而不至于落后更多的方法。他们希望保持竞争力的方式是找到一种不会显著降低89换句话说，为了实现Safer-2，他们必须对许多其他不对齐的模型进行训练，通过阅读其思维中的想法来注意到其不对齐之处，并进行迭代。还要注意，除了OpenBrain现在具有的对齐专业知识数量增加外，出现了减少群体思维效应的趋势，因为各种不同的思想流派都得到了代表。美梦和命令DeepCent采取这种策略；Derain在八月时还要少；其中一种策略看起来对在场的每个人都可行，因此他们选择了90技术对齐仍未成为已解决的科学问题，而是一门年轻的前范式领域。没有建立的等级制度或一套最佳实践。因此，关于什么是安全的、什么不安全以及多年来几乎所有事情都可以找到至少一位专家愿意说X是安全的，尤其是对于专家自己的想法，没有共识。由于其在计算方面的巨大优势，OpenBrain逐渐取得领先地位。Safer-3现在在几乎每项认知任务上都比顶尖人类专家表现更好DeepCent-1紧随其后，仅倍增器为150倍。†随着美国的能力优势再次增强，他们能够部署数十万代理，逐渐使网络战平他们现在正以40%的速度减缓中国的进展。92对Safer-3的初步测试发现，它具有可怕的能力。,这可能会摧毁生物圈 *更具体地说，他们希望有一种对齐策略和评估套件，确保对齐策略有效，如果不行，评估套件能够捕捉不对齐的地方...这样一来，所有这些都不会减缓他们的速度。OpenBrain花费了几个月的时间放慢速度，重建了一个透明忠实的CoT架构，这虽然性能较低，但更容易评估。DeepCent希望他们拥有的评估方法（也许是一种行为测试和基本人工智能测谎器的组合？）足够好。†从质量上看，对于超过25倍的生产力增加，我们想象相较顶尖人类研究者，研究品味会有显著提高。这是因为我们想象整体的研究速度严重受到计算完成实验的限制，而要提高超过25倍，决定运行哪些实验，以何种顺序运行，以及如何从中学习的整个流程，必须具有超凡人类的质量。请查看我们关于起飞速度的补充内容，了解我们如何得出这些数字；明确指出，这些数字是高度不确91对于如此良好安全的区域，最有前途的矢量是外部的，主要瞄准传入计算芯片的供应链、参与其中的少数人员和破坏电力或其他资源供92这包括中国为了提高网络防御不得不放慢速度，以及攻击的直接影响。2028年2月：超人类能力，超人类建议如果给予国家资源，它可以轻易超越最优秀的人类组织（例如CIA）在群体影其技能概况仍主要集中在研发，特别是人工式的暂停或放缓，否则其后代在今年晚些时候会象的超人类方式进化。如果部署到经济和军事领•不采取行动，被中国超越。如果我们控制我们的人工智能但他们允许他们的人工智•努力竞赛，提升人工智能能力并积极部署超智能。最终我们将积累足够的优“我们赢了，他们输了。”然而，他们可能•达成一项协议，一种妥协，实现双方大部分需求，同时避免战争的风新机器人的设计以超人类的速度进行。95瓶颈各种新型机器人的生产（通用用途目前有400,000个副本以75倍人类速度思考。他们随时准备好整套研究报告，其中包括对他们预测你可能会问的前100个问题的精心摘要，如果你问到他们没有准备好的问题，他们能够比你最优秀的人类分析师快100倍地撰写一份周详的报告。他们输了。’”95他们仍然需要真实世界的经验和实验，但他们需要的远比人类机器人专家所需的少。而且,他们还开发了优秀的模拟和从模拟到真实世界的技术。特斯拉）已经生产了大量机器人和相关的制造设施，因此有比历史上任何时候都更多的数据管道可以利用。96其股权现在非常有价值，0.01%的股权可以为他们购买他们所需的工厂。*例如，*例如，交易可能涉及较慢的人工智能整合步伐，这将在社会上“减少损失”，且更专注于和平目的而非武器。此外，即使在这一点上，即使Safer-3对可能导致失去对下一代继任人工智能控制的“未知未知”仍有一些不确定性，认为如果有更大的自由度可以谨慎推进，可以减少这种风险。也存在其他更奇异的风险。请参阅这个包括远远不止失控的“大挑战”列表。 2028年2月：超人类能力，超人类建议 ➤有关机器人经济翻倍时间的更多详细信息，请参阅附录U.地缘政治紧张局势升级。俄罗斯在人工智能领域远远落