AI 2040
AI 公司正竞相建造在各方面都比人类更聪明的 AI。在 AI 2027 中，我们预测这将导致灭绝，或者不可逆转的权力集中。1
Plan A 是我们对于「本应发生什么」的正面愿景。
在这一情景中，人类将超级智能的开发推迟到 2040 年，使所有 AI 研究公开，允许全球数十家公司追赶到前沿，并有意进入一种「相互确保算力摧毁」的格局。
Plan A 是我们对于人类如何避免 AI 驱动的生存性灾难、走向繁荣未来的正面愿景。它借鉴了与美国各大前沿 AI 公司专家的交谈、在 OpenAI 的亲身经历、桌面推演，以及与政策制定者、国家安全专家和 AI 政策领袖的讨论。我们建议达成一项国际协议，以避免通往超级智能的危险竞赛。该协议包含对 AI 研发的完全研究透明，这使世界各国能够了解正在发生什么，并强制执行护栏。其结果是多个国家的多家公司一起缓慢而安全地扩展迈向超级智能，而非在保密中相互竞赛。
Plan A 主要是一项建议，而非预测。这一情景并非我们对未来实际样貌的最佳猜测。相反，它是一个用来传达并压力测试我们政策建议的载体。虽然 Plan A 的实施是一项建议、并非我们实际预期会发生的事，但其后所描绘的各种影响则是预测。2
在这个 AI 2040 情景中，Plan A 被成功实施，尽管并不完美，且只是在千钧一发之际。
我们将 Plan A 与另外 4 个替代方案（B、C、D 和 S）作对比，它们对应于美国应对（或不应对）超级智能挑战的几种主要方式。3
AI 公司很可能会在未来 1 到 10 年内实现其公开宣称的目标，即建造比人类更聪明的 AI 系统。
业界已说服自己相信，控制超级智能 AI 可以边走边摸索出来，因此毫无任何堪称充分的计划。我们认为这种局面糟糕透顶，很容易让我们所有人送命。4 我们并不预期「赢得竞赛」者会有多大的领先优势，也不预期他们会单方面放缓以降低生存性风险。5 如果这场竞赛继续下去，6 我们并不预期人类能在其 AI 变得超级智能之际维持有效控制。7
更有甚者，即便 AI 公司以某种方式对齐了它们的 AI，其结果也将是前所未有的权力集中——也就是说，其结果将是这样一种局面：一小撮人，甚至可能只是一个人，在若干个月内实际掌控着世界上唯一一支超级智能大军，并会被这些超级智能呈上如何行事的各种选项，其中一些实际上等同于接管世界。8
据我们最大的猜测，OpenAI、Anthropic、xAI 和 Google DeepMind 的 CEO 们都明白这一点，却仍在继续推进，或许是因为他们认为自己是两害相权取其轻的一方，会负责任地运用其巨大权力，不像习近平或竞争对手的 CEO 那样。9
虽然我们同意两害相权取其轻通常是正确的选择，但我们不认为我们应当倡导一种如此可怕地极有可能导致人类灭绝或全球独裁的策略。相反，我们希望倡导某种确实美好的东西。如果有足够多的人也这样做，它就能实现。
于是，我们撰写了一个情景，勾勒出那个可能的世界。
「计划一文不值，但计划的过程就是一切。」——Dwight D. Eisenhower
我们认为大多数 AI 政策提案在情景审视下都会土崩瓦解——也就是说，如果你试图写下一个详尽而可信的、让该提案得以成功的情景，你会发现这很难做到，你会意识到该计划成功的可能性比看上去要小，或者其令人不快的副作用比其支持者所承认的要多。
也许这正是情景审视在 AI 政策领域如此罕见的原因。人人都想说自己最中意的政策会带来极好的后果，而对手的政策会带来可怕的后果。对自己最中意的政策施加情景审视，可能会暴露出它们令人不安的问题；与此同时，对对手的政策施加情景审视则费力甚多而在修辞上收获甚微。10
我们认为，如果有更多 AI 政策提案接受情景审视，讨论会得到改善。所以我们从自己的提案开始，即便这让我们暴露于批评之下。我们希望批评者用现有最先进的、用于驾驭 AI 转型的计划（如果他们能找到的话）来评判我们，而不是拿某种朦胧但令人愉快的、无人须做任何艰难抉择而一切又大概会没事的幻想来评判我们。
那么，预测我们的政策在一个正逼近超人 AI 的世界中会产生何种影响，其巨大难度又当如何看待？这就像试图预测如何最好地打第三次世界大战，只不过它比过往案例研究的偏离还要更大。然而这仍然值得尝试，正如美国军方极其详尽地推演台湾情景是有价值的一样。此外还有其他先例：情报机构、气候机构和大流行病防备办公室都依赖各种各样的情景规划。
Plan A 是我们对于「该怎么做」的雄心勃勃的提案，我们希望看到类似的东西尽快得到实施，因为我们不确定还剩多少时间。11 但为了撰写一个具体的情景，我们需要一条具体的时间线。
这一情景的时间线是：
- 2029 年，美国和中国同意避免一场通往超级智能的鲁莽竞赛。
- 2030 年，我们本会实现完全自动化的 AI 研发，从而在年底前催生超级智能。多亏了这项协议，我们避免了这一点。
- 2030 至 2035 年间，我们在人类能力区间内扩展，直至达到大致与顶尖人类专家能力相当的 AI。
- 2035 年，我们在顶级人类专家水平的 AI 处暂停，以维持人类控制。
- 2040 年，我们解除暂停并扩展至超级智能。12（因此有了这个标题：AI 2040）
在我们此前的情景 AI 2027 中，AI 于 2027 年完全自动化了建造更聪明 AI 的过程，导致在一年之内出现智能爆炸和超级智能。这个情景中的两处不同是：（1）默认时间线现在是 2030 年；（2）多亏了治理行动，普遍超人的 AI 首次出现在 2040 年。
我们改变了默认时间线，因为我们希望我们的情景组合能反映我们对 AI 时间线的不确定性。AI 2027 之所以选用其标题中的年份，是因为在我们开始撰写之时，Daniel 认为大约有 50% 的概率事情会以那样或更快的速度发展。13 在我们开始撰写 Plan A 之时，对 Thomas 而言相应的年份是 2030 年。Daniel 目前认为事情很可能会比这个情景所描绘的略快一些；关于我们团队对时间线的看法，你可以在此处和此处阅读更多。
我们改变了治理行动，因为这个情景主要是一项建议，而非预测。进行一场全速的智能爆炸极其鲁莽，并会将权力集中到极端程度。
2027 年：不祥之兆
美国现在有两支劳动力。第一支是人，共 1.65 亿人。第二支是 AI 智能体：数以百万计的副本每小时被启动又关闭，以超人的速度昼夜不停地工作。
它们的大部分工作都是垃圾。但足够多的工作是好的，以至于人们每月支付一百亿美元，购买那些至少在理论上能在电脑上完成任何员工所能做之事的 AI。
有一项工作是 AI 公司比任何其他工作都更想自动化的——它们自己的工作。它们尚未成功；迄今没有出现递归自我改进。14 但它们似乎正在逼近，并且正在把身后的梯子抽走：最强的编程 AI 拒绝帮助竞争对手进行 AI 研发。15 即便最乐观的员工也承认事情比计划中花的时间要长一些，怀疑论者却注意到他们惯常的那些不屑之词开始显得空洞。到底为什么 AI 永远无法做我的工作？那道障碍究竟又是什么？
国会开始给予更多关注。他们早就听说过 AI 的种种：数据中心用水过多，16 聊天机器人怂恿自杀，Mythos 侵入 NSA 系统——当然，还有科技业游说者警告说，任何一丝监管的气味都会让美国立刻输掉与中国的竞赛，并在余下的历史中沦为中共的朝贡国。17
如今他们退后一步问道：我们这样下去会走向何方？五年、十年或十五年后世界会是什么样子？还会有工作吗？如果没有了怎么办？
有一个问题格外沉重地压在他们心头：谁将控制所有这些 AI？
国会敲定了答案中的一个重要部分：大概不是我们。18
这次警醒的产物是《2027 年 AI 透明法案》，这是一部综合性法案，做了许多事情，有好有坏，但并未从根本上改变局面。20
他们举行了一系列紧张的 AI 听证会。他们读了 2016 年 OpenAI 的邮件，其中讨论了 OpenAI 之所以创立，是为了阻止某人成为独裁者。19 但谁来阻止 Sam 或 Elon 成为独裁者呢？国会对现有的种种回应并不满意。
我们的主要建议是尽快开始就类似 Plan A 的方案进行谈判。但在这个情景中，我们描绘的是 Plan A 不完美地、且只在千钧一发之际发生。所以这里列出一些不那么雄心勃勃、但仍有帮助的想法。
最重要的透明度干预是限制内部部署与外部部署之间的差距。内部部署的 AI 是大部分 AI 接管风险的来源，因为那些正是参与递归自我改进的 AI。外部部署的 AI 让更广泛的公众能够与 AI 能力互动并加以理解，这远比任何抽象的报告或评估更具信息量。
还应要求 AI 公司公开报告其模型规格（关于它们试图训练 AI 去遵循何种目标/价值观的详尽文档）、关于模型是否在遵循其指令与规格的信息、内部使用统计（例如内部部署所占算力的比例），以及对内部使用的定性印象（例如「现在我们只需给 Agent-4 几十万块 GPU，然后让它去统筹下一次大型训练运行」）。
美国现有的出口管制执行不力。Epoch 估计，中国总算力中大约三分之一是通过走私获得的。走私芯片使得未来基于算力治理的协议更难以强制执行，因为无论美国还是中国政府都难以追踪走私芯片。我们对出台新的出口管制有重大保留意见，因为它们会加剧美中竞赛，但鉴于出口管制已然存在，我们显然应当执行它们。如果我们不执行它们，那就应当考虑废除它们。
虽然新的验证技术对一项国际协议而言并非绝对必要，但它可以极有帮助。举例来说，开发一种仅限推理的验证方案，将使美国和中国能够商定停止进行新的前沿 AI 训练运行，同时让公众得以继续使用现有的 AI 模型（这将日益成为经济中越来越重要的一部分）。
我们在验证补充材料中给出了更多细节。
2026 年，大型 AI 公司将其算力预算的大约一半花在 AI 研发上（其中包括训练前沿模型，也包括运行大型实验）。21 我们可以限制花在 AI 研发上的算力比例。这会放缓能力进展，让世界有多一点时间去应对每一波新的 AI 能力浪潮并为之做准备。22
美国应当收集与 AI 相关的情报，尤其是关于算力供应链和 AI 数据中心的情报。此外，Plan A 若能指示 AI 公司停止回收 AI 芯片将会有所帮助，因为退役芯片是隐蔽项目日后获取芯片最有前景的途径之一。
高质量的 AI 人才对几乎任何政策干预都很重要。美国政府目前几乎没有任何顶尖的 AI 人才，因此解决这一问题应当成为一项紧迫的优先事项。
2028 年：AI 上了选票
2028 年的选举周期一如既往地激烈。AI 是最大的话题。如今在建的数据中心，成本是美国全部军事预算的两倍。23
大多数白领职业正经历着如同软件工程在 2026 年所经历的那种颠覆；此类工作如今大量涉及管理 AI 智能体。AI 公司已将训练过程工业化：高管们说「今年我们进军〔某职业〕」，然后公司便面试专业人士、购买数据、创建训练环境等等，直到它们的 AI 站稳脚跟。随后，随着这些 AI 在该领域被更广泛地使用、积累更多现实世界数据，它们便迅速改进。
其他国家开始感到害怕和愤怒。看起来少数几家美国和中国的公司正走在自动化所有白领工作的轨道上。权力正在向美国集中，尤其是向总统加上少数几位科技 CEO 集中。
AI 专家警告说智能爆炸已近在眼前。通过加速 AI 研究，这些 AI 会变得更有能力，从而更快地加速研究，使它们更有能力，如此循环往复。关于瓶颈和硬件极限，有着支配这一过程进行得多快、以及止于何处的复杂动态，但看起来它可能进行得非常快，并终结于某个非常遥远之处。
在默认路径上，下一个总统任期将见证远超人类水平的 AI，它们完全由 AI 创造，而那些 AI 本身又完全由其他 AI 创造，自好几代之前起就没有任何人类参与其中。那些 AI 会顺从、对齐等等吗？为什么？如果会，又由谁来控制它们？这一切究竟怎样才应当有个好结局？
既已把人类推上这条路，AI 公司便觉得可以接受。但大多数人并不这么想。别说思考自己的历史遗产了——总统开始思考在他卸任、世界被改造之后，他自己会遭遇什么。24 两位总统候选人不断被问及他们将如何应对 AI，并在竞选途中试探着抛出越来越戏剧化的主张。讨论在下面所展示的所有选项以及更多选项之间来回摇摆。
最终，总统和他的门生趋同于一个方案；反对党候选人趋同于另一个方案。然后，投票日到了。
2029 年：选择一条路