AI 需要暂停键，但谁有权按下？

作者：小白

本文为作者原创投稿，观点仅代表作者个人理解，ETHPanda 对内容进行编辑整理。

围绕 AI 的争论，常常被简化成两个阵营：一边主张继续加速，一边主张尽快暂停。

Vitalik 在回应《AI 2040: Plan A》时指出，这场争论真正的分歧，其实不是政策选择，而是人们对未来的基本判断完全不同。

一种判断认为，AI 仍然是一种"普通技术"。它会改变就业、产业和社会结构，但最终仍会受到市场、法律、能源、资本和组织能力的约束。

另一种判断认为，一旦 AI 开始大规模参与 AI 研发，能力增长可能进入快速循环。那时，人类面对的就不只是工作被替代，而是可能逐渐失去科研、经济、军事和制度上的实际控制力。

如果第一种判断成立，建立全球芯片追踪、算力审批和数据中心监控体系，显然可能是严重的过度反应。

但如果第二种判断成立，继续维持默认竞赛，相信市场最后会自动解决一切，也同样是一场高风险赌博。

所以，AI 治理真正需要回答的，不只是"要不要暂停"，而是：

在无法确定未来属于哪一种世界时，怎样保留减速的能力，又不把永久权力交给少数人？

《AI 2040》的核心，不只是"减速"

《AI 2040》提出了一条相对理想化的超级智能过渡路线。

它设想主要国家和 AI 公司通过国际协调，放慢前沿 AI 的发展速度，提高研究透明度，让更多参与者追赶到接近前沿的水平，再在安全和治理问题得到处理后继续推进。

我认为这套方案最大的问题，不在于目标，而在于执行。

只要存在一方秘密训练更强模型，其他参与者就会担心自己被甩开，协议也会迅速失效。因此，要让减速可信，就必须追踪高端芯片、监控大型数据中心、判断算力究竟被用于训练还是其他用途。

这意味着，为了阻止超级智能形成一个新的权力中心，人类可能需要先建立一个全球性的算力控制中心。

这正是 AI 暂停方案中最难解决的矛盾：

防止技术失控的机制，本身也可能成为权力失控的工具。

"AI 风险很大"并不能自动证明某个政府、国际组织或大型实验室应该获得无限权力。

同样，"监管可能被滥用"也不能反过来证明 AI 风险不存在。

真正需要审查的是制度结构：

谁定义危险，谁掌握数据，谁有权启动限制，谁可以获得豁免，谁来监督执行者，以及判断错误后，这套权力能不能被撤回。

如果这些问题没有答案，"AI 安全"很容易变成一张没有期限的技术授权书。

暂停键和王座之间，只差一个豁免权

"暂停 AI"听起来像一个简单动作，实际上可能代表两种完全不同的制度。

第一种是选择性暂停。

掌权者可以决定谁有资格训练模型，谁必须停止；谁属于可信机构，谁被视为危险参与者。别人受到限制，掌权者自己却可以保留模型、芯片和算力。

这种机制并没有真正结束竞赛，只是提前决定了赢家。

它不是暂停键，更像一张王座。

第二种是对称性暂停。

当公开的风险条件被触发时，所有主要参与者都受到限制，包括负责执行暂停的一方。没有秘密豁免，也不能一边要求竞争者停下，一边让自己的实验室继续推进。

这种机制才更接近真正的断路器。

Vitalik 明确肯定了 Plan A 引入"相互确保算力摧毁"这一点。相比让少数参与者有权选择性限制别人、同时豁免自己，这种机制至少更加对称。

但对称性也不能自动解决问题。

一个能够让全球先进算力大规模停摆的系统，本身就是极强的权力工具。它可能被错误情报触发，被政治冲突利用，被内部人员操纵，也可能因为技术故障造成巨大损失。

因此，一个可信的暂停机制，至少需要满足几个条件：

触发条件必须公开，证据不能由单一机构垄断，限制应尽可能对称，暂停必须有明确期限，重新启动的规则也要提前写清楚。

尤其不能只设计"如何进入紧急状态"，却不设计"如何退出紧急状态"。

现实中，机构获得权力以后，往往更容易证明危险仍然存在，而不是主动交还权力。

所以，AI 的暂停机制，本身也需要一个暂停键。

真正的权力集中，不只来自公司和政府

今天讨论 AI 权力，人们通常担心两件事。

一是少数大型公司垄断最强模型。

二是政府借安全之名控制芯片、数据和开发者。

但 Vitalik 提醒了第三种更深的风险：

超级智能本身，也可能成为最大的权力集中器。

人类今天之所以拥有议价能力，是因为人类掌握着一些稀缺资源：劳动、知识、组织能力、资本、政治权力和武力。不同群体之间必须相互协商，是因为任何一方都无法彻底绕开其他人。

如果 AI 在科研、编程、管理、金融、传播、网络攻击甚至军事规划上都比人类更快、更便宜、更有效，这些原本属于人类的稀缺能力就会迅速贬值。

到那时，即使市场上有十家 AI 公司竞争，也不代表人类仍然掌握最终决定权。

市场竞争可以限制一家公司的利润，却未必能保证普通人继续拥有议价能力。

所以，"让可信的人控制最强 AI"并不是完整答案。

它只是把问题从"AI 会不会控制人类"，改写成了"哪一小群人应该先获得控制最强 AI 的权力"。

d/acc 是底座，但不是万能答案

Vitalik 长期推动的 d/acc，可以理解为优先发展防御性、去中心化的技术。

例如更安全的软件、形式化验证、密码学、开放硬件、网络防御、生物安全和信息验证工具。

这些方向的价值在于，它们不依赖某个准确的超级智能时间表。

如果 AI 最终只是普通技术，更安全的软件、更可靠的硬件和更强的公共防御能力依然值得建设。

如果 AI 快速变强，这些技术也能提高社会抵御网络攻击、生物风险、硬件后门和信息操纵的能力。

这是一种低后悔策略：在无法确定未来属于哪一种世界时，先建设无论如何都值得拥有的安全基础设施。

但 d/acc 不是万能药。

如果 AI 能力真的在很短时间内发生跃迁，防御技术可能来不及部署。更安全的系统可以降低风险，却不能证明所有竞赛都应该继续。

因此，d/acc 更适合作为长期底座，而暂停机制则是极端情况下的保险。

底座需要持续建设，保险不应该轻易启动，但也不能等系统已经失控以后才开始设计。

比预测日期更重要的，是提前约定触发条件

Vitalik 这篇长文中最有现实意义的建议，不是立刻暂停 AI，而是提前约定：

出现什么证据以后，各方必须改变判断。

今天，要求所有人同意"超级智能会在 2030 年出现"或者"未来二十年都不会出现"，几乎不可能。

但不同阵营仍然可以提前同意一些风险信号。

例如：

AI 是否已经能够独立完成持续数周的研发任务；

是否能显著加速下一代 AI 的开发；

是否具备大规模发现和利用网络漏洞的能力；

是否开始自主复制、获取资源或绕过监督；

是否被接入武器、金融系统和关键基础设施；

是否已经造成持续的大规模社会损害。

重点不是找到一个完美指标，而是把争论从"你信不信超级智能"，变成"什么现实证据会让你更新判断"。

认为 AI 风险被夸大的人可以接受，因为他们相信这些情况不会发生。

担心超级智能的人也可以接受，因为他们认为这些信号可能很快出现。

双方不需要先统一世界观，只需要提前承诺：

现实变化以后，政策也必须变化。

干预不应该只有继续和关停两个档位

真正可执行的 AI 治理，也不应该在"完全自由发展"和"全球关停"之间直接跳转。

更合理的方式，是建立分级干预。

风险较低时，增加能力披露、事故报告和第三方测试。

风险继续上升时，限制模型接入关键基础设施，限制自主执行、资金调动、武器控制等高风险权限。

如果 AI 已经明显自动化 AI 研发，或者多类严重信号同时出现，再限制新的前沿训练和大型算力扩张。

只有当较低强度措施无法控制风险时，才进入范围更广、时间更短的暂停。

这种分级设计并不是为了削弱监管，而是为了让政策强度和证据强度相匹配。

真正危险的制度，往往不是没有能力采取强硬措施，而是可以跳过所有中间步骤，直接以"紧急状态"为理由获得无限权力。

结语

AI 治理真正困难的地方，不是缺少立场，而是缺少一套能够容纳判断错误的制度。

继续竞赛不是中立选择。

全球暂停也不是中立选择。

开放模型不天然安全，封闭模型也不天然负责。

一套可信的治理机制，至少需要回答四个问题：

它依据什么证据行动？

它是否同样约束掌权者？

它能不能被外部验证？

判断错误以后，权力能不能撤回？

AI 时代，也许确实需要一个暂停键。

但暂停键真正的难题，从来不是能不能造出来。

而是：

谁有权按下它，谁有权重新启动，以及如何确保任何人都不能把这个按钮变成自己的王座。