关于暂停巨型人工智能实验的公开信
【上读按】原文链接：包括马斯克在内的1125名学者签署了这份公开信，可见问题的严重性，也有可能，他们发现了我们所不知道的东西。
我们呼吁所有人工智能实验室立即暂停培训超过GPT-4水平的人工智能系统至少6个月。
具有与人类竞争水平的智能的人工智能系统，可能对社会和人类产生深远的风险，这已经得到了广泛的研究[1]和顶级人工智能实验室的认可[2]。正如广泛认可的阿西洛马人工智能原则所指出的那样，先进的人工智能可能代表地球生命史上的一个深刻变革，应当用相应的关怀和资源来规划和管理。然而，尽管最近几个月人工智能实验室在开发和部署越来越强大的数字思维方面陷入了一场失控的竞赛，但这种规划和管理并未实现，甚至他们的创造者都无法理解、预测或可靠地控制这些数字思维。
当代人工智能系统现已具备在通用任务中与人类竞争的能力[3]，我们必须问自己：我们应该让机器向我们的信息渠道大量传播政治宣传和虚假信息吗？我们应该将所有工作都自动化，包括那些令人满足的工作吗？我们应该发展那些最终可能超过我们、智胜我们、淘汰我们并取代我们的非人类思维吗？我们应该冒着失去对文明控制的风险吗？这样的决策决不能委托给未经选举的科技领导者。只有在我们确信它们的效果将是积极的，风险将可控的情况下，才能开发强大的人工智能系统。这种信心必须得到充分的证明，并随着系统潜在影响的增大而增强。OpenAI最近关于人工智能的声明指出，"在开始培训未来系统之前，可能需要进行独立审查，最先进的努力应该同意限制用于创建新模型的计算增长率。"我们同意。现在就是这个时候。
因此，我们呼吁所有人工智能实验室立即暂停培训超过GPT-4水平的人工智能系统至少6个月。这种暂停应该是公开和可验证的，并包括所有主要参与者。如果这种暂停不能迅速实施，政府应当介入并实行一个暂停令。
人工智能实验室和独立专家应利用这段暂停时间共同制定和实施一套共享的先进人工智能设计和开发安全协议，这些协议应由独立的外部专家严格审核和监督。这些协议应确保遵循它们的系统在合理怀疑范围之外是安全的[4]。这并不意味着要暂停人工智能的总体发展，只是从危险的竞争中退一步，避免过于依赖不可预测的黑箱模型和具有突现能力的模型。
人工智能研究和发展应该重新关注于使当今强大的、处于最前沿的系统变得更加准确、安全、可解释、透明、稳定、可信和忠诚。
与此同时，人工智能开发者必须与政策制定者合作，大力加快发展健全的人工智能治理体系。这些至少应包括：专门负责人工智能的新的和有能力的监管机构；对高能力人工智能系统和大型计算能力池的监督和跟踪；对真实和合成的区分以及对模型泄露的追踪的起源和水印系统；健全的审计和认证生态系统；对人工智能造成的损害的责任；对技术人工智能安全研究的充足公共资金支持；以及应对人工智能带来的剧变（尤其是对民主制度的剧变）的资源充足的机构。
人类可以在人工智能的帮助下享受繁荣的未来。成功创造出强大的人工智能系统后，我们现在可以享受一个“人工智能之夏”，在此期间，我们可以收获成果，为所有人明确规划这些系统的利益，并让社会有机会适应。人类曾暂停过对可能对社会产生灾难性影响的其他技术的发展[5]。我们在这里也可以做到。让我们享受一个漫长的人工智能之夏，而不是在准备不足的情况下迅速进入秋天。
签名
1125人