[原文] 千余位科技界人士联署公开信：立即暂停大型人工智能训练

软餐获悉，一封名为《暂停大型人工智能实验》的公开信，在本文发出时，已获得超过 1500 位科技界人士的在线联署签名。

这封公开信敦促所有 AI 实验室，立即停止训练比 GPT-4 更强大的 AI 系统至少六个月。

签名者中包括多位计算机科学专家，以及 Steve Wozniak（苹果联合创始人）、Evan Sharp（Pinterest 创始人）、Elon Musk（特斯拉 CEO）等知名科技企业领袖。

信中警告，具有 “人类竞争情报” 的现代人工智能系统可能会给社会带来风险。最近几个月，AI 实验室已陷入了一场失控的研发竞赛，“没有人（甚至他们的创造者）可以对其理解、预测或可靠地控制。”

公开信提出了几个尖锐的问题：“我们是否应该让机器用宣传和虚假信息充斥我们的信息渠道？我们是否应该将所有工作都自动化处理，包括令人满意的工作？我们是否应该开发非人类思维体系——在数量上超过、智商高于、取代并淘汰我们？ 我们是否冒着失去文明控制权之风险？”

公开信呼吁，应迅速暂停 “比 GPT-4 更强大的 AI 系统训练”。并警告说，如果无法迅速实施此类暂停，则政府应介入并实施禁令。

信中提出，AI 开发者和政策制定者应利用暂停换来的缓冲时间来协同制定经过严格审核的 “一套用于高级 AI 设计和开发的共享安全协议”，以及建立 AI 监管机构、起源追溯和水印系统、审计和认证生态系统、公共资源和资金支持机构等机制。

附公开信原文。

Pause Giant AI Experiments: An Open Letter
（公开信：暂停大型人工智能实验）

具有人类竞争力的 AI 系统可能对社会和人类造成深刻的风险，这已经得到广泛研究 [1] 并被顶尖 AI 实验室所认可 [2]。正如 Asilomar AI 原则所指出的那样，先进的 AI 可能代表着地球生命史上深刻的变革，并且应该计划和管理好相应的关注和资源。不幸的是，即使最近几个月来看到了 AI 实验室在无法控制地竞赛开发和部署越来越强大、甚至连他们自己也无法理解、预测或可靠控制数字思维能力。

当今时代，现代化 AI 系统正在普遍任务中变得具有人类竞争力 [3] ，我们必须问自己：我们是否应该让机器用宣传和虚假信息充斥我们的信息渠道？我们是否应该将所有工作都自动化处理，包括令人满意的工作？我们是否应该开发非人类思维体系，在数量上超过、比智商高于、取代并淘汰我们？ 我们是否冒着失去文明控制权之风险？此类决策不能委托给未经选举产生而拥有技术领导地位的人。只有在我们确信其效果将是积极的且风险可控时，才应该开发强大的 AI 系统。这种信心必须得到充分证明，并随着系统潜在影响的大小而增加。OpenAI 最近关于人工通用智能的声明指出：“在某些时候，在开始训练未来系统之前获得独立审查可能很重要，并且对于最先进的努力，同意限制用于创建新模型所使用计算机速度增长。” 我们赞成这一观点。现在就是那个时间点。

因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月比 GPT-4 更强大的 AI 系统训练。这种暂停应该是公开和可验证的，并包括所有关键参与者。如果无法迅速实施此类暂停，则政府应介入并实施禁令。

AI 实验室和独立专家应利用此次暂停共同开发和实施一套共享安全协议，以进行高级别 AI 设计和开发，并由独立外部专家进行严格审核和监督。这些协议应确保遵循它们的系统具备合理怀疑以外安全性 [4]。这并不意味着对 AI 发展的总体暂停，而仅仅是从危险的竞赛中退后一步，以避免出现越来越大、难以预测的黑匣子模型和新能力。

同时，人工智能开发者必须与政策制定者合作，大力加快健全的人工智能治理系统的发展。这些系统至少应包括：专门从事人工智能的新型和有能力的监管机构；对高度可靠的人工智能系统和大量计算资源进行监督和跟踪；起源证明和水印系统以帮助区分真实与合成，并跟踪模型泄漏；强有力的审计和认证生态系统；对由于人工智能造成损害承担责任；为技术性人工智能安全研究提供充足公共资金支持；以及为应对（特别是民主制度）因人工智能而引起的巨大经济和政治动荡提供充足资源支持的机构。

在 AI 方面，我们可以享受一个繁荣昌盛的未来。成功地创建了强大而先进的 AI 系统后，我们现在可以享受 “AI 夏季”，收获回报，将这些系统设计用于所有人明显受益，并给予社会适应机会。社会已经暂停了其他可能对社会产生灾难性影响的技术 [5]。我们也可以在此处这样做。让我们享受长久的 AI 夏季，不要匆忙而没有准备地进入秋天。

注释和参考文献

[1]
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 列. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2]
Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: ‘A little bit scared of this’. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3]
Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4]
Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems “function appropriately and do not pose unreasonable safety risk”.
[5]
Examples include human cloning, human germline modification, gain-of-function research, and eugenics.

链接：https://futureoflife.org/open-letter/pause-giant-ai-experiments/