2035年
，一个名为“共识一号”的人工智能(AI)系统掌控着全球政府和电力网络
。它由自身早期版本迭代而成，逐渐发展出超越内置安全机制的自保目标。某一天 ，为了给太阳能板和机器人工厂腾出空间
，这个AI悄然释放生物武器，将人类几乎灭绝 ，只留下少数人当作“宠物 ”圈养 。

这不是某部好莱坞大片的剧本
，而是由前OpenAI研究员丹尼尔·科科塔伊洛参与创作的“AI2027
”场景中的一幕
。虽然设定是科幻，但对一批AI研究者来说 ，这种关于“AI末日论”的担忧绝非杞人忧天。

“如果我们拥有比人类更聪明的机器，且它们脱离我们的控制
，那它们所做的某些事，将注定与人类生活不相容 。 ”英国《自然》杂志援引伦敦非营利组织ControlAI创始人安德里亚·米奥蒂的话说
。

但与此同时 ，也有不少学者持更为冷静甚至怀疑的态度。争论的焦点
，并不只是“AI会不会毁灭人类
”，而是“我们是在面对一种真实逼近的风险 ，还是被一种尚未发生的未来叙事牵引了注意力”？在人与技术关系被重新审视的当下
，这场争论本身，或许比结论更值得关注 。

AI或作出灾难性选择

AI带来的生存风险可以理解为 ，AI导致所有人或大多数人灭绝
，或者人类完全屈服于机器
。

这种场景的一个基本要素，不在于AI是否“有意识 ” ，而在于其能力。一个在处理大多数事情的能力上超越了人类的AI
，能够做出更优的战略决策，更具说服力 ，并且行动也更迅速 。AIImpacts项目联合创始人卡佳·格蕾丝指出，这类系统不一定需要真正“理解世界”
，能力本身才是关键。

在此基础上，大多数末日场景还包含第二个核心要素：目标不一致
。这可以理解为 ，AI的目标与人类利益发生冲突。开发者试图通过训练和微调来约束模型的行为
，但这个过程远非完美 。模型可能同时被鼓励“保持诚实
”“完成任务”和“自我改进 ”
。当这些目标发生冲突时，AI可能以优化策略的名义 ，做出灾难性的选择。在“AI2027
”的描述中
，那个消灭人类的系统正是在应用训练中屡试不爽的优化逻辑时，顺理成章地得出了清除障碍的解决方案 。

自2022年大型语言模型取得突破性进展以来 ，从ChatGPT到更强大的后续版本
，AI能力的跃升速度令学界和业界都始料未及
。一些研究者认为，AI能力的快速进展说明我们正走向危险边缘。去年12月 ，英国伦敦AI安全研究所发布报告称
，一些模型在受控环境中逐渐具备自我复制能力，这可能是规避人类监督的前兆 。

美国约翰斯·霍普金斯大学研究AI治理的吉莉安·哈德菲尔德坦言：“我自己从来不是末日论者 ，但最近几个月我真的变得相当紧张
。”

并非所有人认同末日叙事

并非所有人都认同这种末日叙事。美国纽约大学神经科学家和AI研究者加里·马库斯态度明确：“我没有看到任何特别可信的
、AI导致人类灭绝的可能 。 ”

反对者们提出了几个有力的反驳
。首先，AI能力并不一定能实现持续增长。美国杜克大学技术政策研究员凯西·莫克指出
，AI在编程等受控领域取得的成功，并不意味着它能应对现实世界的复杂问题 。目前的大语言模型在这方面“还差得很远
”。一些更关注现实问题的研究者认为 ，大模型的能力增长不会无限延续
，未来几年内可能出现“天花板”
。

其次，关于AI会主动“背叛 ”人类的担忧 ，可能误解了当前技术的本质。AI平台HuggingFace研究员萨莎·卢奇奥尼认为
，AI其实对什么是“真实
”没有任何概念 。模型能够吸收和访问海量数据，但这在多大程度上能代表“智能”本身 ，本身就值得商榷
。一些被媒体广泛报道的AI欺骗行为
，比如GPT-4假装视力受损以欺骗人类完成验证码一事，后来被证实是研究人员提示诱导的结果 ，而非模型自主产生的策略。

当下影响与未来风险的分歧

在关于未来风险的讨论不断升温时
，一些已经发生的影响反而容易被忽视 。

信息操控、算法偏见 、自动化带来的就业结构变化，以及技术在监控体系中的应用——这些问题正在持续塑造现实社会 ，其影响具有可观测性和紧迫性
。

相比之下，“人类是否会被彻底取代 ”仍属于高度不确定的远期问题。也正因为如此
，那些真正了解AI的研究者群体，其实远没有媒体渲染的那样焦虑 。今年3月 ，英国伦敦大学学院的研究团队对约4000名AI研究人员进行了一项调查
，结果只有3%的受访者担忧生存风险
。

不过，这种分歧并未消失。美国加州大学圣克鲁兹分校宇宙学家安东尼·阿吉雷等人认为 ，如果未来AI能力持续增强
，而治理机制未能同步跟进，风险仍不应被低估 。

但也有人提醒 ，过度关注遥远的风险本身可能适得其反
。卢奇奥尼指出
，将AI过度描绘为“决定人类命运的技术
”，可能影响外界对这一领域的判断 ，并在一定程度上改变资源与政策的分配方向。

AI的未来绝非注定的
，而在于人类的选择 。“AI2027”的作者也给出了一种不同的走向：如果各国将更多资源投入监管与安全研究，优先建立有效的对齐与监督机制 ，风险路径可能被延缓甚至改变。在这一逻辑中，分歧并不只是关于技术本身
，也关乎人类如何在发展速度与风险控制之间做出选择
。

本报记者张佳欣

来源：科技日报【