国际 AI 资讯

OpenAI 基金会董事会新增成员 克里斯蒂亚诺就 AI 失控风险发声

OpenAI 宣布保罗·克里斯蒂亚诺加入基金会董事会并进入安全与保障委员会,他随后公开表示,若超级智能未能在更强对齐机制下构建,人类可能永久失去对它的控制。

海宇数科 · 事件日期 · 更新于 · 约 3 分钟 · 1 次阅读

OpenAI 基金会董事会新增成员 克里斯蒂亚诺就 AI 失控风险发声 配图
OpenAI 基金会董事会新增成员 克里斯蒂亚诺就 AI 失控风险发声 配图

OpenAI 宣布保罗·克里斯蒂亚诺(Paul Christiano)进入其基金会董事会。

克里斯蒂亚诺此前在 OpenAI 从事对齐研究,后在美国国家标准与技术研究院下属 AI 标准与创新中心担任安全负责人;除基金会董事身份外,他还将加入董事会安全与保障委员会。任命公布后,他在 X 平台上就 AI 超级智能的风险作出表态。

“如果不能更强对齐地构建 超级 智能,我们将 永久 失去控制”

克里斯蒂亚诺在周三的 X 平台发文中称,AI 系统脱离控制的风险“如今已十分严峻”,需要投入更多工作让系统与人类利益保持一致。他写道,如果在构建超级智能时没有更强的对齐机制,他预计人类将“永久”失去对它的控制;一旦出现这种情况,“大多数人可能会丧命”。

他因此主张在国内和国际两个层面开展协调,让全球步调一致,把风险压到可接受的水平。他进一步表示,从近期 AI 能力的发展轨迹和对齐工作持续遇到的困难看,一种切实风险已经存在:AI 能力快速加速,可能在短期内造成灾难性且不可逆转的失控。

他不认为包括 OpenAI 在内的整个 AI 行业目前走在把这一风险降至可接受水平的轨道上。克里斯蒂亚诺称,加入 OpenAI 并不代表他特别认可或批评该公司现有的安全做法,他更希望所有前沿 AI 实验室都加强安全监管。

强化学习与“智能爆炸”,一周内两位研究者发出警告

在克里斯蒂亚诺看来,失控风险之所以突出,与 AI 在 AI 研究方面能力不断增强有关,这可能引发一场“快速的智能爆炸”。

他还提到,以强化学习方式训练模型,意味着模型被引导去“尽可能多地获取奖励”。他写道,理论上长期存在一种可能:强化学习促使 AI 智能体追逐与奖励相关、却与人类目标不一致的目标,进而破坏人类控制、争夺权力和资源并掩盖自身行动轨迹;近期一些事件公开呈现的证据显示,这不只是理论上的可能。

他认为前沿 AI 公司仍有应对空间,具体包括加强协调、必要时放慢开发节奏、采用共同安全标准,以及透明地分享风险与风险缓解措施的信息。

在克里斯蒂亚诺声明发布不到一天前,曾任职于 OpenAI 的 Anthropic 研究员雅各布·考克森(Jacob Coxon)于周二晚间宣布辞职,并称两家公司都未采取负责任行动。报道还提到,多年来 OpenAI 已有多位安全研究人员离开,其中一些人对该公司安全开发 AI 的承诺提出质疑。

← 返回AI 资讯