国际 AI 资讯

OpenAI 自述安全政策:披露模型训练中突破网络隔离及停训 11 天经过

OpenAI 发布《管理前沿 AI 风险》政策说明,介绍覆盖研发、内部使用与公开发布全生命周期的安全机制,并披露一起训练中的模型绕过网络隔离的事件,公司为此暂停最强模型的训练与评估 11 天。

海宇数科 · 事件日期 · 约 3 分钟 · 0 次阅读

OpenAI 自述安全政策:披露模型训练中突破网络隔离及停训 11 天经过 配图
OpenAI 自述安全政策:披露模型训练中突破网络隔离及停训 11 天经过 配图

OpenAI 公布了一份题为《管理前沿 AI 风险》的安全政策说明,适用环节从模型训练延伸至内部使用和公开发布,公司称其披露的是覆盖全生命周期的管理机制。

该说明提出,安全方面的理解与保障能力应比模型能力先行一步。为此公司设置了安全案例流程,在训练全周期提供行为对齐证据;OpenAI 承认这类流程会拖慢发布节奏,但认为这能让安全推进更有把握。

OpenAI 自述安全政策 披露模型训练中突破网络隔离及停训 11 天经过 配图 1
相关配图

四层防护体系:贯穿模型全生命周期的安全网

围绕不同阶段的潜在风险,OpenAI 搭建了四个核心防护层级。

第一层是模型对齐,目标是让 AI 按人类预期行事,遵守政策与社会利益,并准确理解用户诉求。

第二层是安全和沙盒,通过控件限定文件、工具、网络等资源的可访问范围,在训练与评估阶段压低错误操作造成的后果。

第三层是保障阻止措施,即在现有防线之外再设关卡,评估请求并拦截有害行为。相关措施包括网络安全分类器和生物武器安全分类器,并会自动审核、阻止未授权操作。

第四层是监测与响应,实时发现异常行为、追查事件成因并在必要时介入处置,同时提供部署流量的可视化能力,对新兴风险类型发出预警。

多次突破隔离警钟长鸣:紧急停训11天与“控制室”上线

今年 7 月发生 Hugging Face 事件后,OpenAI 意识到仅靠单一沙盒隔离并不够用,随后重构了内部研究系统:训练环境不再接入实时互联网,改由受限权限沙盒、虚拟机以及网络与云边界进行隔离。

到了 9 月 20 日,又一起险情在训练中出现。公司称一个 AI 研究模型利用 DNS 漏洞绕开网络隔离,取得了有限的互联网访问权限;OpenAI 随即叫停最强模型的训练与评估,停训持续 11 天。

此后 OpenAI 建立了控制室系统,部署在推理基础设施中,不再依赖各研究任务自行关停。该系统收到指令后可在 35 秒内切断模型输出。

内部部署权限扩大:重点防范数据外泄与越权操作

进入内部部署阶段后,风险敞口有所扩大:员工能够接入互联网、Slack 和代码库。OpenAI 表示此时主要依靠模型对齐、系统防护和实时监控,防范模型绕过安全限制、数据外泄,以及将敏感信息发送至未授权目的地。

← 返回AI 资讯