国际 AI 资讯

Anthropic发文警示“AI造AI”风险 呼吁建立全球放缓机制

Anthropic于6月4日发布文章《当AI构建自身》,披露Claude自主编写代码比例超80%等内部数据,警告递归自我改进可能早于预期到来,并建议国际社会与顶尖实验室建立协调机制,在必要时放缓前沿AI研发。

海宇数科 · 事件日期 · 更新于 · 约 2 分钟 · 1 次阅读

Anthropic发文警示“AI造AI”风险 呼吁建立全球放缓机制 配图
Anthropic发文警示“AI造AI”风险 呼吁建立全球放缓机制 配图

Anthropic于当地时间6月4日在官网发布题为《当AI构建自身》的文章,首次系统性披露AI在编写和改进自身代码方面的进展,并罕见提出全球应协调放缓前沿AI研发的主张。

文章援引内部数据称,截至2026年5月,合并进其代码库的代码中超过80%由Claude自主编写;2026年第二季度工程师人均交付代码量为2024年同期的8倍。

在小模型训练代码优化测试中,Claude的加速能力一年内从3倍升至52倍;排查数万项训练任务崩溃故障时,AI用2小时完成定位与修复,人类通常需2至3天。AI独立稳定完成任务的时长,由此前每7个月翻倍缩短为每4个月翻倍。

Anthropic警告,在算力充足条件下,AI可能形成不断自我迭代增强的能力闭环,即“递归自我改进”,该阶段尚未完全到来也并非不可避免,但大概率早于多数机构预期;若AI全面进入自建下一代系统的阶段,当前模型中微小的“不对齐”行为可能在迭代中被复利放大,导致人类失去对AI系统的控制权。

为此,Anthropic建议国际社会、政府及顶尖AI实验室共同建立全球协调机制,在必要时主动放慢或暂停前沿AI发展,为社会结构与对齐研究留出调适时间,同时坦言落地极难:AI训练比导弹发射井更易隐藏,秘密违约的商业诱惑很大,竞争对手一旦加速,谨慎企业将失去领先地位。文章发布时机引人关注,6月1日Anthropic刚向美国证券交易委员会秘密递交S-1注册声明草案,启动IPO筹备;其年化收入已突破470亿美元,估值达9650亿美元。

← 返回AI 资讯