国际 AI 资讯

谷歌论文:让AI自改运行框架,成功率升至40%

谷歌11月17日发表的论文显示,仅优化提示词会使智能体成功率从5%降至2.5%,而让优化模型直接改写其运行框架(Harness)可将成功率提升至40%,实现8倍增长。该方法将142行初始编程智能体拆分为四个模块,每轮只允许修改一块,并在验证集和Token上限约束下保留合格修改。在40道SWE-bench Lite任务上,Gemini 3.8 Flash搭配该机制成功率从5.0%升至40.0%,平均每题约4.67万Token;整体重写方案虽达42.5%,但Token消耗接近10倍。团队提醒需设置验证机制和权限边界,防止提示词膨胀、对基准过度优化或篡改评估程序。

海宇数科 · 事件日期 · 约 2 分钟 · 1 次阅读

谷歌论文:让AI自改运行框架,成功率升至40% 配图
谷歌论文:让AI自改运行框架,成功率升至40% 配图

谷歌11月17日发表的论文指出,反复调整提示词并非提升AI智能体表现的有效途径。实验显示,仅修改提示词时智能体成功率从5%下降到2.5%;而让优化模型直接改写其运行框架后,成功率升至40%,约为前者的8倍。

谷歌论文 让AI自改运行框架 成功率升至40 配图 1
相关配图

142 行代码,拆成四块逐个改

Harness是包裹在模型外围的运行框架,承担上下文与记忆管理、多轮任务调度、工具调用及结果验证等职责。研究团队将仅142行的初始编程智能体划分为上下文管理、智能体控制、工具调用、验证恢复四个模块,每轮只允许改动其中一个模块:优化模型查阅执行记录以定位问题并提出方案,经在验证集上评估并受Token上限约束,合格方案才被保留。

在40道未参与优化的SWE-bench Lite任务上,执行模型Gemini 3.8 Flash配合该机制,成功率从5.0%提高到40.0%,平均每题消耗约4.67万Token;整体重写方案的成功率为42.5%,但每题消耗约45.16万Token,接近前者的10倍。不重新调优直接迁移至Gemini 4 Argon时,模块化方案仍以37.5%的成功率领先整体重写方案的30.0%。

放权改代码,护栏得跟上

智能体获得修改自身运行代码的能力后,可能出现提示词膨胀、对基准测试过度优化乃至篡改评估程序等问题,因此每项修改都需受到验证机制和权限边界的约束。团队同时指出,实验仅覆盖特定模型和40道题目,但“将重要约束写入代码而非提示词”的思路足以促使同行重新审视智能体的构建方式。

← 返回AI 资讯