大模型实时交互基准 Realtime-Bench 发布:GPT-6-Astra 成功率仅44%
英伟达与得克萨斯大学奥斯汀分校等机构发布实时交互任务基准 Realtime-Bench,对12款前沿大模型测试显示,在按真实推理耗时推进环境的场景下,表现最优的 GPT-6-Astra 任务成功率仅44%,高推理强度下三次全成功率低至36%。
海宇数科 · 事件日期 · 更新于 · 约 2 分钟 · 1 次阅读

大模型在文本创作、代码编写和图像生成等静态任务中已表现出较强能力,但在实时交互场景下的实际水平仍待检验。英伟达联合得克萨斯大学奥斯汀分校等机构近日推出实时交互任务基准 Realtime-Bench,意在为评估人工智能在动态环境中的综合表现提供测量工具。
核心测试机制:全面考察三大动态能力与时钟协议
Realtime-Bench 设计了50个任务,覆盖八类场景,重点考察模型的实时感知、时间自适应推理和行动时机把握三类能力。
为区分不同因素对模型表现的影响,研究人员在测试中设置了三种环境推进时钟协议,以剥离外部干扰,聚焦大模型在动态处理上的基础性能。
测评结果出炉:多数模型陷入低延迟与推理能力的双重困境
研究人员用该基准测试了全球12款前沿大模型,结果显示当前主流人工智能在实时任务上存在明显不足。
在按照真实推理耗时推进环境的场景下,表现最好的 GPT-6-Astra 任务成功率仅为44%;在高推理强度下,模型实现三次全成功的概率仅为36%。这表明多数前沿大模型在复杂实时交互中,仍难以兼顾极低延迟与深度推理能力。
深度实验洞察:盲目提升推理强度无法解决根本难题
除整体成功率偏低外,研究还通过进一步实验得出若干关键发现:
推理强度与成功率并非线性正相关:在实时任务中盲目提升推理强度,未必能有效提高任务成功率。
思考深度与行动时机存在博弈:模型运行中必须在深思熟虑的思考深度与转瞬即逝的行动时机之间做出精确权衡。
单纯缩短延迟存在局限:实验结果表明,仅靠缩短推理延迟无法彻底解决现实中的全部实时交互难题。
Realtime-Bench 为业界评估大模型动态交互水平提供了基准工具,也提示研发人员:突破实时感知瓶颈将成为下一代大模型迈向通用人工智能(AGI)的关键方向。
