国际 AI 资讯

普林斯顿AI Lab推出SSoN基准,人类准确率83.3%而大模型最高仅39.7%

普林斯顿大学AI Lab团队推出SSoN基准,通过四选一异常图任务检验AI静态跨视角三维空间理解能力。测试显示人类准确率83.3%,主流视觉语言模型最高仅39.7%,且多数低于随机基线。模型在移动旋转推理上短板突出,近三成正确选择伴随无效解释,整体表现不及盲猜。干预实验表明,提供真实相机参数可大幅改善但未过半,定向监督微调则使准确率近乎翻倍。

海宇数科 · 事件日期 · 更新于 · 约 3 分钟 · 0 次阅读

普林斯顿AI Lab推出SSoN基准,人类准确率83.3%而大模型最高仅39.7% 配图
普林斯顿AI Lab推出SSoN基准,人类准确率83.3%而大模型最高仅39.7% 配图

普林斯顿大学AI Lab团队近日发布了一套全新的空间智能基准测试SSoN。该测试排除了动态交互与动作控制的影响,专注于考察人工智能在静态跨视角条件下的三维空间理解能力。测试采用“四选一挑异常”的室内空间题目,结果显示人类准确率达到83.3%,而受测的主流视觉语言模型中最高仅有39.7%。多数模型的成绩甚至低于四选一的随机基线,反映出当前AI在空间几何推理方面存在明显不足。

核心测试机制:四张静态图考验空间一致性

SSoN基准测试的核心任务设计较为直接:向受测模型提供四张静态室内场景图像,要求模型找出其中不属于同一场景的那张“异常图”。

该设计可以直接检验AI是否具备跨视角三维空间整合能力。测试结果呈现出较大差距:人类能够依靠直觉和生活经验较容易地识别空间逻辑上的不协调,而当前视觉语言模型在此类测试中表现明显不足。

三大核心痛点:几何推理短板明显,解释有效性堪忧

通过对模型答题表现进行深入分析,普林斯顿研究团队发现当前大模型在空间智能上存在三个显著问题:

移动与旋转推理是最突出的短板:在各类几何推理题型中,尤其是涉及物体相对位置移动、视角旋转等空间变换的场景,模型错误率始终较高,短板十分明显。

模型能选对答案却难以说明理由:在少数选择正确的结果中,有近三成的推理解释在逻辑上并不成立,属于典型的“答对却说不清依据”。

整体表现低于随机猜测:多数受测模型的综合准确率甚至低于四选一的随机基线,表明它们尚未形成稳定的三维空间直觉。

后续干预实验:定向微调与相机参数成破局关键

为探索如何帮助AI弥补这一能力差距,研究团队随后开展了一系列干预实验:

提示引导与三维重建:实验显示,通过文字提示引导或引入传统三维重建流程,只能使模型成绩获得小幅提升。

提供真实相机参数:当直接向模型提供真实相机参数时,其表现得到较大幅度改善,但即便如此,仍无法可靠答对半数以上题目。

定向监督微调:值得注意的是,针对该任务进行定向监督微调后,模型在未见过的全新房间测试题上准确率接近翻倍。

这一结果说明,大模型的空间一致性判断能力并非无法提升,可以通过有针对性的定向监督训练实现迁移与改善。SSoN基准的推出排除了多余干扰因素,直接指向当前AI在三维空间跨视角整合方面的核心缺口,也为全球研究人员后续改进空间智能技术提供了明确方向。

← 返回AI 资讯