港中深与微软研究院提出 ConvexLLM:跳过转写环节,让声音直接接入大模型推理
香港中文大学(深圳)与微软研究院联合提出多模态统一建模架构 ConvexLLM,通过 C-Gate 将音频信息映射到大语言模型文本词向量的凸包中,无需先转写为文本即可调用模型的预训练知识与推理能力;据称在 VoiceBench 等多项基准测试中取得同量级开源模型领先成绩,BBH 任务上高出最强基线 8.8 个百分点,并支持环境声、音乐等音频理解任务。
海宇数科 · 事件日期 · 约 2 分钟 · 1 次阅读

在语音与多模态人工智能研究中,让大模型直接理解声音并完成复杂推理是业界持续关注的方向。香港中文大学(深圳)与微软研究院近期联合提出多模态统一建模架构 ConvexLLM,试图为语音与语言的融合提供新的技术路径。
核心创新:C-Gate 架构与“凸包映射”原理
常规语音交互通常先把语音转写为文本,再交给大语言模型处理,这一过程可能造成信息损失,也会因中间环节而增加延迟。
ConvexLLM 采用 C-Gate 架构,将语音等音频信息映射到大语言模型原有文本词向量构成的“凸包”内:音频表示由冻结词向量的非负加权组合生成。由此,声音信号不必经过文本转写,即可直接接入大模型,并调用其在预训练阶段积累的知识与推理能力,实现语音与语言的统一建模。
评测表现与泛化能力:基准测试领先,支持多类音频理解
据该研究披露,ConvexLLM 在能力验证中表现较为突出:在 VoiceBench 等多项基准测试中,取得同量级开源模型的领先成绩;在 BBH 任务上,比最强基线高出 8.8 个百分点。
除语音交互外,ConvexLLM 还支持环境声、音乐等多种类型音频的理解任务,表现出多场景适配能力,进一步拓宽了统一音频建模的应用范围。
