字节跳动Seed与港科大发布MMProLong:长文档多模态训练以问答对替代OCR转录
字节跳动Seed团队与香港科技大学公布长文档多模态训练研究,基于Qwen2.5-VL构建MMProLong,指出问答对训练在长上下文定位上优于OCR转录。
海宇数科 · 事件日期 · 更新于 · 约 2 分钟 · 1 次阅读

字节跳动Seed团队与香港科技大学公布一项面向多模态大语言模型长文档训练的研究,并基于阿里巴巴开源的Qwen2.5-VL构建了名为MMProLong的模型,重点考察数据组织形式对长上下文能力的影响。
研究给出的核心结论是:在多模态长文档训练中,围绕特定目标构造的问答对(QA)训练效果明显好于字符识别(OCR)转录;纯文本转录作为训练任务不仅未能增强模型在长上下文中的定位能力,反而造成性能下降。
按照该研究的说法,由独立模型(如字节跳动Seed2.0)生成的长上下文问答对可用于训练,使模型能在大量干扰信息中定位目标段落。MMProLong在128,000个Token的训练预算下保持长文本稳定性,输入长度扩展至256,000乃至512,000个Token时未出现性能崩溃,并在MMLongBench与MM-NIAH(大海捞针)基准上超过InternVL3-38B、Gemma3-27B等参数规模更大的开源模型。
研究还称,MMProLong的多模态能力可迁移至未专门训练的长视频理解任务,相关策略在Qwen3-VL-8B上同样得到验证。该工作提出的路径与DeepSeek通过视觉信息压缩与重排升级架构的思路不同,主张在不改动底层架构的前提下调整训练数据结构,以更低成本提升长上下文能力。
