国际 AI 资讯

字节跳动推出全模态理解模型Doubao-Seed-2.0-lite

火山引擎宣布豆包大模型家族新增全模态理解模型Doubao-Seed-2.0-lite,支持视频、图像、音频与文本的统一理解,并首次实现图形界面理解与执行一体化。

海宇数科 · 事件日期 · 约 2 分钟 · 1 次阅读

字节跳动推出全模态理解模型Doubao-Seed-2.0-lite相关配图 1
字节跳动推出全模态理解模型Doubao-Seed-2.0-lite相关配图 1

字节跳动旗下火山引擎5月6日宣布,豆包大模型家族新增全模态理解模型Doubao-Seed-2.0-lite。该模型将视频、图像、音频与文本纳入统一理解框架,不再局限于单一模态输入。

字节跳动推出全模态理解模型Doubao-Seed-2.0-lite相关配图 1

据火山引擎介绍,Doubao-Seed-2.0-lite在物理、医疗等高阶学科的复杂推理测试中,表现超过今年2月发布的Pro版本;在细粒度感知和具身理解等方向,该模型也具备较强能力。引入语音理解后,模型可对视频画面与背景音频进行联合推理,判断视听内容是否一致,并按指令在长视频中定位特定事件、梳理人物关系。

字节跳动推出全模态理解模型Doubao-Seed-2.0-lite相关配图 2

音频方面,该模型支持含中英在内的19种语种转写及14个语种互译。除语义识别外,它还能捕捉语音中的情绪变化和环境背景声。

字节跳动推出全模态理解模型Doubao-Seed-2.0-lite相关配图 3

在智能体与编程能力上,Doubao-Seed-2.0-lite提升了对多轮复杂指令的遵循度,并具备更强的任务拆解与自我校验能力。其代码能力覆盖前端页面、3D场景及游戏开发,可交付工程完整的产物。

字节跳动推出全模态理解模型Doubao-Seed-2.0-lite相关配图 4

该模型还首次实现GUI理解与执行一体化:既能识别网页或应用中的按钮、菜单等界面元素,也能完成点击、拖拽、输入等操作,从而把界面理解与任务执行衔接起来。

目前相关技术已在电竞复盘、在线教育及跨境电商等领域落地。在电竞场景中,模型可连续分析长达25小时的比赛视频与语音,自动生成战术复盘图谱。同时,Doubao-Seed-2.0-mini版本已同步上线,面向企业大规模、低成本部署全模态推理任务。

← 返回AI 资讯