AI 产业

英伟达首尔 AI Day 公布四款韩国开源模型的 Dynamo 部署方案

有多卡环境的团队可从各模型的官方推理配置起步,再按自己的请求量验证表现。

海宇数科 · 事件日期 · 约 1 分钟

英伟达首尔 AI Day 官方会场更新封面
英伟达首尔 AI Day 官方会场更新封面

英伟达在 11 月 9 日的首尔 AI Day 上给出四款开源模型的 Dynamo 分布式推理方案:A.X K2、K-EXAONE 2.0、Solar Open 2 和 Motif-3。模型超出单卡容量时,部署团队可以用对应配置启动多卡推理,省去从头确定运行参数的工作。

配置的实际表现取决于请求。比如短问答主要看首字延迟,长输入和高并发还要看显存与吞吐。英伟达在首尔 AI Day 官方更新页提供了 Dynamo 专题入口,也汇总了现场发布的其他项目。

← 返回AI 资讯