京东云JoyBuilder接入MiniMax M3模型 推理效率优化
MiniMax M3模型发布当日,京东云JoyBuilder模型开发平台同步完成接入并开放服务,平台结合自研推理框架与多项推理优化技术,提升模型部署后的吞吐量与响应效率。
海宇数科 · 事件日期 · 更新于 · 约 1 分钟 · 1 次阅读

MiniMax M3模型于6月2日正式发布,京东云JoyBuilder模型开发平台同日完成对该模型的接入,并面向用户开放相关服务。
此次接入的重点在于推理性能的改善。在部署环节,京东云将自研推理框架与PD分离部署、KV Cache缓存、投机采样等推理优化技术结合使用。
在上述技术协同下,接入后的模型在实际运行中取得了更高的推理吞吐量,整体响应效率也明显提升,可为开发者提供更流畅的调用体验,并有助于推动大模型在业务场景中的落地应用。
