开源研究

亚马逊研究公开 HOPE:裁剪混合专家模型时考虑专家之间的配合

这项研究把成对专家的相互作用算进裁剪决策,目标是在减少常驻参数时保留有用的组合。

海宇数科 · 事件日期 · 约 1 分钟

亚马逊研究团队发布的 HOPE 模型裁剪文章封面
亚马逊研究团队发布的 HOPE 模型裁剪文章封面

混合专家模型(MoE)每次生成词元时只激活少数专家,推理服务通常仍要为全部专家预留内存。亚马逊研究团队 11 月 9 日介绍的 HOPE 提出一种筛选方法:除了看单个专家的表现,也评估两个专家同时出现时的效果,再决定删谁。

这种差别在显存预算固定时才好比较。同样删掉一部分参数,可以把 HOPE、按单个专家打分的方案和未裁剪模型放在同一批任务上跑,看看留住了多少业务能力。团队在技术文章中给出了实验、限制和代码入口。

← 返回AI 资讯