谷歌为Gemma4推出MTP起草器,推理速度最高提升三倍
谷歌发布面向Gemma4系列的多Token预测起草器,借助推测解码架构,在不改变输出质量的前提下,把推理速度最高提升至原来的三倍。
海宇数科 · 事件日期 · 更新于 · 约 3 分钟 · 1 次阅读

在开源模型领域引发关注数周之后,谷歌于当地时间5月5日面向Gemma4系列正式推出多Token预测(MTP)起草器,为这一模型再添一项提速手段。该方案采用推测解码架构,据称可在保持输出质量与逻辑能力的前提下,把推理速度最高提升到原来的三倍。
Gemma4是目前受关注度较高的开源模型之一,发布后下载量已超过6000万次。此次更新的直接指向,是大语言模型在实际部署中常见的推理瓶颈,目标是更充分地利用计算资源。
技术拆解:如何实现“未卜先知”的推理加速?
语言模型推理的一个限制来自显存带宽。生成文本时,处理器需要把数百亿个参数从显存搬运到计算单元,这一搬运环节的速度远低于计算速度,硬件因此在相当长的时间内处于闲置状态,回复延迟也随之出现。
谷歌为此采用推测解码技术。系统把Gemma 4 31B这类体量较大的目标模型与轻量级MTP起草器配对:起草器利用闲置算力预先给出后续若干Token,再由主模型并行核验。若预测与主模型结果一致,单次计算即可确认整段序列,文本生成所需时间因此缩短。
实测表现:Apple Silicon与消费级显卡受益显著
按照谷歌公布的测试数据,本地设备上的加速效果较为明显。在Apple Silicon芯片环境中,batch sizes设在4至8之间时,Gemma 4 26B模型的本地运行速度提升约2.2倍。
这一变化意味着,开发者可以在个人电脑或普通消费级显卡上更顺畅地运行离线编程助手、智能体工作流等复杂任务。推理效率提高后,边缘设备的能耗也相应下降,为移动端AI应用减少了障碍。
AI应用的边界再次拓展
此次技术更新面向对低延迟要求较高的场景,包括即时聊天机器人、自动化编程工具以及各类自主智能体。谷歌借MTP起草器说明,在资源受限的硬件上同样可以部署较先进的语言模型,响应速度与计算精度不必二选一。
推理成本与使用门槛进一步下降后,Gemma4及配套技术的演进正在推动AI从云端走向更多个人计算终端。
