Ollama 更新引入苹果 MLX 框架,Mac 本地推理预填提速 1.6 倍、生成速度翻倍
Ollama 于 3 月 31 日发布更新,宣布引入苹果自研机器学习框架 MLX。官方数据显示,预填阶段最高提速 1.6 倍,生成阶段速度翻倍;配备 M5 系列芯片的机型因 GPU 神经加速器受益最明显,官方建议在 32GB 及以上内存的 Mac 上运行,预览版率先支持阿里 Qwen 3.5 模型。
海宇数科 · 事件日期 · 更新于 · 约 3 分钟 · 1 次阅读

3 月 31 日,本地大模型运行方案 Ollama 发布更新,宣布把苹果自研的机器学习框架 MLX 纳入底层架构。
这一变化面向搭载 Apple 芯片的 Mac 设备,官方称其带来的是推理性能的整体抬升,本地 AI 的响应速度由此进入新的水平。
核心提升:响应速度 最高 翻倍,M5 表现惊艳
按官方披露的数据,接入 MLX 框架后,Ollama 的性能提升体现在两个阶段。
第一是处理用户输入提示词的预填阶段,系统响应更快,官方给出的提速幅度为 1.6 倍。
第二是模型输出回复的生成阶段,字句弹出的速度提升约 100%,即接近翻倍。
配备 M5 系列芯片的机型受惠最明显:苹果在这代硬件中加入了新的 GPU 神经加速器(GPU Neural Accelerator),官方称其推理体验已接近即时响应。
内存管理优化:长对话不再“卡壳”
在速度之外,本次更新还调整了内存管理策略。新版本能够更灵活地调用 Mac 的系统统一内存(Unified Memory)。
即便会话时间较长、上下文规模较大,交互也能维持流畅,不会因内存调度而出现明显停顿。
官方同时给出了配置建议:在配备 32GB 或更高内存的 Mac 上运行,可以获得最理想的推理表现。 这一建议意味着内存容量仍是决定本地推理体验的重要条件,用户在部署前需要对照自身设备配置。
首发阵营:阿里 Qwen 3.5 率先支持
在当前预览阶段,基于 MLX 加速的版本为 Ollama 0.19 预览版,其专项支持的模型是阿里旗下的 Qwen 3.5。 Ollama 方面已明确表示,后续会逐步把适配范围扩展到更多主流 AI 模型。 因此现阶段可体验 MLX 加速的模型范围仍然有限,其他模型的用户需要等待后续版本。
行业观察:本地 AI 助手的“毫秒级”时代
对使用 Ollama 驱动本地 AI 编码工具或代码助手的开发者而言,延迟压缩到亚秒级后,本地大模型可以承担更接近即时响应的生产力任务,而不只是实验性用途。
结语:苹果生态的算力闭环
从自研芯片到自研框架,苹果在 AI 开发链条上的掌控力持续加强;Ollama 对 MLX 的引入,则让 Mac 在本地 AI 开发设备中的位置更加突出,软硬一体化带来的效率提升开始体现在具体工具上。
