国际 AI 资讯

Ollama 更新引入苹果 MLX 框架,Mac 本地推理预填提速 1.6 倍、生成速度翻倍

Ollama 于 3 月 31 日发布更新,宣布引入苹果自研机器学习框架 MLX。官方数据显示,预填阶段最高提速 1.6 倍,生成阶段速度翻倍;配备 M5 系列芯片的机型因 GPU 神经加速器受益最明显,官方建议在 32GB 及以上内存的 Mac 上运行,预览版率先支持阿里 Qwen 3.5 模型。

海宇数科 · 事件日期 · 更新于 · 约 3 分钟 · 1 次阅读

Ollama 更新引入苹果 MLX 框架,Mac 本地推理预填提速 1.6 倍、生成速度翻倍 配图
Ollama 更新引入苹果 MLX 框架,Mac 本地推理预填提速 1.6 倍、生成速度翻倍 配图

3 月 31 日,本地大模型运行方案 Ollama 发布更新,宣布把苹果自研的机器学习框架 MLX 纳入底层架构。

这一变化面向搭载 Apple 芯片的 Mac 设备,官方称其带来的是推理性能的整体抬升,本地 AI 的响应速度由此进入新的水平。

核心提升:响应速度 最高 翻倍,M5 表现惊艳

按官方披露的数据,接入 MLX 框架后,Ollama 的性能提升体现在两个阶段。

第一是处理用户输入提示词的预填阶段,系统响应更快,官方给出的提速幅度为 1.6 倍。

第二是模型输出回复的生成阶段,字句弹出的速度提升约 100%,即接近翻倍。

配备 M5 系列芯片的机型受惠最明显:苹果在这代硬件中加入了新的 GPU 神经加速器(GPU Neural Accelerator),官方称其推理体验已接近即时响应。

内存管理优化:长对话不再“卡壳”

在速度之外,本次更新还调整了内存管理策略。新版本能够更灵活地调用 Mac 的系统统一内存(Unified Memory)。

即便会话时间较长、上下文规模较大,交互也能维持流畅,不会因内存调度而出现明显停顿。

官方同时给出了配置建议:在配备 32GB 或更高内存的 Mac 上运行,可以获得最理想的推理表现。 这一建议意味着内存容量仍是决定本地推理体验的重要条件,用户在部署前需要对照自身设备配置。

首发阵营:阿里 Qwen 3.5 率先支持

在当前预览阶段,基于 MLX 加速的版本为 Ollama 0.19 预览版,其专项支持的模型是阿里旗下的 Qwen 3.5。 Ollama 方面已明确表示,后续会逐步把适配范围扩展到更多主流 AI 模型。 因此现阶段可体验 MLX 加速的模型范围仍然有限,其他模型的用户需要等待后续版本。

行业观察:本地 AI 助手的“毫秒级”时代

对使用 Ollama 驱动本地 AI 编码工具或代码助手的开发者而言,延迟压缩到亚秒级后,本地大模型可以承担更接近即时响应的生产力任务,而不只是实验性用途。

结语:苹果生态的算力闭环

从自研芯片到自研框架,苹果在 AI 开发链条上的掌控力持续加强;Ollama 对 MLX 的引入,则让 Mac 在本地 AI 开发设备中的位置更加突出,软硬一体化带来的效率提升开始体现在具体工具上。

← 返回AI 资讯