国际 AI 资讯

开源项目 Edge0 推出 145B 端侧模型,个人电脑本地可运行

开源项目 Edge0 发布 145B 模型,采用稀疏专家架构与多层存储优化,个人电脑本地运行,编程与推理能力接近云端模型。

海宇数科 · 事件日期 · 约 4 分钟 · 3 次阅读

开源项目 Edge0 推出 145B 端侧模型,个人电脑本地可运行 配图
开源项目 Edge0 推出 145B 端侧模型,个人电脑本地可运行 配图

开源项目 Edge0 近日发布 Edge0-145B 和 Edge0-120B 两个模型,并提供统一推理框架和部署工具。其中 1450 亿参数的模型可在个人电脑本地运行,覆盖编程、推理和智能体等能力。

突破硬件极限:它是如何在笔记本上运行145B 模型的?

端侧 AI 一直需要在能力与可运行性之间找平衡:大模型参数多,对内存和带宽要求高;小模型又难以胜任专业任务。若依赖云端,则面临 API 费用、数据隐私限制和网络依赖等问题。

开源项目 Edge0 推出 145B 端侧模型 个人电脑本地可运行 配图 1
相关配图

Edge0 团队从底层架构、训练、加载和调度四个层面进行了全面创新。

模型采用稀疏专家架构(MoE),共享大矩阵而专家总数不变,从而减少存储与搬运权重。总参数为 145B,但每次推理约有 10B 参数参与计算。

团队在训练初期就融入端侧约束,实现端侧协同训练,避免事后压缩或剪枝造成性能损失。

存储方面采用三层流水线,让 GPU 内存、系统内存和 SSD 协作:热专家常驻 GPU 内存,约 40GB 专家库放在系统内存,约 48GB 词表放在 SSD,以防止串行等待。

CPU 与 GPU 协同工作:GPU 计算已缓存专家,CPU 并行处理其余工作;同时采用投机解码分摊权重读取成本。

该模型支持苹果 M 系列 MacBook Pro 和 RTX4090/5090 Windows 平台。峰值内存占用 29GB,预处理速度超过 1100 tokens/s,解码速度超过 80 tokens/s,典型功耗约 120W,支持 128K 至 256K 上下文。

编程与推理能力对标云端,从容驾驭复杂本地工作流

在六项基准测试中,Edge0-145B 平均得分 72.8。基线模型采用 4-bit 量化需 70GB 至 87GB 内存,而 Edge0 内存占用缩减约 40% 至 60%,能力处于同一梯队。

具体来看,DeepSWE1.1 得分 64.6,Terminal-Bench2.1 得分 86.52,IFBench 得分 80.6。

GPQA-Diamond 得分 90.4。

该模型支持代码生成、工具调用、自我调试和视觉检查,可在本地离线运行,节省云端 API 费用,并让敏感数据留存本地。

构建端侧开源全家桶,推动 AI 走向“端侧优先”

过去一年,Edge0 共发布四大系列,总计 200 个模型,覆盖语音、文本、视觉与记忆。

Edge0 系列包括 145B 和 120B 模型,其中 120B 面向笔记本,35B 和 8B 面向手机,支持 vibe coding 与智能体任务。

Audio8 系列专注听说能力,包含 0.1B 到 3B 模型,支持多语种语音识别、语音合成和端到端交互。

Decision0 系列包含 0.6B 与 3B 模型,用于多模态快速决策,决策延迟在 40 毫秒级。

Embedding0 系列为 0.6B 多模态嵌入模型,支持文本、语音、图像和视频,可用于本地长期记忆与 RAG。

Edge0-145B 和 Edge0-120B 的权重已在 Hugging Face 开源,推理框架与部署指南在 GitHub 发布。此外推出 Edge0App,可免环境配置使用。

← 返回AI 资讯