京东在Hugging Face开源JoyAI-LLM-Flash大模型
京东于2月14日在Hugging Face开源JoyAI-LLM-Flash,总参数48亿、激活参数3亿,采用MoE架构与FiberPO优化框架,支持128K上下文。
海宇数科 · 事件日期 · 更新于 · 约 1 分钟 · 1 次阅读

京东于2月14日在Hugging Face平台开源大模型JoyAI-LLM-Flash。
该模型总参数48亿,激活参数3亿,预训练使用20万亿文本Token,官方称其在前沿知识理解、推理与编程方面具备相应能力。
模型采用混合专家(MoE)架构,共40层,支持128K上下文长度和129K词表。优化方面,JoyAI-LLM-Flash引入FiberPO框架,将纤维丛理论用于强化学习,并搭配Muon优化器与稠密多Token预测技术,针对规模扩展中的不稳定问题给出解决方案;相比非MTP版本,吞吐量提升1.3倍至1.7倍。
