国际 AI 资讯

智谱推出 GLM-5.1 高速版 API 输出速度达 400 tokens/s

智谱面向部分企业客户发布 GLM-5.1 高速版 API,输出速度达到 400 tokens/s,由 GLM 团队与 TileRT 团队联合打造,已在智谱 MaaS 平台开放服务。

海宇数科 · 事件日期 · 约 2 分钟 · 1 次阅读

智谱宣布面向部分企业客户推出 GLM-5.1 高速版 API,代号“GLM-5.1-highspeed”,其输出速度为 400 tokens/s。据披露,这一速度刷新了当前全球大模型厂商的 API 速度上限。

该模型由智谱 GLM 团队与 TileRT 团队联合打造。双方放弃传统动态调度方式,在推理引擎、调度系统与底层基础设施三个层面进行系统级优化,目标是在保持旗舰级能力的同时降低延迟。 在技术实现上,团队针对模型架构重写核心推理路径,以提升单卡吞吐,并借助动态批处理等手段压低高并发场景下的延迟。围绕基础设施的协同优化,则用于让 400 TPS 成为可稳定运行的生产级能力。 应用层面,该模型面向对响应延迟要求较高的场景,包括 AI 编程、实时语音交互与高频商业决策。目前该模型已在智谱 MaaS 平台面向部分企业开放服务。

打破行业惯例兼顾旗舰性能

按照行业此前的普遍认知,模型运行速度与体积难以兼得,高速度往往伴随能力上的让步。GLM-5.1 高速版试图改变这一取舍关系。

据介绍,该模型在国产大模型中较早实现将旗舰级技术能力与较低延迟体验同时带入实际生产环境,不过相关性能指标目前来自发布方披露。

三大层面优化确保稳定输出

研发团队对模型架构的核心推理路径进行了重写,以提升单卡吞吐;同时采用动态批处理等手段,降低高并发场景下的延迟。

在推理引擎、调度系统与底层基础设施三个层面,团队还进行了协同优化,以确保 400 TPS 成为稳定可用的生产级能力。上述细节均出自发布方说明。

← 返回AI 资讯