TAG:PrfaaS

Moonshot AI联合清华大学发布PrfaaS架构,破解大模型算力瓶颈

Moonshot AI联合清华大学发布PrfaaS架构,破解大模型算力瓶颈

Moonshot AI与清华大学联合发布了PrfaaS(预填充即服务)架构,旨在破解大模型推理中的算力瓶颈。该架构通过解耦预填充与解码阶段,将计算密集型任务卸载至专用集群,并配合双时间尺度调度机制优化资源利用。实测显示,该方案可提升54%的服务吞吐量并显著降低延迟,为未来跨地域算力网络的构建和AI工业化应用奠定了坚实的技术基础。

2026-04-20 15:33
0
0

Moonshot AI与清华大学提出跨数据中心PrfaaS创新架构

Moonshot AI与清华大学提出跨数据中心PrfaaS创新架构

本文介绍了 Moonshot AI 与清华大学提出的 PrfaaS(预填充即服务)架构:将大模型推理中的预填充与解码阶段跨数据中心解耦,借助专用计算集群与以太网传输 KVCache,突破传统同中心部署瓶颈。研究显示该方案可将吞吐量提升54%,并通过分层路由与双时间尺度调度降低延迟、提升资源利用率。

2026-04-20 10:51
0
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/