TAG:跨数据中心

Moonshot AI与清华大学提出跨数据中心PrfaaS创新架构

Moonshot AI与清华大学提出跨数据中心PrfaaS创新架构

本文介绍了 Moonshot AI 与清华大学提出的 PrfaaS(预填充即服务)架构:将大模型推理中的预填充与解码阶段跨数据中心解耦,借助专用计算集群与以太网传输 KVCache,突破传统同中心部署瓶颈。研究显示该方案可将吞吐量提升54%,并通过分层路由与双时间尺度调度降低延迟、提升资源利用率。

2026-04-20 10:51
0
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/