TAG:混合注意力模型

小红书联手北京大学、上海交通大学提出HYPIC,给混合注意力大模型装上位置无关缓存,首token延迟砍掉3.25倍

小红书联手北京大学、上海交通大学提出HYPIC,给混合注意力大模型装上位置无关缓存,首token延迟砍掉3.25倍

小红书大模型推理团队联合北大、上交提出HYPIC,实现混合注意力大模型的位置无关缓存。系统解决现有PIC与线性注意力无法兼容问题,通过转移算子缓存、缝合窗口重算和段并行加速冷请求。实测首token延迟平均降低3.25倍,QPS提升1.66倍,任务质量仅差1.71分。完美适配RAG、多文档Agent等超长上下文负载。

2026-07-17 16:54
0
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/