TAG:小红书开源

小红书开源 RedKnot 推理引擎,长上下文处理效率翻倍,助力告别“长文本焦虑”

小红书开源 RedKnot 推理引擎,长上下文处理效率翻倍,助力告别“长文本焦虑”

小红书技术团队开源RedKnot推理引擎,创新打破传统KV Cache按token维度存储模式,沿注意力头维度拆解并引入头分类稀疏、稀疏FFN、SegPagedAttention三大机制,实现长上下文推理效率大幅提升。实测TTFT加速1.6-3.54倍,并发提升4.7-7.8倍,FLOPs降低67%-79.5%,DeepSeek-V4-Flash在128K上下文下表现优异且精度保持95%以上。代码已开源,为高效AI推理提供新路径。

2026-06-30 11:47
0
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/