TAG:KVCache
小红书开源 RedKnot 推理引擎，长上下文处理效率翻倍，助力告别“长文本焦虑”
小红书技术团队开源RedKnot推理引擎，创新打破传统KV Cache按token维度存储模式，沿注意力头维度拆解并引入头分类稀疏、稀疏FFN、SegPagedAttention三大机制，实现长上下文推理效率大幅提升。实测TTFT加速1.6-3.54倍，并发提升4.7-7.8倍，FLOPs降低67%-79.5%，DeepSeek-V4-Flash在128K上下文下表现优异且精度保持95%以上。代码已开源，为高效AI推理提供新路径。
14 
0 
谷歌 TurboQuant 发布：LLM 键值缓存压缩六倍速度提升八倍 零精度损失无需训练
谷歌研究团队发布全新向量量化算法 TurboQuant，通过 PolarQuant 与 QJL 技术实现 LLM 键值缓存内存压缩6倍、推理速度提升8倍，零精度损失且无需训练。该技术可显著降低 AI 推理成本，推动长上下文应用落地，适用于广泛场景。
美股三大指数震荡整理，芯片股走高，光通信板块大涨
2026-05-11
0 浏览
多空胶着恒指震荡整理，AI景气外溢主导行情波动
2026-05-11
0 浏览
宠物AI公司PurrPurr获阿尔法公社投资 首年GMV目标5000万
2026-05-11
0 浏览
隆源股份业绩说明会回应今年新能源汽车零部件领域新客户洽谈中
2026-05-11
0 浏览
中国品牌市占率达75%，4月我国汽车销量约252.6万辆，新能源汽车出口贡献度近五成
2026-05-11
0 浏览
4月汽车出口增长51% 国内零售下跌超20%
2026-05-11
0 浏览
4月全国新能源汽车渗透率历史首次突破60%，燃油车零售同比暴跌37%
2026-05-11
0 浏览
港股复盘：强势翻红 芯片概念股冲高回落 短期风险需警惕
2026-05-11
0 浏览
申昊科技拟设具身智能子公司 加码人形机器人业务
2026-05-11
0 浏览
