TAG:推理加速

腾讯混元发布全栈开源端到端OCR模型HyOCR-1.5，以仅1B参数实现高性能文档识别，并借助DFlash投机解码将推理速度最高提升6.37倍。文章重点介绍其开源价值、训练创新及在复杂文档、古文字和图表解析等场景中的越级表现。

aibase

2026-07-14 10:44

28

·

0

谷歌发布LiteRT.js，一款基于WebAssembly深度结合WebGPU与WebNN的浏览器端AI推理加速库，旨在替代TensorFlow.js，将推理速度最高提升3倍。实测显示在MacBook Pro上性能显著，老旧设备也有提升空间。该技术推动网页AI从纯JavaScript向硬件加速迈进，使客户端AI运行更流畅，助力端侧AI普及。

aibase

2026-07-10 14:01

17

·

0

AI芯片初创公司Etched结束隐身状态，推出由台积电代工的专用推理系统“前沿推理集群”，并斩获10亿美元订单。该公司估值达50亿美元，累计融资8亿美元，获Andrej Karpathy、Geoffrey Hinton等业界巨头投资。Etched坚持专用ASIC路线，旨在以更低成本高效运行AI推理，颠覆英伟达通用GPU格局，加速重构AI算力供应链。

aibase

2026-07-01 10:51

43

·

0

北京大学与DeepSeek联合开源DSpark大模型推理加速框架。该框架针对高并发自回归生成中的响应延迟与算力浪费痛点，创新采用半自回归架构（2层Transformer优于5层并行模型）与置信度调度验证机制。在代码、数学、对话等多场景测试中显著优于Eagle3和DFlash，尤其擅长长序列生成。已落地DeepSeek-V4服务并全面开源代码、权重及工具，为行业提供低成本高性能推理技术范式。

aibase

2026-06-29 10:36

102

·

0