TAG:AI推理
英伟达刷新 DeepSeek-R1 推理速度纪录 单 GPU 每秒处理 8064 词元
本文报道英伟达在最新MLPerf v6.0 AI推理基准测试中的突破。凭借Blackwell Ultra架构，其硬件在多项测试中全面领先，DeepSeek-R1推理速度达每秒每GPU 8064词元，较前代提升2.77倍。文章梳理了测试升级亮点与核心数据，直观呈现当前AI算力与推理技术的跨越式进步。
谷歌 TurboQuant 发布：LLM 键值缓存压缩六倍速度提升八倍 零精度损失无需训练
谷歌研究团队发布全新向量量化算法 TurboQuant，通过 PolarQuant 与 QJL 技术实现 LLM 键值缓存内存压缩6倍、推理速度提升8倍，零精度损失且无需训练。该技术可显著降低 AI 推理成本，推动长上下文应用落地，适用于广泛场景。
院士教授加盟趋境科技 领跑AI Token高效生产新生态
趋境科技迎来中国工程院院士郑纬民与清华大学教授武永卫重磅加盟，携手打造高效能AI Token生产新生态。依托清华技术积淀，公司聚焦系统级原始创新，突破算力瓶颈，推动AI普惠化落地，助力千行百业智能化转型。
淘宝百亿补贴推出养龙虾硬件专场 Mac mini直降3999元
淘宝百亿补贴针对AI推理需求激增，紧急上线“养龙虾硬件”专场，将Mac mini等热门设备补贴至3999元，最高优惠2600元。此举不仅缓解了市场溢价问题，也反映了AI应用对硬件市场的深远影响。
英伟达联手Groq打造定制推理芯片 OpenAI入伙或重塑AI竞赛格局
英伟达联手Groq推出定制化AI推理处理器，专为OpenAI等顶级开发者设计，旨在实现推理性能的跨越式提升。这一战略转型标志着英伟达从通用GPU供应商转向深度定制系统架构商，以应对行业自研潮，并成功稳住OpenAI等核心客户。此举或将重塑AI竞赛格局，推动行业进入以推理效率为核心的新阶段。
中信证券：国产大模型表现亮眼 重点关注算力投资机遇
中信证券研报指出，2026年春节期间国产大模型token调用量井喷，反映出AI推理需求指数级增长。国产算力凭借成本优势和生态完善，有望在基础设施层占据主导地位。报告建议关注光通信、高速线模组、交换芯片及交换机、IDC等环节的投资机遇。
联想集团AI营收占比达32% 杨元庆看好AI推理引领第四波基础设施浪潮
联想集团最新财报显示AI相关营收占比达32%，成为重要增长引擎。董事长杨元庆强调AI整体无泡沫，并预测基础设施第四波浪潮将由AI推理驱动，企业级AI和边缘计算将成为未来重点。同时，公司面临零部件成本上涨挑战，但承诺保持业绩增长。
AI推理领域估值飙升：Modal Labs推进新一轮融资，或估值25亿美元
AI推理基础设施公司Modal Labs正洽谈新一轮融资，估值或达25亿美元，较去年9月翻倍以上。公司专注于优化AI模型推理过程，帮助企业降低计算成本和延迟，年化收入约5000万美元。随着AI应用落地加速，推理赛道成为资本竞争焦点。
vLLM团队创立Inferact，估值达8亿美元瞄准全球AI推理市场
vLLM原班人马创立AI基础设施公司Inferact，以8亿美元估值完成1.5亿美元种子轮融资，旨在通过优化推理引擎技术，大幅降低AI推理成本并提升效率，推动人工智能向实用化阶段迈进。
谷歌Gemini 3推出Deep Think模式，AI推理能力大幅增强
谷歌正式推出Gemini 3 Deep Think模式，专为Google AI Ultra订阅用户设计，显著提升AI在复杂数学、科学和逻辑问题上的推理能力。该模式在多项严格基准测试中表现卓越，如未使用工具时在“人类最后的考试”中取得41.0%成绩，使用代码执行时在ARC-AGI-2测试中达到45.1%。用户可通过简单选择立即体验这一先进功能，推动AI技术进步。
黑芝麻智能拟投4亿收购亿智电子 拓展机器人AI芯片应用
黑芝麻智能宣布拟以4-5.5亿元收购亿智电子多数股权，旨在整合双方技术优势，实现车规级AI芯片产品线全系覆盖，并拓展至机器人等新兴应用场景。此次收购预计2026年第一季度完成，将增强公司在自动驾驶及边缘AI领域的整体竞争力。
Meta推出CoT-Verifier：通过归因图定位AI推理错误
Meta AI实验室推出CoT-Verifier模型，通过分析链式思维推理的归因图结构，精准定位AI推理错误。该技术不仅能识别错误步骤，还能通过定向干预提升模型性能，在MATH数据集上使Llama3.1准确率提升4.2个百分点。模型已开源，支持一键复现，为开发者提供推理过程的'结构异常分'和错误定位功能。
AMD收购MK1强化AI推理市场布局
AMD于2025年11月成功收购AI推理初创公司MK1，旨在加速布局AI推理市场。MK1的核心技术Flywheel与AMD Instinct GPU深度优化，可日处理超万亿token，显著提升推理效率与成本效益。此次收购强化了AMD在金融、医疗等领域的AI解决方案能力，推动其构建从训练到推理的端到端非NVIDIA生态。
18 
0 
引擎的叛逆：Llama.cpp史诗级更新，本地AI迎来“Ollama时刻”
llama.cpp迎来史诗级更新，实现多模态输入、并行交互和JSON结构化输出三大突破。用户可直接处理图片、音频和PDF文件，通过现代化Web界面进行多任务并行处理，并自定义JSON模板实现自动化输出。所有操作100%本地运行，保障数据隐私，为普通用户和开发者提供高效安全的本地AI解决方案。
华为发布AI推理新技术 将于今年9月正式开源
华为发布AI推理创新技术UCM（推理记忆数据管理器），这是一款以KV Cache为中心的推理加速套件，能有效提升推理效率并降低成本。该技术计划于2025年9月正式开源，已在多个行业场景中试点应用。文章还探讨了AI推理在行业落地中的挑战及未来发展趋势。
