TAG:AI推理
模型变小，能力不减：新浪VibeThinker-3B开源，AI推理迎来轻量化新思路
模型无需越大越强！新浪开源VibeThinker-3B仅以30亿参数，在数学推理、编程竞赛等高难度任务中展现出媲美甚至超越百倍规模大模型的性能。该模型基于Qwen2.5-Coder-3B，通过监督微调、强化学习、自蒸馏等多阶段后训练，将逻辑推理能力深度浓缩。研发团队提出“参数压缩-覆盖假说”，证明结构化任务可高效压缩进小模型。目前已在Hugging Face和GitHub开源，为AI推理轻量化提供全新低成本高性能范式。
61 
0 
OpenAI与博通合作发布首款自研推理芯片“Jalapeño”
OpenAI 与博通联合推出首款自研推理芯片“Jalapeño”，专为大语言模型推理任务设计，展示了OpenAI 从软件算法到硬件架构的战略扩展。该芯片开发耗时仅9个月，通过优化计算、内存和网络资源，实现了高每瓦性能和低运营成本。此举旨在构建全栈基础设施，应对算力依赖和市场竞争，计划于2026年底前部署，标志AI产业在基础设施层面进入新竞争阶段。
Groq卖掉核心技术后转型云服务商 再融资44亿元扩张算力
在将自研LPU技术授权给英伟达后，AI芯片公司Groq成功转型为AI推理云服务商，并完成44亿元融资。公司依靠独有的LPU工程团队经验作为核心壁垒，计划到2027年将算力规模扩张至200兆瓦，支持大规模AI推理业务。这一转型策略展示了AI创业公司在竞争市场中的创新生存智慧。
谷歌发布 DiffusionGemma：通过文本扩散架构加速 AI 推理
谷歌6月10日发布DiffusionGemma开源模型，采用文本扩散架构实现文本到文本的非自回归推理。性能测试显示，该模型在专用GPU上的文本生成速度最高可提升4倍，特别适合本地设备及低并发场景。模型目前定位为研究实验性产品，输出质量无法与Gemma4媲美，建议开发者关注其在AI推理效率提升方面的潜力。
慧荣科技推出专为AI PC打造的SM2524XT主控，提供2.5M IOPS的AI推理与KV Cache性能
慧荣科技推出SM2524XT主控芯片，专为AI PC的AI推理和KV Cache工作负载设计。该芯片采用PCIe Gen5和6nm制程，提供高达14GB/s读取速度和250万IOPS随机性能，显著提升每瓦效率和延迟稳定性，有效解决端侧AI存储瓶颈，推动AI PC性能升级。
专家解析华为“韬定律”：旨在破解AI推理数据搬运瓶颈
华为发布的'韬定律'针对AI推理中的数据搬运瓶颈，通过从器件到系统的四个层级优化时间常数τ，采用逻辑折叠、近存计算等技术，减少数据延迟和能耗，提升AI推理的性价比和能效比。专家指出，这改变了传统优化路径，可能推动AI硬件设计革新。
AI网关厂商OpenRouter完成1.13亿美元B轮融资，估值达13亿美元
OpenRouter，一家AI网关厂商，完成1.13亿美元B轮融资，估值达13亿美元。该公司提供多AI模型聚合平台，帮助企业灵活访问Anthropic、Google等供应商的400多个模型，优化成本和推理准确性。用户量达800万，月处理代币100万亿个，反映了AI推理市场的爆发式增长和企业对去中心化模型调度的需求。
OpenAI推理模型突破性进展：AI成功反驳Erdős单位距离猜想
OpenAI的推理模型在数学领域取得里程碑式突破，成功反驳了困扰数学界近80年的Erdős单位距离猜想。该模型通过原创性数论方法，自主构建新型点集构造方案，证明单位距离对数超出人类预期上限。这一成果经过多位数学家验证，展示了AI在长链逻辑推理和原创研究方面的能力，标志着AI从辅助工具进化为研究伙伴，对材料科学、工程通信等领域具有广泛应用价值。
英特尔全新AI推理GPU硬件谍照全球曝光：搭载巨量显存
英特尔全新AI推理GPU“Crescent Island”的PCB谍照近日全球曝光，揭示了其硬件细节。该GPU采用PCIe Gen5+设计，配备20颗LPDDR5X内存焊盘，支持高达160GB超大显存，供电方案扎实。面向风冷服务器市场，基于Xe3P微架构，支持FP8和MXFP4等高级数据类型，预计2026年下半年出样，为AI推理算力市场带来高效硬件选择。
澜起科技业绩会：多款新品将进入规模商用 AI推理带动互连芯片市场扩容
在澜起科技2025年度暨2026第一季度业绩说明会上，公司董事长兼CEO杨崇和表示，AI从训练向推理迁移正带动全球互连芯片市场扩容。财报显示公司营收和利润大幅增长，多款新品如DDR5第六子代RCD、PCIe/CXL相关芯片将进入规模商用，成为未来成长引擎。公司计划深耕高速互连核心技术，拓展PCIe/CXL业务，预计CXL规模化部署将推动市场持续增长。
DeepSeek V4中文大模型评测：再创国内第一佳绩
SuperCLUE最新评测显示，DeepSeek-V4-Pro以70.98分重回国内中文大模型第一，Flash版以68.82分位列第二。文章从六大能力维度解析其优势，并对比Pro与Flash在性能、成本和适用场景上的差异，同时指出其在代码与复杂指令上的提升空间，为企业与个人选型提供参考。
芯动力可重构芯片项目签约合肥，开启国产算力新篇章
在第四届安徽科交会上，芯动力与合肥产投签约可重构并行处理器芯片研发及产业化项目，标志国产自主可控算力芯片迈出关键一步。文章聚焦其8年自研RPP架构如何兼顾能效与通用性，并借助合肥产业生态加速量产，助力AI算力普惠与集成电路产业升级。
英伟达刷新 DeepSeek-R1 推理速度纪录 单 GPU 每秒处理 8064 词元
本文报道英伟达在最新MLPerf v6.0 AI推理基准测试中的突破。凭借Blackwell Ultra架构，其硬件在多项测试中全面领先，DeepSeek-R1推理速度达每秒每GPU 8064词元，较前代提升2.77倍。文章梳理了测试升级亮点与核心数据，直观呈现当前AI算力与推理技术的跨越式进步。
谷歌 TurboQuant 发布：LLM 键值缓存压缩六倍速度提升八倍 零精度损失无需训练
谷歌研究团队发布全新向量量化算法 TurboQuant，通过 PolarQuant 与 QJL 技术实现 LLM 键值缓存内存压缩6倍、推理速度提升8倍，零精度损失且无需训练。该技术可显著降低 AI 推理成本，推动长上下文应用落地，适用于广泛场景。
院士教授加盟趋境科技 领跑AI Token高效生产新生态
趋境科技迎来中国工程院院士郑纬民与清华大学教授武永卫重磅加盟，携手打造高效能AI Token生产新生态。依托清华技术积淀，公司聚焦系统级原始创新，突破算力瓶颈，推动AI普惠化落地，助力千行百业智能化转型。
