TAG:Transformer
杨植麟在GTC 2026上正式公布，月之暗面已将Adam优化器、全注意力机制以及残差连接全部替换为新架构，并完成开源。
月之暗面CEO杨植麟在GTC2026演讲中，首度摊牌：将Adam优化器、注意力机制和残差连接三个Transformer基石全部重新设计并开源。推出MuonClip提升数据利用效率、QK-Clip确保万亿参数稳定、Kimi Linear实现百万Token上下文高效、Agent Swarm让多Agent并行协作。视觉反哺文本的创新进展，将为中国开源大模型训练带来全新范式。
6 
0 
蒂尔、辛顿、李飞飞集体背书：AI芯片初创公司Etched估值达50亿美元
AI芯片初创公司Etched完成8亿美元融资，估值达50亿美元，投资者包括彼得·蒂尔、杰弗里·辛顿、李飞飞等AI领域领军人物。该公司开发了专为Transformer模型设计的ASIC芯片Sohu，声称推理性能比英伟达H100快20倍，并致力于挑战英伟达在AI芯片市场的地位。文章详细介绍了Etched的技术特点、融资背景及团队实力。
Transformer核心作者Noam Shazeer加盟OpenAI，谷歌巨资未能挽留
Transformer 架构的核心作者 Noam Shazeer 正式加盟 OpenAI，此前谷歌曾斥资约27亿美元试图挽留这位 AI 奇才但未果。Shazeer 在谷歌期间为搜索引擎和广告系统做出奠基贡献，并主导了划时代 Transformer 论文的发表。他的加入将为 OpenAI 注入强大研发动力，加剧人工智能领域的巨头竞争，凸显人才争夺对 AI 发展的关键影响。
具身智能公司提出新方法，解决困扰机器人长程任务多年的“奖励瓶颈”问题
文章聚焦机器人长程任务中的“奖励瓶颈”，介绍逐际动力联合高校提出的ARM框架：以“前进/后退/停滞”三态相对优势替代绝对进度估计，并结合MIMO时序Transformer、自动化进度重建与AW-BC训练策略，显著提升长视界操作学习效率与稳定性，在双手毛巾折叠任务中实现99.4%成功率。
GEN-1和千寻的共识：历史不会重复，但具身智能正在押韵Transformer
本文将具身智能的当前发展与2018年Transformer引发的大模型革命相类比，揭示了行业突破性进展。美国Generalist AI的GEN-1模型通过海量人类行为数据预训练，显著提升物理操作任务成功率并降低机器人数据依赖，被视为具身智能的“ChatGPT时刻”。文章强调，国内千寻智能与GEN-1在数据驱动、高效数据利用及可穿戴设备采集人类数据等技术路线上高度同频，预示着全球具身智能发展路径的收敛。这种颠覆传统“机器教学”的范式变革，有望解决行业“数据贵、落地难”的痛点，推动具身智能实现大规模落地，迈向
为Transformer注入长期记忆：Memo框架通过“学会做摘要”解决具身智能核心挑战
牛津大学研究团队提出Memo框架，为Transformer模型注入长期记忆能力。该框架模仿人类笔记行为，让模型自主生成任务相关的摘要标记，通过动态记忆缓冲区存储和检索关键信息，解决了传统Transformer在长序列任务中的记忆限制问题。实验表明Memo在具身智能任务中性能优异，上下文标记减少8倍，同时保持强大的长时域推理能力。
