TAG:Transformer
蒂尔、辛顿、李飞飞集体背书:AI芯片初创公司Etched估值达50亿美元
AI芯片初创公司Etched完成8亿美元融资,估值达50亿美元,投资者包括彼得·蒂尔、杰弗里·辛顿、李飞飞等AI领域领军人物。该公司开发了专为Transformer模型设计的ASIC芯片Sohu,声称推理性能比英伟达H100快20倍,并致力于挑战英伟达在AI芯片市场的地位。文章详细介绍了Etched的技术特点、融资背景及团队实力。
Transformer核心作者Noam Shazeer加盟OpenAI,谷歌巨资未能挽留
Transformer 架构的核心作者 Noam Shazeer 正式加盟 OpenAI,此前谷歌曾斥资约27亿美元试图挽留这位 AI 奇才但未果。Shazeer 在谷歌期间为搜索引擎和广告系统做出奠基贡献,并主导了划时代 Transformer 论文的发表。他的加入将为 OpenAI 注入强大研发动力,加剧人工智能领域的巨头竞争,凸显人才争夺对 AI 发展的关键影响。
具身智能公司提出新方法,解决困扰机器人长程任务多年的“奖励瓶颈”问题
文章聚焦机器人长程任务中的“奖励瓶颈”,介绍逐际动力联合高校提出的ARM框架:以“前进/后退/停滞”三态相对优势替代绝对进度估计,并结合MIMO时序Transformer、自动化进度重建与AW-BC训练策略,显著提升长视界操作学习效率与稳定性,在双手毛巾折叠任务中实现99.4%成功率。
GEN-1和千寻的共识:历史不会重复,但具身智能正在押韵Transformer
本文将具身智能的当前发展与2018年Transformer引发的大模型革命相类比,揭示了行业突破性进展。美国Generalist AI的GEN-1模型通过海量人类行为数据预训练,显著提升物理操作任务成功率并降低机器人数据依赖,被视为具身智能的“ChatGPT时刻”。文章强调,国内千寻智能与GEN-1在数据驱动、高效数据利用及可穿戴设备采集人类数据等技术路线上高度同频,预示着全球具身智能发展路径的收敛。这种颠覆传统“机器教学”的范式变革,有望解决行业“数据贵、落地难”的痛点,推动具身智能实现大规模落地,迈向
为Transformer注入长期记忆:Memo框架通过“学会做摘要”解决具身智能核心挑战
牛津大学研究团队提出Memo框架,为Transformer模型注入长期记忆能力。该框架模仿人类笔记行为,让模型自主生成任务相关的摘要标记,通过动态记忆缓冲区存储和检索关键信息,解决了传统Transformer在长序列任务中的记忆限制问题。实验表明Memo在具身智能任务中性能优异,上下文标记减少8倍,同时保持强大的长时域推理能力。