TAG:机器人学习
具身智能“大平行理论”会成真吗?
文章围绕英伟达科学家 Jim Fan 提出的“Great Parallel”展开,分析具身智能是否会像大语言模型一样通过预训练与对齐实现快速收敛。文中重点比较 VLA 与世界模型两条路线,讨论数据积累、泛化能力、样本效率及创业机会,梳理当前具身智能发展的关键分歧与未来方向。
HumanEgo:机器人不看机器人示教,只看人类第一视角视频就能学会操作
HumanEgo 论文提出零样本机器人学习新范式:仅用几分钟人类第一视角视频(Aria眼镜采集),去除人体手臂后提取手-物交互几何关系,训练 Flow Matching Policy,直接部署至双臂机器人,实现零-shot操作。彻底打破数据昂贵与embodiment gap,解决长时序、多臂协作任务的采集瓶颈。
上海创智学院与上海交通大学联合智动未来提出MINT模型:让VLA从模仿轨迹走向理解意图
本文介绍上海创智学院、上海交大等提出的MINT框架,聚焦VLA模型的强泛化与强迁移能力。MINT通过频谱分解动作词元化与意图—执行分层生成,让机器人不再只模仿轨迹,而是理解行为意图,从而提升组合泛化与小样本迁移能力。
具身机器人研究全都错了?最新论文:不能只靠VLA和世界模型
具身机器人研究的主流范式面临挑战。最新arXiv论文指出,仅靠更大的VLA模型和世界模型难以实现通用物理智能,当前研究存在机器人原生监督、弱监督视频和仿真模型的明显局限。论文提出缺失的四个核心组件(数据接口、具身接口、世界模型接口、奖励接口)及“具身自动标注”等未来方向,为构建真正可泛化的物理智能机器人提供新思路。
机器人在11个数据集上取得SOTA,同时具备视觉和运动能力
AFUN模型通过整合语言理解、图像分割和三维点云处理,实现了机器人的可供性感知能力,使其能同时识别操作区域并规划三维运动轨迹。该模型在11个数据集上取得SOTA成绩,并在真实机器人任务中达到90%成功率,解决了机器人学中长期存在的‘看’与‘动’分离问题,为自主操作部署迈出关键一步。
全球首个事件级世界模型,终结具身智能逐帧时代
本文介绍了全球首个事件级预测的具身智能世界模型WALL-WM,由自变量机器人团队发布。文章批评了传统逐帧学习方法的局限性,导致机器人泛化能力差,无法适应多变环境。WALL-WM模型通过以事件为中心的方法,直接预测关键事件(如抓住杯子)的动作轨迹,跳过冗余帧,提升学习效率和真实世界适应性。文章还讨论了多模态对齐问题,并比较了VLA与世界模型的路线,为机器人智能提供了更高效、语义化的学习框架。
京东开源1680小时第一视角人类操作数据,助力具身智能学习人类操作
京东开源了EgoLive数据集,这是一个大规模的第一视角人类操作数据集,包含1680小时视频、65,866个任务片段,覆盖家政、零售、物流等真实场景。数据集提供手部轨迹、深度图、语言描述等多模态标注,旨在帮助具身智能机器人通过观察人类操作来学习任务执行,填补机器人训练数据的空白,推动智能机器人技术在真实世界中的应用。
人形机器人不只要会走,还要学会“边走边干活”
本文介绍了Ψ0模型,一个旨在让机器人学会复杂移动操作的基础模型。通过分阶段训练,先利用人类第一视角视频学习任务理解,再用机器人数据精确控制,Ψ0使机器人能完成如拿杯子、倒水等日常长程任务。这种方法解决了高质量机器人数据稀缺的问题,推动了人形机器人在实际应用中的发展。
百万小时人类视频成为机器人学习的教科书
本文探讨了如何利用互联网上百万小时的人类活动视频来训练机器人,解决具身智能领域数据收集难、成本高的问题。北京大学团队提出的HumanNet数据集,包含100万小时以人为中心的视频,配备运动注释、姿态标注等详细信息,通过多样视角和物理相关行为,为机器人学习提供大规模、高质量的训练资源。文章详细介绍了数据集的设计原则、处理管道和标注体系,展示了人类视频作为机器人学习‘教科书’的潜力。
原力灵机Dexbotic 2.0 具身智能PyTorch进展中
原力灵机Dexbotic 2.0升级为具身原生开发框架,旨在打造具身智能时代的PyTorch。它解决了VLA技术研发分散、流程繁琐等痛点,通过统一VLA+RL学习范式,提升研发效率。文章介绍了DM0模型在RoboChallenge上以2.4B参数登顶的成就,展示了框架的强大能力。此外,密集的更新清单包括模型适配、训练能力增强和硬件生态扩展,推动了具身智能行业的快速发展。
南洋理工、伯克利、斯坦福、ETH联合发表机器人世界模型综述
这篇综述论文由南洋理工、伯克利、斯坦福等顶尖机构联合发表,系统梳理了机器人学习中世界模型的研究现状。文章定义了世界模型在机器人语境下的核心能力,包括预见性、规划和数据增强,并探讨了其与策略耦合的五种范式,如解耦式管道和统一VLA模型。同时,分析了世界模型作为仿真器的双重角色,为机器人学习领域提供了全面视角和未来挑战。
具身智能发展历程:谷歌RT1、2与SayCan作者Ted Xiao复盘机器人学习三大时代
这篇文章整理了谷歌DeepMind前科学家Ted Xiao对具身智能领域的系统回顾。他以亲历者视角,复盘了机器人学习的三个时代:存在性证明时代、基础模型时代和Scaling时代,分享了关键项目如RT-1、RT-2、SayCan背后的决策与思考。文章揭示了从强化学习到基础模型的演变,为读者提供了对AI机器人技术发展脉络的深刻洞察。
清华大学与星尘智能团队CLAP框架使机器人能从视频中学习技能
清华大学和星尘智能团队开发的CLAP框架,通过对比学习将人类视频中的视觉动作与机器人物理动作空间对齐,使机器人能够从海量视频中学习技能。该框架解决了传统方法数据采集成本高、泛化差的问题,利用ActVAE和VDVAE两个自编码器处理不同模态数据,建立跨模态对齐桥梁,提升了机器人的学习效率和泛化能力。
机器人学习的三个时代:从存在性证明到规模化
本文系统梳理了机器人学习从2016年到2024年的三个发展时代:存在性证明、基础模型和全面规模化。文章分析了关键技术演进,如从强化学习到视觉-语言-动作模型(VLA)的转变,强调了数据驱动、范式切换的重要性,并探讨了工业界与学术界的分工及未来趋势,为读者提供领域全景和前沿洞察。
苏黎世联邦理工学院让机器人学会"想象":零样本部署四足和人形机器人
ETH苏黎世研究团队开发了RWM(Robotic World Model)框架,通过神经网络模拟器让机器人在虚拟环境中“想象”动作,实现零样本部署到真实硬件。该框架采用双重自回归机制解决误差累积问题,使用GRU架构提高预测效率,并结合特权信息训练策略。实验表明,ANYmal D四足机器人和Unitree G1人形机器人能精确执行速度跟踪任务,无需在线微调,显著提升了机器人学习的样本效率和部署安全性。