TAG:分布式训练

自变量发布 DMuon 优化器:通过分布式改造 Muon 大模型基础设施,使具身模型训练提速 30%

自变量发布 DMuon 优化器:通过分布式改造 Muon 大模型基础设施,使具身模型训练提速 30%

文章介绍自变量发布的分布式 Muon 优化器 DMuon,针对具身模型训练中 Muon 在分布式场景下计算与通信开销过高的问题,通过通信优化、负载均衡和高性能内核改造,将步时间降至接近 AdamW 水平,整体训练提速约30%,并支持低成本接入。

2026-07-14 14:34
4
0

谷歌DeepMind推出解耦式DiLoCo:优化异步训练架构 可容忍硬件故障

谷歌DeepMind推出解耦式DiLoCo:优化异步训练架构 可容忍硬件故障

本文介绍谷歌DeepMind推出的解耦式DiLoCo分布式训练架构,该架构通过将训练任务分散到异步计算孤岛,解决传统同步训练易受单点硬件故障影响的问题,可大幅降低跨数据中心带宽需求,具备自愈能力且支持异构硬件协同,有效提升大模型训练效率与鲁棒性。

2026-04-24 15:59
0
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/