TAG:显存优化

小红书开源 BigMac:实现多模态训练显存与速度的统一优化

小红书开源 BigMac:实现多模态训练显存与速度的统一优化

小红书开源 BigMac 多模态流水并行训练范式,彻底打破多模态 LLM 训练的显存与速度二选一困境。通过准依赖安全的嵌套流水线,将 LLM 主干 schedule 保留为底层时间线,把编码器与生成器嵌入到输入就绪且不打断执行的位置,实现显存 O(1) 压缩与零空泡。提供全局 operator 表、算法友好的流水并行接口及专业 profiler/simulator,助力从单卡验证自然扩展到大规模流水并行训练。MLLM-Understanding 与 Generation 代表性负载验证下,相比 Optim

2026-07-23 18:39
854
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/