TAG:MoE架构

腾讯混元2.0内测启动,406B参数号称推理性能国内领先

腾讯混元2.0内测启动,406B参数号称推理性能国内领先

腾讯发布新一代自研大模型混元2.0,总参数达406B,采用MoE架构提升推理速度,在数学、代码等复杂任务上表现突出,支持256K长上下文窗口。模型已在腾讯云API及元宝、ima等应用灰度上线,并计划于2026年开源,推动国产大模型生态发展。

爱力方 2025-12-08 11:22
10
0

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,采用混合线性注意力机制和MoE稀疏架构,仅激活6.1B参数即可媲美40B密集模型性能。该模型原生支持128K上下文窗口,可扩展至512K,在代码生成和长文本编程任务中实现SOTA表现,推理速度提升3倍以上,为开发者提供高效AI编程解决方案。

2025-10-28 17:46
11
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agent.ren/