TAG:混合专家架构

Thinking Machines Lab由前OpenAI CTO Mira Murati创立，今日正式开源其首个自主大模型Inkling：9750亿参数MoE架构，激活仅410亿，基于45万亿Token多模态预训练，支持高度定制化思维强度与企业级微调。Inkling以高效速度与私有化安全为核心，打破“一刀切”闭源模式，助力企业应对专有数据泄露与降本增效挑战。

aibase

2026-07-16 10:17

4

·

0

Mistral AI 发布全能型大模型 Mistral Small4，首次在单一模型中集成旗舰级推理、多模态理解和编程能力。采用 MoE 架构，拥有 256k 超长上下文窗口，性能较前代提升显著，并以 Apache2.0 协议开源，为开发者提供高效灵活的选择。

aibase

2026-03-20 15:38

0

·

0

英伟达发布最强开源权重AI模型Nemotron 3 Super，拥有1200亿参数，采用混合专家架构，吞吐量提升5倍。该模型专为大规模运行复杂智能体系统设计，支持100万Token上下文窗口，显著降低多步推理成本。开发者可通过Hugging Face和各大云服务商获取。

中国能源网

2026-03-12 11:29

2

·

0

美国初创公司Arcee AI推出Trinity系列开源模型，包括Trinity Mini和Trinity Nano Preview，采用创新的注意力优先混合专家（AFMoE）架构，提升推理能力和长文本处理效率。模型在美国训练，采用Apache2.0许可证，旨在重塑美国在开源AI领域的地位，并计划于2026年发布更大规模的Trinity Large模型。

aibase

2025-12-03 15:59

16

·

0