TAG:MoE模型

华为于7月31日正式开源openPangu-2.0-Pro大模型，该MoE语言模型总参数规模达5050亿，由昇腾NPU训练，支持512K上下文长度，每Token激活约18B参数。同时同步开放模型权重、基础推理代码及技术报告。此举是openPangu2.0开源计划重要一步，将推动昇腾AI生态建设，为开发者企业和国产大模型研发提供高效训练推理最佳实践与开源参考。

aibase

2026-07-31 11:27

4

·

0

谷歌联合英伟达于2026年6月10日发布实验性开源模型DiffusionGemma，首创将图像扩散机制引入文本生成，打破自回归范式。模型通过从随机噪声迭代优化实现一次性并行输出256个标记，260亿参数MoE架构单步激活仅38亿。在H100上单请求输出速度达每秒1000标记（RTX5090超700），在文本补全、代码填空、数独、氨基酸序列等非线性任务中展现显著优势。权重基于Apache2.0在Hugging Face开源，兼容vLLM、MLX等框架，为AI复杂逻辑生成开辟新路径。

aibase

2026-06-11 10:55

4

·

0

阿里千问开源MoE模型Qwen3.6-35B-A3B，以350亿总参数、30亿激活参数实现高效推理，在多项编程基准中超越Qwen3.5-27B并领先前代模型。其多模态与空间感知能力同样突出，已接入Qwen Studio与百炼API，展现“小参数、高智能”在智能体编程落地中的关键价值。

aibase

2026-04-17 15:17

30

·

0