TAG:AI评测

OpenAI质疑AI评测标杆失灵:731道题近三成有缺陷,8个月通过率从23%升至80%

OpenAI质疑AI评测标杆失灵:731道题近三成有缺陷,8个月通过率从23%升至80%

OpenAI发布博文猛烈炮轰AI软件工程权威基准SWE-Bench Pro。在731个公开任务中约30%存在评测缺陷,包括测试过严、提示不充分、隐藏要求与题面不一致等问题。这直接导致前沿模型通过率在8个月内从23.3%异常飙升至80.3%。OpenAI通过数据分析和人工审查交叉验证后,正式撤回采用建议,并呼吁由资深软件开发者专门为AI设计新的基准,促使行业从跑分竞赛回归真实工程能力评估。

2026-07-09 17:01
31
0

重构图像生成范式 智象未来原生全模态大模型HiDream-O1-Image登顶AA榜开源首发

重构图像生成范式 智象未来原生全模态大模型HiDream-O1-Image登顶AA榜开源首发

智象未来发布的HiDream-O1-Image模型,以8B参数规模登顶Artificial Analysis文生图榜单开源第一。该模型采用原生全模态架构,摒弃传统VAE和独立文本编码器,通过像素级统一Transformer实现端到端生成,减少模态转换损耗。创新性地引入基于Gemma 4的推理智能体,在生成前进行思维链推理,提升指令遵循能力,打破开源图像生成领域稳定格局,推动多模态基础模型发展。

2026-05-18 14:23
1
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/