TAG:SWE-Bench

OpenAI质疑AI评测标杆失灵:731道题近三成有缺陷,8个月通过率从23%升至80%

OpenAI质疑AI评测标杆失灵:731道题近三成有缺陷,8个月通过率从23%升至80%

OpenAI发布博文猛烈炮轰AI软件工程权威基准SWE-Bench Pro。在731个公开任务中约30%存在评测缺陷,包括测试过严、提示不充分、隐藏要求与题面不一致等问题。这直接导致前沿模型通过率在8个月内从23.3%异常飙升至80.3%。OpenAI通过数据分析和人工审查交叉验证后,正式撤回采用建议,并呼吁由资深软件开发者专门为AI设计新的基准,促使行业从跑分竞赛回归真实工程能力评估。

2026-07-09 17:01
1
0

推荐专栏

爱力方

爱力方

机器人前沿资讯及信息解读
机器人大讲堂

机器人大讲堂

中国顶尖的机器人专业媒体服务平台
关注爱力方,掌握前沿具身智能动态

© 2025 A³·爱力方

https://www.agentren.cn/