SWE-Bench

2026年7月9日

OpenAI 发表 audit 报告《Separating signal from noise in coding evaluations》，把业界常用的编程评测集 SWE-Bench Pro 翻箱倒柜查了一遍，结论有点尴尬 - 大约 30% 的题目是坏的。围绕智能体评估，harness 工程化成了新的关注点。