FrontierCode

摘要

该基准由 20 余名开源维护者深度参与，从正确性、测试质量、改动范围及代码风格等维度评估 AI 产出。其引入了反向测试和自适应评分等技术，比 SWE-Bench Pro 误报率降低 81%。测试结果显示，Claude Opus 4.8 在最难任务集中仅获 13.4% 分数，显著高于 GPT-5.5 和 Gemini 3.1 Pro，揭示了当前模型在编写符合生产标准代码方面的局限。