DeepSWE benchmark
衡量AI模型解决真实软件开发任务能力的测试平台。
简单来说
DeepSWE benchmark是一种编程测试:让AI模型解决真实的软件开发问题,然后根据答对的数量打分。就像让学生们做同一本数学题册来比较实力一样,不同公司开发的AI模型会被给予相同的开发任务,以此比较它们解决问题的能力。
这种测试既可以针对单一模型进行,也可以针对多个模型串联组合的方案进行。比如,先让便宜的模型给出答案,自动检查是否正确,只有答错时才交给更贵的模型处理——这样的组合方案同样可以在这个测试平台上打分。分数并不代表智能水平的绝对排名,更像是显示模型在某类开发任务上解决能力的参考资料。
在报道中是这样出现的
文章中常以这样的方式出现:"两个模型在同一个软件工程任务基准测试DeepSWE上进行了测试。"这里容易被误解的一点是,该基准测试的分数并不能直接保证模型在实际工作中的表现。文章本身也没有公开具体的解决率或成本数字,并指出这些还需要进一步确认。