GDPval

GDPval是OpenAI做的一个类似成绩单的工具。它让AI去完成会计师、投资人、医生这类整天坐在电脑前处理业务的职业中的真实工作任务,然后为AI给出的成果打分,看看在实际工作中到底有多好用。

衡量编程能力的测试早就有不少,但要衡量AI在会计、法律、医疗这类非编程工作中到底能帮上多大忙,却一直缺少合适的标尺。GDPval正是想填补这个空白。当OpenAI想把公司内部几乎所有员工都在用的工具,推广到公司外的其他职业领域时,GDPval就是它证明成果的自有基准测试。

不过要记住,GDPval本身不是大家日常使用的产品,而是OpenAI内部用来确认性能、也用作宣传材料的一种测量工具。

文章中提到:"OpenAI用自家的基准测试GDPval作为衡量这一差距的标尺。"这里容易搞混的一点是,GDPval不是像ChatGPT work或Codex那样可以直接上手使用的产品,而是OpenAI用来自我测量并展示这些产品实力的评估工具。