Natural Language Rubric
由人事先用文字写下的评分标准，用来判断AI回答是否达标，之后再自动、一致地套用到后续评估上
简单来说
自然语言评分标准（Natural Language Rubric）是给AI答案打分时用的、由人用文字写成的评分表。就像老师提前定好规则：“满足这个条件给3分，再满足那个条件给5分”，有了这种预设标准，打分会更公平、更快。自然语言评分标准也是同样的道理。只要把“客服有没有先确认用户的请求”“有没有把必要信息都传达到位”这类标准写成句子，就能据此自动给答案打分。
这种方法在没有单一标准答案的情况下尤其有用。比如语音对话AI，同一个意思可以用几百种不同的说法表达出来。“好的，明白了”和“确认了，我这边处理”用词不同，但可能都是正确的回应。这种情况下，把答案固定成一句话再逐字比对是没用的。取而代之的做法是：人只需一次性写好判断标准，之后这套标准就能被反复、自动地套用到每一次新对话中。
归根结底，自然语言评分标准是一种工具，替代了原本需要人逐一听、逐一判断的工作。人所定的标准本身不变，只是把重复性的核查工作交给了机器去做。
在报道中是这样出现的
文章解释道：“打分是通过自然语言评分标准完成的……人只要一次性用文字写下判断标准，之后所有对话都会自动套用同样的标准。”这里容易被误解的一点是，这并不意味着AI自己判断什么是正确答案。正确与否的标准依然由人用文字定好，AI只是负责把这套标准每次都一致地套用到新的对话中。
亲手试一试
想直观感受自然语言评分标准是怎么运作的，可以试着这样向聊天机器人提问：
下面是一段客服与用户的对话记录。请根据以下标准分别回答“是”或“否”，并用一句话说明理由。 1）客服是否明确确认了用户的请求？ 2）是否完整传达了必要信息，没有遗漏？ 3）是否没有忽略用户中途插话的内容？
[在这里粘贴对话内容]
先把标准写成句子，再套用到多段不同的对话上，你就能直观感受到：人定的评分标准是如何被自动、反复套用的。