错误率
Error Rate
衡量AI给出的答案中错误答案所占比例的指标
简单来说
错误率指的是AI给出的答案中,错误答案所占的比例。
可以联想一下学校考试整理错题本的情形。做100道题错了3道,错误率就是3%。但在AI服务中,这个数字的分量并不总是相同的。在闲聊时答错3%,和在地图上答错3%的设施位置或行政区划边界,完全是两种不同性质的事故。因为后者用户会直接相信这个答案并据此实际行动。
因此,同样是某个错误率,用在什么界面、什么场景下,可接受的标准也不同。如果是用来闲聊的聊天机器人,可以容忍几个百分点的错误率;但在医疗、法律、灾难信息这类用户会立即将结果转化为行动的领域,则需要更严格的标准。也就是说,安全的判断标准不在于数字本身,而在于这个数字被用在什么地方。
在报道中是这样出现的
文章在讨论在地图上叠加生成式功能所带来的问题时提到:3%的错误率在某些界面上没问题,但在另一些界面上却是事故。人们通常认为错误率越低就绝对越安全,但实际上,判断标准取决于这个答案被用在哪个界面上。
亲手试一试
连续向聊天机器人提出10个你已经知道正确答案的问题——比如逐一询问多个国家的首都——然后将其回答与正确答案对照,数一数答错了几个。把错误数量除以10,就能大致感受到这个聊天机器人的错误率。改变问题的难度或主题重复这一过程,还能大致判断出在哪些领域错误率更容易升高。