search precision
衡量AI检索出的结果中真正有用的部分所占比例的指标。
简单来说
检索精度指的是,当你让AI去查找某个东西时,它实际取回的结果里真正需要的内容占多大比例。可以想象在抽屉里找文件的情形:抽屉里只有5份文件时,你能很快找到想要的那份;但文件增加到100份后,拿到标题相似却不是你要的文件的概率就会大大提高。
AI代理也会遇到同样的问题。当预先存储的操作指南或参考资料数量不多时,它能准确挑出所需内容;但随着存储资料越来越多,名称或描述相似的内容混在一起,取用错误资料的情况也会增多。这时就说检索精度下降了。
因此,一味堆积大量资料并不总是好策略。无论指南写得多好,如果在需要的时候无法被准确取用,那也毫无意义。所以最近人们更关注的是能否准确找到所需内容,而不是存储量有多大。
在报道中是这样出现的
文章中常这样使用:"技能库只有5项时,实际检索精度为29.6%,但增加到100项后,骤降至3.3%。"这意味着存储的资料(技能)越多,AI准确找到所需内容的比例就会急剧下降。人们常有的误解是,资料堆得越多AI就越聪明,但这个指标恰恰说明,资料越多,取错内容的风险反而可能越大。