hard negative mining
只挑选那些和正确答案极其相似、容易混淆的错误答案反复训练AI,让它学会分辨细微差异的训练技巧
简单来说
hard negative mining(难负样本挖掘)是训练AI时使用的一种方法:故意挑出那些和正确答案非常相似、容易混淆的错误答案,拿给AI反复学习。用备考来比喻的话,这就像不是随便刷题,而是专门整理一本错题本,把自己总是搞混的题型、容易把相似概念弄混而做错的题目挑出来反复练习。
之所以需要这种方法,是因为如果AI只见过特别明显的错误答案,实战中就会表现得很弱。比如让AI区分猫的照片时,如果只拿汽车照片当错误答案给它看,它很快就能分辨出来;但如果混入猞猁或狗的照片——这些和猫长得很像——AI就会学会更精细的区分方法。这种刻意寻找又难又容易混淆的错误答案、并把它们投入训练的过程,就叫作hard negative mining。
这项技巧在构建需要辨别相似事物之间细微差异的AI时尤为重要,比如判断搜索结果真假的鉴别器、人脸识别、文档检索等场景。
