influence functions
一种分析技术,用于估算训练数据中每一篇文档对模型特定回答的贡献程度
简单来说
Influence functions(影响函数)是一种分析技术:当AI模型给出某个答案时,反向计算它在训练过程中读过的海量文档里,哪些文档对这个答案的贡献有多大,并给出具体分数。
打个比方,这就像要回溯一个考试考得好的学生,到底是哪门课、哪本参考书真正帮他解出了某道题。就像这种追溯必须先准确知道学生学过什么,这项技术也只有在准确知道模型训练时用了哪些文档的前提下才能使用。问题在于,大多数AI模型只公开最终的输出结果,并不公开训练所用的资料清单。因此,实际能用上这项技术的模型并不多。
反过来说,如果一个模型把训练数据和中间过程都完全公开,这项技术就能真正发挥作用。先逐一计算单篇文档的影响力,再按文学、技术文档、对话式文本等类型汇总,就能像画地图一样,呈现出哪类文本造就了模型的哪种能力。
在报道中是这样出现的
在报道中,它常作为计算模型回答与训练文档之间关系的工具出现,比如"研究团队使用的方法是一种叫做influence functions(影响函数)的技术"。容易被误解的是,这并不是直接查看模型内部的权重或结构,而是一种统计估算方法,用来推断如果训练时去掉某篇特定文档,答案会发生怎样的变化。