机器遗忘
machine unlearning
一种试图从已经完成训练的AI模型中,有选择地抹去特定信息的技术。
简单来说
机器遗忘是一种技术,目的是从已经学完所有内容的AI模型中,精准挑出某一条记忆并将其抹去。可以想象一个学生用多年时间读完了大量教科书,现在需要让自己忘掉其中某一页的内容,同时保留其余所有知识——听起来简单,实际操作起来却非常困难。
需要这种技术的原因很明确。AI模型在训练过程中,会把大量文章、图片以及夹杂着个人信息的资料整批吸收进去。之后如果有人要求删除自己的个人信息,或者发现模型会原封不动地背出有版权的文章,又或者发现模型记住了错误甚至危险的内容,就会造成麻烦。按原则来说,应该把这些资料剔除后从头重新训练模型,但这需要耗费巨大的时间和成本。于是,机器遗忘研究寻找的是一条捷径:不用从零重建模型,而是直接从已经训练好的模型中抹去那些出问题的记忆。
不过,要精准挑出某一条记忆加以抹去,同时不影响模型的其他能力,在技术上相当棘手,如何做到精细拿捏,仍是一个活跃的研究课题。
在报道中是这样出现的
文章中提到,亚马逊大学研究资助项目支持的研究课题之一是《面向机器遗忘的记忆化感知偏好优化》。容易被误解的一点是:这并不是把模型整体重新训练一遍,而是试图从已经训练好的模型中抹去某一条特定记忆。