TamperBench
一个用来测试开放权重AI模型的安全护栏在微调或篡改下有多容易被破坏的基准测试。
简单来说
TamperBench是一张检查表，用来测试植入AI模型中的“不要做这个”安全护栏，在用户手中究竟有多容易被拆掉。可以把它想象成把一个上了锁的箱子分发给很多人，然后用各种方法试探这把锁到底有多容易被打开。
由加拿大滑铁卢大学（University of Waterloo）和AI安全研究机构FAR.AI牵头的国际研究团队制作了这套测试表，并在21个任何人都可以下载并自行修改的公开开放权重模型上进行了测试。结果令人担忧：对大多数模型来说，只需再进行一次针对特定方向的额外微调，其安全护栏就很容易被解除。
这一结果之所以重要，在于开放权重模型本身的特性——用户可以完整下载已完成的AI文件，并在自己的电脑上随意修改。这种自由固然能让它被廉价地用作防御工具，但同样的原因也意味着任何人都可以拆除制造方原本设下的限制。TamperBench正是把这种风险量化为具体数字的一把标尺。
在报道中是这样出现的
文章在介绍TamperBench研究时提到：“由加拿大滑铁卢大学和AI安全研究机构FAR.AI牵头的国际研究团队发现，21个广泛使用的开放权重模型，其安全护栏只需经过一次微调就会崩溃。”容易被误解的一点是，这并非针对某一个特定模型的批评性报道，而是一项在多个模型上验证了开放权重方式本身存在结构性弱点的测试结果。