模式坍塌
Mode Collapse
AI在明明可以用多种方式表达的情况下，答案却集中收敛到某几种固定短语或句式的现象
简单来说
模式坍塌指的是，AI本来可以用多种方式表达内容，但实际上答案却总是集中在几种固定的短语或句式上。
如果向100个人提出同一个问题,得到的答案会各不相同,语气和表达方式都千差万别。但如果向聊天机器人反复提出类似的问题,就会发现某些熟悉的短语、相似的句子结构不断重复出现。明明模型理论上可以像人一样写出丰富多样的表达,实际却把答案收窄到几种固定的模式里——这就是模式坍塌。
这种现象并不是因为模型能力不足,而是源于发布前对模型进行对话礼仪、拒绝危险请求等行为规则训练的过程。没有经过这些规则训练的原始模型,写作风格可以像人一样丰富多样;但经过规则训练之后,概率就会集中到特定的致歉用语或固定的连接句式上。这种集中现象讽刺的是,反而成了识别AI写作的线索之一。
在报道中是这样出现的
文章指出,ChatGPT或Claude的文字之所以反复呈现相似的语气,原因就是'模式坍塌'。文中解释为"模型没有像人类那样使用多种表达方式,而是收敛到某一种固定短语上的现象"。容易被误解的一点是,这并不是模型性能下降造成的问题。文章的核心在于,这其实是在训练对话礼仪、拒绝危险言论等安全机制的过程中,表达范围被收窄所带来的副作用。
亲手试一试
- 用略微不同的表达方式,向聊天机器人连续提出三四次同一个问题。例如:"今天天气怎么样?"、"告诉我今天的气温"、"外面天气感觉如何?"
- 观察回答中是否有反复出现的短语或句子结构。比如检查是否总是以相似的开头句或致歉用语开始。
- 接着尝试要求:"请把下面这句话改写成5种不同风格的版本。"比较这5个版本到底有多大差异,还是只是换了几个词的相似句子。
- 与多个人回答同一问题的情况相比较,就能切实感受到AI回答的表达范围有多狭窄。