苹果发布减少多模态AI幻觉的对齐方法BDHS

明明看到图片却答非所问的AI，原因何在

苹果研究团队于8月3日发布的论文探讨了多模态大语言模型(MLLM，能够同时理解图像和文本的AI)为何会说出与图片内容不符的话，以及如何减少这种情况。纯文本语言模型也会出现编造与事实不符内容的"幻觉"问题，但同时处理图像的模型面临着更复杂的一层挑战——除了说出错误信息之外，还可能编造出图片中根本不存在的内容。苹果正面剖析了旨在减少这一问题的训练方法——"偏好对齐(preference alignment)"。

对齐这一老课题，在多模态领域仍未完成

偏好对齐是一种训练方法，即从AI给出的多个答案中选出人类更偏好的那个，然后让模型逐步向该方向靠拢。这一技术在ChatGPT类文本模型中已被广泛使用，但本论文的出发点在于，在同时处理图像的多模态模型中，这方面的研究相对较少。此前多个研究团队分别使用不同的数据集、基础模型和对齐方法(DPO、PPO等)报告了性能改进，但究竟是什么真正带来了改进，各方说法混杂不清。苹果研究团队将对齐算法分为两类进行了单独分析：一类是使用预先构建好的答案对进行训练的"离线"方式，另一类是在训练过程中实时生成答案并加以调整的"在线"方式。结果显示，在特定情况下同时使用这两种方式效果更好。论文还进一步探讨了现有多个已公开的多模态偏好数据集的构建方式对实际性能产生了怎样的影响。

智谱发布图像-文本转换模型GLM-OCR

无需人工标注即可生成训练数据的BDHS

本论文中最引人注目的提议是一种名为"Bias-Driven Hallucination Sampling(BDHS)"的新数据生成方法。现有方法大多需要人工直接标注哪个答案更准确，或借助外部AI模型来生成偏好数据，两种方式都耗费时间和成本。BDHS无需这些额外工作，而是利用模型自身的偏差来生成偏好数据，苹果表示该方法在多个基准测试中表现出与现有已发表对齐方法相当的性能。

这意味着什么

这项研究有望为开发多模态AI的团队提供实用的参考。此前，即便有团队宣称对齐性能有所提升，也很难判断这究竟是得益于数据集还是算法。由于苹果对各要素进行了拆分对比，后续研究者由此获得了衡量哪种组合性价比更高的参考依据。尤其是无需人工作业即可生成偏好数据的BDHS方法，对于希望降低对齐训练成本的开源阵营而言也具有借鉴价值。