drift
AI连续生成视频或图像时,角色脸部、道具、背景等元素在各个镜头之间逐渐发生细微变化的现象。
简单来说
drift 是指AI制作视频时,同一个角色或物品会随着镜头的切换而逐渐呈现出略有不同的样子。这有点像一位漫画家没有持续参照第一格画出的主角脸部,而是每次都凭记忆作画,结果画到后面几格时,眼睛鼻子嘴巴的位置或衣服颜色就悄悄地发生了变化。
制作单张短图像时这个问题不太明显,但在制作由多个镜头连续组成的长视频时,这个问题就会突显出来。如果前一个镜头里角色的脸型或房间里家具的摆放,到下一个镜头时发生了微妙的变化,观众即使知道这是同一个故事,也会感觉哪里不对劲。
因此,最近的视频生成工具都在尝试通过输入参考图像或视频素材,尽量保持其中人物、道具、空间布局的一致性,以此减少drift现象。
在报道中是这样出现的
文章中提到,"阿里巴巴表示,通过保留角色、道具、空间布局等参考素材的细节,减少了这一问题",借此介绍Wan3.0在drift现象上的改进。这里容易产生的一个误解是,drift和捏造与事实不符的内容是不同的。drift并不是指内容本身出错,而是指同一角色或物品的外观在各个镜头之间出现细微晃动变化的视觉一致性问题。
亲手试一试
可以在视频生成工具中按下面的方式附加参考素材来输入提示词,比较一下drift现象是否有所减少。
- 附加一张能清楚展示角色或物品的图像作为参考素材。
- 以该图像为基准,编写要求生成多个连续镜头的提示词。例如:"请保持参考图像中角色的脸部和服装不变,连续生成该角色走进咖啡厅坐下、直到喝咖啡的镜头。"
- 从头到尾观看完成的视频,确认脸型、衣服颜色、背景道具是否在各个镜头之间发生了变化。
- 再与不附加参考图像、只用相同提示词生成的结果进行比较,这样能更明显地感受到差异。