Motion Transfer
一种AI视频编辑技术,只保留视频中的动作和运镜,把人物或背景替换成新的内容
简单来说
Motion Transfer(动作迁移)是一种技术,它只提取视频中的动作和运镜,然后原样套用到另一个人物或场景上。
可以把它想象成木偶戏。操偶师的手部动作和节奏保持不变,只是把舞台上的木偶换掉了。在原始视频中,演员走路的速度、转头的那一瞬间、镜头晃动的节奏都被保留下来,画面里出现的人物或背景则换成了新的。
用以往的方法,如果只想修改一个不满意的地方,就得调整提示词重新生成整段视频,而这样一来连原本效果不错的表演节奏和运镜也会一起消失。Motion Transfer则是把动作本身当作固定值单独提取出来再粘贴使用,因此在编舞视频或需要配合节拍的作品这类对时机要求很高的工作中特别好用。
在报道中是这样出现的
Higgsfield在介绍其视频编辑工具Genjutsu时,把Motion Transfer和Object Swap区分为两种不同的运作方式。这两者很容易混淆:Motion Transfer是把原视频的整体动作和运镜套用到新的人物或场景上,而Object Swap则只替换画面中的部分元素,比如服装或道具,其余部分保持不变。
亲手试一试
- 准备一段动作明显的短参考视频,走路动作、手部动作或有运镜的镜头都不错。
- 同时准备好想要套用这个动作的人物或角色图像。
- 选择Motion Transfer模式后,就会生成一段保留原视频节奏和运镜、但由新人物替代画面主体的视频。
- 不写提示词,直接从预设选项中选择一个,也能获得类似的效果。