图片：由 METAL AI 生成
摘要
- Higgsfield于8月31日公开了视频编辑工具Genjutsu，它能保留动作和运镜，只替换人物、场景和道具。
- 该工具提供两种模式——动作迁移和物体替换，官方介绍称仅凭30多种预设即可完成转换。
- 同一周，Higgsfield还公开了一段演示：将Blender视口实时连接，把手机拍摄产生的手持晃动动作直接同步到渲染画面中。
Higgsfield于8月31日推出了新的视频编辑工具Genjutsu（音译：幻术）。这款工具能在已拍摄好的视频中保留动作,把人物和场景整体替换掉。
官方将这项功能形容为“对整帧画面的动作控制”。也就是说，运镜方式和表演的时间节奏保持不变，只是替换了画面里呈现的世界。
换掉木偶，留下手上的动作
一个容易理解的比喻是木偶戏：操偶师的手部动作不变，只是把舞台上的木偶换掉。演员走路的速度、转头的瞬间、镜头晃动的节奏，这些都原封不动地保留下来，只有画面里呈现的对象发生了变化。
在此之前，这一直是AI视频编辑中最让人头疼的部分。哪怕只想修改一个不满意的元素，也得调整提示词重新整段生成，结果连原本表演得不错的部分和运镜也一起被推翻重来。
两种模式
根据官方说明，Genjutsu提供两种运作方式。
动作迁移会从原始视频中单独提取动作和运镜信息，套用到新的人物或新的场景上。由于时间节奏和运镜方式得以保留，这种模式在需要卡准编舞或节拍的视频中尤其好用。
物体替换则相反，只针对画面中的某一部分。可以指定服装、产品、道具等元素进行替换，画面其余部分不受影响。
官方说明中提到,不一定需要输入提示词。系统预置了30多种模板，仅凭选择模板即可完成转换。
Higgsfield在X上发布的介绍写道：“表演、运镜和剪辑逐一保留，世界可以随你挑选。”这句话划清了原视频中哪些部分被保留、哪些部分被替换的界限。
输入什么，输出什么
| 项目 | 官方说明 |
|---|---|
| 参考视频 | 一段视频片段，时长30秒以内 |
| 参考图片 | 人物、产品、服装等，最多30张 |
| 提示词 | 可选，仅用预设也能生成 |
| 输出 | 最高1080p |
| 原始素材类型 | 实拍视频和AI生成视频均可 |
计费方式为积分制，官方说明称系统会在正式生成前，预先显示本次生成需要消耗多少积分。
把手机连上了Blender视口
同一周公开的另一段演示方向略有不同。Higgsfield展示了通过Blender插件与3D视口实时连接的画面，称手持手机晃动产生的动作被一比一同步到了渲染结果中。
这款插件本身是一个悬浮在Blender视口上方的工具栏，可用来生成场景、模型、绑定、贴图和视频。官方说明列出了七项功能：场景构建、3D模型生成、角色动画、图像生成、视频生成、镜头操控，以及用于汇总此前生成内容的素材管理。
安装方式是把压缩文件拖入Blender窗口，官方说明支持Blender 4.2到5.1版本。生成过程在Higgsfield自家服务器上运行，因此不需要本地GPU，但相应地，一旦断网就只能查看已经生成好的结果。
生成的内容会汇集到视口旁边的素材库中，再从那里拖入场景使用。官方说明称，生成费用会在执行前显示在画面上。
把这两条消息放在一起看，就能看出Higgsfield瞄准的位置：让人用手来创作镜头运动，再让AI渲染原样跟随这个运动。
这套工具想交到谁手里
官方页面列出了六种使用场景：需要卡准编舞和节拍的音乐视频、为效果良好的广告批量生成变体、修正只有一处元素出错的镜头、维持AI网红角色的一致性,以及替换人物和场景的地区本地化。
第六项涉及版权问题。官方说明称，在遵守使用条款的前提下，生成内容既可用于自然流量投放，也可用于付费广告。官方还表示，即便没有视频编辑经验，只需上传视频和参考图片、选择模式并写明要替换的内容,就能完成操作。
编辑视角
真正在实际业务中用过AI视频的团队，会立刻明白这款工具的价值所在——它的重点不在生成质量，而在于降低返工成本。
制作一条广告时,真正耗时的环节往往不是产出第一版画面的那一刻，而是紧随其后的修改阶段。换个模特、产品包装换新了、这个国家的版本要换背景……这类要求会接连不断地冒出来。过去每次遇到这种情况都得从头重新生成一遍，而每次重新生成，也意味着已经通过审核的表演和运镜一并被推翻。物体替换功能，正是瞄准了这个痛点而来。
在韩国市场，还有一处特别值得关注的地方。国内广告的模特合约期限和曝光范围划分得很细，很难长期反复使用同一批拍摄素材。“保留动作、替换人物”这项功能，恰好和这个限制正面相撞。技术上能做到的事,和合约上被允许做的事，并不是一回事——只有提前理清肖像权和合约条款的团队，才能真正用上这个工具。
需要提前准备的不是设备,而是素材。由于系统最多可接收30张参考图片，那些按不同角度整理好模特镜头和产品镜头的团队，天然就占了优势。拍摄时原本会被丢弃的镜头，在这里反而成了可用的素材。
Higgsfield上个月推出了能自动拆解海报图层的Layers，还发布了时长110分钟的AI长片。再加上这次的Genjutsu，可以看出这家公司的重心正在从“制作全新视频”转向“重新加工已拍摄好的视频”。
评论