Runway公布世界杂耍联合会转播观众生成案例

Runway公布了世界杂耍联合会（WJF）生成转播观众的案例。联合会创始人兼主席贾森·加菲尔德在荷兰举办了一场为期两天的比赛，他用Runway的视频模型填满了第二天的空座位，又生成了包括片头、选手介绍和排行榜在内的整套转播图形，独自完成了一档约一小时的特别节目。据Runway介绍，这些工作放在过去需要借助逐帧抠像和遮罩才能尝试，甚至未必做得成。

加菲尔德在2000年创立世界杂耍联合会，目标是让杂耍进入奥运会；联合会从2004年起为ESPN制作比赛节目。杂耍转播和其他体育转播一样，需要多机位拍摄、动态排行榜、片头，以及在电视观众眼里坐得满满的看台。此前，加菲尔德几乎全靠Final Cut Pro和After Effects完成这些工作。联合会在2021年重新注册为非营利机构，并把进入奥运会定为正式目标。

问题出在第二天的看台。第一天晚上，舞台正面和左右两侧都坐满了观众；第二天比赛时间提前，摄像机开拍时观众还在陆续入场，左右两侧机位拍到的是一排排空椅子。加菲尔德说："要么不用这些镜头，只剩一个几乎没法剪的机位；要么就得让座位上坐满人。"

一年前他试过Runway，但当时的视频模型不够听从文字指令，于是暂时放下。空座位的问题出现后，他重新打开Runway，发现可以在保持画面其余部分不变的情况下只把人加进去。加菲尔德先把手头已有的机位整理成一张联系表，再用提示词生成一段仿佛无人机飞进帐篷、逐渐露出舞台和观众的镜头。他还把一名选手走上舞台的画面喂给模型，让它在剪辑需要的角度重建这名选手的动作。

模型的选择带来了差别。据Runway介绍，早期用Seedance生成的结果能用但不稳定，换成Aleph 2.0之后，在不改动原始画面的前提下只添加人物的做法才稳定下来。杂耍动作快到会在每秒30帧的转播画面里产生闪烁，所以加菲尔德先把片段导出成慢动作再放进Runway，丢失的帧再用Topaz补回来。他的标准只有一个：第二天看上去要和第一天一样满。除了一个极端广角镜头，其余镜头都达标，那个镜头最后退回After Effects处理。加菲尔德解释说："我试了很多种提示词。会把某些区域涂成白色，然后让它用人把那个人身后的空间填满。"

看台只是工作的一部分。每场转播都需要片头动画、选手资料、排行榜和计分图形。加菲尔德搭了一条流水线：先做几步图像生成，最后接一步视频生成。他先反复生成一名选手的资料卡，直到满意为止，再以它为参照做出其他选手的卡片和数据；把三张卡合成到一张图里后，再加上摇臂镜头推近的运动，变成一段视频。用同样的方法，他还做出了节目标题、排行榜、用红绿两色区分分数的复赛计分板，甚至在舞台周围生成了现场并没有燃放的烟花。排行榜则直接用评委打印的评分表截图输入，省去了往After Effects模板里重新录入分数的功夫。

METAL查看的Runway案例页面收录了这场转播的三段视频：坐满观众的帐篷赛场上方出现选手姓名字幕的画面；以法国、芬兰、美国国旗为背景的三张选手卡；以及在「WJF 22 NETHERLANDS」标志下并排展示复赛前后排名的计分板。计分板上，复赛前排第二和第三的两名选手在复赛后互换了名次，变化的分数分别用绿色和红色标出。

文字准确度也不一样了。据Runway介绍，前一年为了拼对选手名字要改好几天提示词，今年第一次就对了。转播标题的安全边距，则靠Photoshop加Runway的变通办法解决。加菲尔德说："在遵循文字这件事上，Runway比哪里都强。名字拼不对，或者没法按我在提示词里打的样子呈现分数，那就没法用。"

成片时长约一小时。每段生成片段上限约15秒，加菲尔德在Final Cut Pro里把它们拼接起来，整套转播内容都由他一个人制作。Runway表示，这次的工作也会改变下一届比赛的拍摄方式：舞台附近观众少时，与其依赖生成的人群，不如换个角度取景；请不起摇臂时，就生成摇臂本该拍到的画面。加菲尔德计划明年从今年成功的生成素材（比如选手卡）入手做图形，继续用Runway制作剪辑中最耗时的排行榜和计分图形，并把目前在After Effects里做的全屏划像和转场也搬到Runway上。

METAL此前报道过Runway推出把图片拆成可编辑图层的工具Layers，以及推出把AI视频转换为广播级HDR规格的Ruby。这个案例正是在这些工具瞄准的转播现场，按具体步骤展示了一个只有一名制作人员的体育组织，能用生成技术补上多少机位和图形。

从内容营销人的角度看，这个案例的分量与其说在成本，不如说在"观众人数"这个信号上。在体育转播里，坐满的看台是这项运动值得一看的社会证明；对一个想进入奥运会的联合会来说，这个信号本身就是说服材料。Runway的案例页面坦承第二天的观众和烟花是生成的，但没有说明转播画面里是否、以及如何告知了观众。Runway把这个故事当作客户案例推出的理由也很明显：一个人做出一小时转播的图形和缺失机位，是对视频模型用途最简短的广告。当生成的观众坐进空座位的那一刻起，转播记录的是什么、演绎的又是什么，这条界线就交给了制作者一个人来判断。