摘要
- 谷歌 DeepMind 与 Primordial Soup 公开了纪录短片《Love, Rendered》，在没有一张照片的情况下重建了伯特与埃泰尔·沙茨初次相遇的那一天。
- 方法分两步。先用生成模型修复两人年轻时的黑白照片，作为相貌的基准；再用动作捕捉模型把两人当下的细微习惯搬到那些年轻的面孔上。
- 埃泰尔以共同创作者的身份参与，纠正了楼梯的弧度和鞋跟的形状。谷歌 DeepMind 工程师迈克尔·张写道，团队造出了一段被两位当事人称为"真实"的记忆。
重建一个从未被拍下的日子，难的不是把画面做得像。伯特与埃泰尔·沙茨结婚已逾七十年，两人最珍视的记忆，是在克利夫兰一家学生合作社初次相遇的那一天。那一天没有照片也没有影像，只存在于两人的脑海里。随着伯特认知功能衰退，连这段记忆也在变淡。
谷歌 DeepMind 与达伦·阿罗诺夫斯基的创作公司 Primordial Soup 把那一天重新造了出来。成果是纪录短片《Love, Rendered》。曾获奥斯卡提名的莉兹·加布斯执导，丹·科根与阿罗诺夫斯基共同制片。公司于 9 月 9 日通过博客公开了制作过程，两天后 DeepMind 账号发布了一段 75 秒的制作视频。
技术负责人是谷歌 DeepMind 工程师迈克尔·张。他写道，自己一开始就知道这件事在情感上的消耗不亚于技术上的难度，因为失去记忆对他而言是件私人的事。中风并丧失记忆的祖父，在他最后一次探望时仍以为已经三十多岁的他还在念大学，还为他即将毕业而高兴。
那段经历成了工作的起点。项目启动后，张向父亲要来旧家庭照片，用父母初识前后的照片试了修复技术，再用视频模型让画面动起来。看着二十多岁的父母在画面中活动，他判断这套工具能留住正在流失的东西。
做法分两步。先用生成模型修复两人年轻时的黑白照片，修复后的照片成了此后所有画面不至于偏离本人的基准。接着用动作捕捉模型，把如今的伯特与埃泰尔身上细微的习惯搬到年轻的面孔上：伯特歪头时特有的角度，说话中途短暂的迟疑，眼角折起的方式。
张在博客中写道："把这两种媒介结合起来，我们才得以把伯特和埃泰尔的过去与现在交织在一起。"他接着补充："由此我们造出了一段他们告诉我们'像真的'的记忆。"他亲手给记忆一词加上引号，正是在标明自己造出来的不是记录，而是生成物。
在 METAL 查看的 75 秒制作视频里，团队更具体地说明了难处所在。他们说，这项工作的课题不只是生成像素，而是重新造出一个对这个家庭很重要、却没有留下任何照片或影像的瞬间。他们从一开始就明白，只把一个人的脸做得像，并不会带来情感上或真实的连接。不是随便哪一个微笑都行，而是需要因人而异的细节，比如听别人说话时歪头的方式。
这个项目中最该留意的，是埃泰尔坐的位置。据公司介绍，她坐在制作团队旁边，纠正楼梯的弧度或鞋跟的形状，成为积极的共同创作者。制作视频中团队也说，技术是否抓住了真正重要的东西，是由创作团队和片中人物亲自指出来的。被描绘的人自始至终留在房间里，握着改动结果的权力。
正是这个安排，把这项工作与常见的换脸区分开来。在重建记忆这件事上，真正分出高下的不是技术的精度，而是谁最终留作那段记忆的作者。在这里，记忆的主人提供了素材，审看了生成的画面，并判定什么才符合自己的记忆。被造出来的那一天，作者留在了亲历者一方，而不是模型一方。
加布斯与阿罗诺夫斯基各有被这个题材吸引的理由。加布斯拍摄纪录片《Coma》期间，看到处于微意识状态的患者在听到熟悉的声音或看到亲人照片时，fMRI 影像随之亮起。阿罗诺夫斯基则看过一段影像：一位患阿尔茨海默病的前芭蕾舞者，听到《天鹅湖》后坐在轮椅上原样跳起了编舞。这两段经历把团队引向了怀旧疗法，即用歌曲、旧照片等感官线索唤起记忆的临床方法。
《Love, Rendered》抛出的问题就在下一格。怀旧疗法要在还留有线索时才起作用，而伯特与埃泰尔的那一天根本没有线索。于是团队没有去找线索，而是造了一个。公司转述说，阿罗诺夫斯基在拍摄期间提到，画笔也好锤子也罢，工具在被人的手握住之前什么也做不了。
METAL 曾报道过 Higgsfield 推出保留表演与运镜、只替换背景的工具，把人的动作单独取出搬到别处，早已是商品。这次不同的只有一点：提供那份动作的人在镜头之外认可了结果。同样的技术，若把当事人排除在外，就会变成完全相反的案例。
用取得许可的素材来建模型，在别的领域也已经站稳。METAL 曾报道过 Suno 用与华纳、BMG 签约的音源重新训练模型，生成工具正在朝着交代素材来源的方向移动。而在肖像上，素材就是人的脸和习惯，标准理应更严。
谷歌把同样的修复功能开放在了 Gemini 应用里。上传旧照片，请求修复与上色，并指示保留人物的相貌、表情和姿态即可。片中使用的动作捕捉并未一并开放，公开的是照片修复这一侧。
这项工作留下的成果是被造出来的画面，不是记录。DeepMind 没有藏着这一点，亲手给记忆一词加上引号，并把"像真的"这个判定交给了技术之外、真正过完那一天的两个人。生成技术在处理人的面孔时该遵守的次序，这部短片先一步演示了出来。
评论