World Labs用单个机器人动作生成上千种虚拟训练场景

一个动作,变出上千个

机械臂把线缆插入孔位这一个动作,只要实拍一次,World Labs的新引擎就能通过改变光照、物体位置和数量、周围环境、摩擦力等物理属性以及摄像机角度,把它扩增成上千种虚拟变体。Fei-Fei Li创立的初创公司World Labs在8月15日发布了这款模拟引擎,名字叫"Real-to-Sim-to-Real",简称R2S2R。它的做法是把机器人、传感器、作业环境和演示视频原样采集下来,再重建成一个不只是外观相似,而是物理反应也完全一致的虚拟世界。这项技术来自World Labs今年7月收购的初创公司SceniX。

公开的示例中包括整理排布线缆的作业、把有弹性的线缆末端插入孔位的作业,以及双手向箱子里装填物品的作业。这些任务需要同时处理硬质物体、运动中的物体,以及形态会发生变化的物体。

把虚拟和现实放在一起对照

World Labs还公布了验证生成的虚拟世界与真实世界相似度的方法。团队让同一套动作序列在模拟环境和真实机器人上同步执行,再比较观测值、物体运动轨迹和结果。这个对照过程,正是判断模拟能否替代真实硬件的依据。

5个机器人各跑一小时,无人干预

仅靠虚拟环境训练出的控制模型,随后被搬到真实机器人上测试。第一个试验平台是ALOHA——斯坦福大学研发的开源双臂机器人,用两只小型操作臂进行远程操控。它比商用系统便宜得多,而且设计图纸完全公开,因此在机器人研究领域常被当作基准平台使用。

World Labs表示,包括ALOHA在内,共有5个不同的机器人平台,各自的模型都实现了一小时无人工干预的运行。任务种类涵盖用双手给冰箱缠绕电源线、精确重新摆放试管,以及从一堆缠绕在一起的细长物体(如马克笔、铅笔)中挑拣出来。公司说明,这套系统并不绑定于特定的控制模型或机器人型号——也就是说,一次重建好的虚拟世界,以后可以复用到其他模型、其他机器人上。

测试平台	无干预运行时长	代表性任务
ALOHA(斯坦福开源)	1小时	基于远程操控的精密操作
另外4种平台	各1小时	缠绕电线、重新摆放试管、分离细长物体

为什么是现在这个方案

World Labs指出,机器人部署迟迟推进不了,原因不在模型结构本身,而在于机器人要稳定运行所需要的经验积累量。真实世界数据采集成本高、难以控制,就连网络上的现成视频也无法系统性地覆盖物体种类、物理条件和失败场景。语言模型只要有文本就能大批量评估,但机器人控制模型此前必须在真实硬件上实测才能确认性能。World Labs认为,模拟环境不需要做到和现实完全一样的成功率,关键是能不能回答同一个问题——也就是能否分辨出模型在哪里失败、哪个版本更好。

编辑视角

过去一两年,机器人领域被提得最多的一句话就是"数据不够"。Dyna Robotics训练百万小时人类视频也好,NVIDIA力推基于视频的世界模型概念也罢,归根结底都是想用不同方式打通同一个瓶颈。World Labs的R2S2R正面攻向的是同一个瓶颈,但走了另一条路:不是去收集更多数据,而是把手头已有的一条数据,扩增成物理精确的虚拟世界反复利用。语言模型几乎是零成本地吸收了互联网上的文本,而机器人必须在物理世界里亲身试错才能获得数据——用模拟来绕开这个成本的想法本身并不新鲜,但自SceniX被收购以来,能把完成度做到这个程度的团队并不多见。

从实操角度看,真正让人感受到差异的地方,不在于"模拟到底有多像现实",而在于把标准降低成了"能不能回答同一个问题"。追踪这个规模的机器人初创公司,常常会得出同一个结论——模拟器完美复现物理规律这件事,多年来一直遥不可及,但用来给模型排名、找出失败点,现阶段的模拟水平已经够用了。World Labs瞄准的正是这条较低的门槛线。

对于国内做机器人基础模型的团队来说,这次发布真正值得关注的是可复用性。如果"一次重建的虚拟世界可以原样套用到其他模型、其他机器人上"这个说法属实,那么以往每换一个机器人平台就要从头搭建模拟环境的成本,就能大幅压缩。不过,5个平台各测试一小时,这个验证周期终究还只是实验室级别的证明,拿来作为商用部署的依据还为时尚早。

接下来几个月值得关注的,是R2S2R这种方式能多快被其他机器人初创公司吸收进各自的基础模型训练流程。机器人学习摆脱对真实硬件依赖的速度,将直接决定整个行业的开发周期。