action label
记录何时进行了何种操作(按键、动作)的训练数据,用来教AI学习行为。
简单来说
action label(动作标签)是一种逐时逐刻记录“这一瞬间做了这个操作”的记录表。以游戏为例,如果只有画面视频,AI无法得知角色为何会那样移动。但如果在视频旁同时标注“第几秒按了哪个按键”,AI就能学习画面与操作之间的关系。这种操作记录就是动作标签。
用做菜来比喻,这就像只看成品菜照片,和拿到一份写明“何时放入何种食材、放了几勺”的食谱之间的差别。有了食谱,厨师才能照着流程复刻菜品;同样,有了动作标签,AI才能学会把视频中的动作还原成真实操作。
最近,有人尝试收集游戏玩家的操作记录,并把这种模式迁移到真实机器人的肢体动作上,动作标签正被用于这类尝试。游戏中的手指操作与机械臂的动作并不相同,但“在什么情况下选择什么行动”这一模式本身是可以迁移学习的。
在报道中是这样出现的
文章提到,General Intuition以从游戏片段分享平台积累的视频、以及记录玩家何时按下哪个按键的“动作标签”作为初期训练数据。容易被误解的关键点在于,这并非视频本身,而是附属于视频的“操作记录”。仅凭视频,AI无法得知画面中动作产生的原因,只有配合操作记录,才能学习行为与结果之间的关系。