액션 라벨

액션 라벨은 '이 순간에 이런 조작을 했다'는 것을 하나하나 적어둔 기록표다. 게임을 예로 들면, 화면 영상만 있으면 AI는 캐릭터가 왜 그렇게 움직였는지 알 수 없다. 하지만 그 옆에 '몇 초에 어느 버튼을 눌렀는지'까지 함께 적어두면, AI는 화면과 조작 사이의 관계를 배울 수 있다. 이 조작 기록이 바로 액션 라벨이다.

이걸 요리에 비유하면, 완성된 요리 사진만 보여주는 것과 '어느 재료를 언제 몇 큰술 넣었는지'까지 적힌 레시피를 보여주는 것의 차이와 비슷하다. 레시피가 있어야 요리사가 그 과정을 따라할 수 있듯, 액션 라벨이 있어야 AI가 영상 속 움직임을 실제 동작으로 재현하는 법을 배울 수 있다.

최근에는 게임 플레이어들의 조작 기록을 모아, 그 패턴을 실제 로봇의 몸 움직임으로 옮기려는 시도에 액션 라벨이 활용되고 있다. 게임 속 손가락 조작과 로봇 팔의 움직임은 다르지만, '어떤 상황에서 어떤 행동을 선택하는가'라는 패턴 자체는 옮겨 배울 수 있다는 발상이다.

기사는 제너럴 인튜이션이 게임 클립 공유 플랫폼에서 쌓은 영상과 함께, 플레이어가 언제 어느 버튼을 눌렀는지 기록한 '액션 라벨'을 초기 학습 데이터로 썼다고 전한다. 흔히 오해하듯 이건 영상 자체가 아니라, 영상에 딸린 '조작 기록'이라는 점이 핵심이다. 영상만으로는 AI가 화면 속 움직임의 원인을 알 수 없지만, 조작 기록이 있어야 행동과 결과의 관계를 배울 수 있다.