사람이 1인칭 시점으로 찍은 물건 조작 영상을 로봇 학습 데이터로 바꿔, 18,561시간짜리 15종 로봇용 데이터셋을 만들고 실제로 정책 일반화에 도움이 되는지 검증했다

무엇을 했나

1. 사람이 손으로 물건을 조작하는 1인칭 영상(약 1,940시간, ANT·EgoDex·ViTRA·EgoVerse 4개 출처)을 수집해, 손 관절 위치를 로봇 팔 끝(엔드이펙터) 궤적으로 변환하는 '행동 정렬', 영상 속 사람 팔을 지우고 로봇 팔을 합성해 넣는 '시각 정렬', IK 실패나 의미 불일치를 걸러내는 3단계 '품질 검수'로 파이프라인을 구성했다.
2. 이 파이프라인을 Panda, UR5e, xArm7 등 15종의 서로 다른 로봇 팔 모델에 각각 적용해, 원본 영상 하나당 15개의 병렬 학습 스트림을 만들어냈고 최종적으로 18,561시간 분량의 로봇 학습 데이터를 생성했다.
3. 일반화 성능을 정밀하게 측정하기 위해 RoboTwin2.0 벤치마크를 확장해, 배경·조명·로봇 색상(시각), 테이블 높이·방해물·카메라 위치(장면 배치), 다른 로봇 종류로 교체(로봇 형태), 낯선 물체·다른 말투 지시문(작업 의미) 네 축을 따로따로 흔들어 테스트할 수 있게 만들었다.
4. 실제 로봇(DROID, AgibotWorld, InternData 등 약 6,565시간)만 쓴 사전학습과 비교해, 합성 데이터(Ego2R)를 실제 로봇 데이터와 1:1 비율로 섞어 사전학습했을 때 RoboTwin의 무작위 설정에서 성공률이 53.5%로 로봇 전용 대비 2.6%포인트 올랐고, 배경(+4)·조명(+8)·로봇 색상(+6)·카메라 위치(+6)·낯선 물체(+11, 3:1 비율)·말투 변형 지시문(69% 도달) 등 여러 지표에서 개선이 나타났다.
5. 실제 ARX ACone 로봇 5개 과제(과일 담기, 서랍에 블록 넣기, 수건 개기, 쓰레기 쓸기, 나사 끼우기)에서, 텔레오퍼레이션 시연과 합성 데이터를 함께 쓴 모델이 로봇 전용 학습보다 모든 과제에서 더 높은 점수를 냈고, 특히 블록 넣기(+14점)와 나사 끼우기(+13점)에서 격차가 컸다.

실제로 확인된 결과

• RoboTwin 무작위 설정에서 Ego2R와 실제 로봇 데이터를 1:1로 섞은 모델이 53.5% 성공률로 로봇 전용 대비 2.6%포인트 높았고, 정상(클린) 설정에서는 68.1%를 유지했다.
• 시각 요소별로 배경 +4, 조명 +8, 로봇 색상 +6, 카메라 위치 +6의 성공률 개선이 1:1 비율에서 관찰됐다.
• 낯선 물체 일반화는 29%에서 40%로(3:1 비율에서 +11) 개선됐고, 말투를 바꾼 지시문에 대한 성공률은 1:1 비율에서 69%에 도달했다.
• 다른 로봇 종류로 교체하는 테스트에서 ARX는 44%에서 51%로, UR5는 3:1 비율에서 31%로 개선됐으나 Franka는 7% 미만에 머물렀다.
• 실제 ARX ACone 로봇 5개 과제에서, 텔레오퍼레이션 시연과 합성 데이터를 섞은 모델이 로봇 전용 대비 모든 과제에서 더 높은 점수를 기록했고, 블록 넣기와 나사 끼우기에서 개선 폭이 가장 컸다.

어디에 쓸 수 있나

• 실제 로봇 시연 수집이 어려운 신규 로봇 팔이나 신규 작업에, 이미 촬영된 사람 손 조작 영상을 활용해 사전학습 데이터를 늘리는 데 참고할 수 있다.
• 새로운 배경·조명·물체·언어 표현이 자주 바뀌는 서비스 로봇 환경에서, 다양성이 큰 사람 영상 데이터를 보조 학습원으로 검토할 수 있다.
• 여러 로봇 기종(예: 협동로봇 팔, 휴머노이드 팔)을 동시에 지원해야 하는 프로젝트에서, 하나의 사람 영상을 여러 로봇 형태로 동시에 변환하는 방식을 참고할 수 있다.

한계와 남은 검증

• 손동작을 단순한 평행 그리퍼(집게) 움직임으로만 변환하기 때문에, 손가락을 세밀하게 움직이는 정교한 조작(다지 로봇손 등)에는 그대로 적용하기 어렵다.
• 영상 합성 과정이 인페인팅과 깊이 기반 합성에 의존해, 심한 가림이나 복잡한 조명 조건에서는 합성 화질이 떨어질 수 있다.
• 평가는 RoboTwin2.0이 다루는 작업 범위에 한정되어 있어, 더 넓은 작업과 로봇 구성으로 일반화되는지는 추가 검증이 필요하다.
• Franka Panda처럼 학습 데이터의 로봇 형태와 기구학적 차이가 큰 로봇에서는 교체 성공률이 7% 미만으로 낮아, 모든 로봇 종류에 동일하게 이득이 가는 것은 아니다.

왜 중요한가

로봇 학습에 가장 큰 병목은 값비싸고 느린 실제 로봇 시연 수집인데, 이미 세상에 넘쳐나는 사람의 1인칭 조작 영상을 자동으로 로봇용 데이터로 바꿀 수 있다면 데이터 확보 비용을 크게 낮출 수 있다. 특히 처음 보는 배경·조명·로봇 종류·물체·지시 문구에도 잘 버티는 능력(분포 밖 일반화)이 이런 방식으로 향상된다는 점은 실제 서비스 로봇 배치에 직접적인 의미가 있다.

이 논문의 용어

• 1인칭(에고센트릭) 영상 · 사람이 머리나 몸에 카메라를 달아 자신의 시점에서 손으로 물건을 다루는 모습을 찍은 영상
• VLA 모델(비전-언어-행동 모델) · 카메라 영상과 언어 지시를 입력받아 로봇이 취할 동작을 직접 출력하는 인공지능 모델
• 역기구학(IK) · 로봇 팔 끝이 원하는 위치·자세에 오도록 각 관절의 각도를 계산하는 방법
• 분포 밖 일반화(OOD generalization) · 학습 때 보지 못한 배경, 물체, 로봇 종류, 표현 방식 등 낯선 상황에서도 성능을 유지하는 능력
• 엔드이펙터(EEF) · 로봇 팔 끝에 달린 그리퍼(집게) 등 실제로 물체와 접촉하는 부위

최신 논문

• AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다arXiv:2608.197992026-08-21
• 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기arXiv:2608.197582026-08-21
• 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법arXiv:2608.198612026-08-21
• 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다arXiv:2608.198912026-08-21
• 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법arXiv:2608.198802026-08-21
• AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다arXiv:2608.195642026-08-21
• AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다arXiv:2608.194082026-08-21
• AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다arXiv:2608.192162026-08-21

METAL LAB 최신 기사

• 사카나AI, 일본 방위성과 정보분석 AI 실증 계약
• 헤르메스 에이전트, 쓸수록 스스로 스킬 만든다
• 저작권 책으로 AI 학습, 합법일까 불법일까 법정 공방
• 중국 그레이마켓, 앤스로픽 클로드 토큰 정가 10%에 유통
• AI 폭주 대응 계획, 5대 빅랩 중 최고점도 3점 그쳐