이미지: METAL LAB 생성
요약
- GEN-1.5는 3~12초짜리 시연 하나를 30초 컨텍스트 윈도우에 넣으면 그래디언트 업데이트 없이 로봇이 새 작업을 수행해요
- 10가지 조작 과제에서 원샷 프롬프팅은 평균 59% 성공률을 냈고, 과제당 5분 데이터로 10회 미세조정하면 83%까지 올라갔어요
- 공개 가중치·API·가격 정책이 없는 연구용 릴리스라 지금은 파트너십을 통해서만 접근할 수 있어요
- 모델명
- GEN-1.5
- 개발사
- Generalist AI
- 보도일
- 2026년 8월 24일(MarkTechPost)
- 컨텍스트 윈도우
- 30초, 100Hz 행동 궤적 출력
- 원샷 성공률
- 10개 과제 평균 59%(±10%)
- 미세조정 후 성공률
- 그래디언트 10회·5분 데이터로 83%(±9%)
- 최소 적응 결과
- 1분 데이터·그래디언트 1회로 held-out 과제 66.5%
- 사전학습 기간
- 8개월 이상, 가정·창고·공장 데이터
로봇 팔 앞에 사람이 앉아 블록을 그릇에 쓸어 담는 동작을 딱 한 번 보여줘요. 12초짜리 그 장면을 로봇의 '기억 창'에 넣자마자, 로봇은 별도 학습 없이 똑같은 동작을 따라 해요. 로봇 파운데이션 모델 스타트업 Generalist AI가 공개한 GEN-1.5 얘기예요.
시연 한 번, 그래디언트 업데이트는 없이
GEN-1.5는 영상·센서·언어·고유수용감각(자기 몸의 위치·힘을 느끼는 감각) 입력을 함께 받는 멀티모달 모델이에요. 30초 분량의 기억을 유지하면서 100Hz로 행동 궤적을 뽑아내는데요, 여기서 핵심은 '피지컬 프롬프팅'이라 부르는 방식이에요. 센서 데이터와 실제 동작 궤적을 드래그 앤 드롭으로 30초 창 안에 밀어 넣으면, 나머지 공간은 실시간 관측값으로 채워지고 로봇이 그 자리에서 과제를 수행해요. 가중치를 바꾸는 그래디언트 업데이트도, 별도 미세조정도, 과제별 프로그래밍도 없어요.
Generalist AI는 이 능력을 일부러 설계하지 않았다고 밝혔어요. 인컨텍스트 학습을 촉진하는 구조 변경도, 메타러닝 루프도, 즉흥 대응을 유도하는 보조 목표도 없었다는 거예요. 대신 8개월 넘게 가정·창고·공장에서 수집한 물리적 상호작용 데이터로 계속 사전학습을 시킨 결과 이 능력이 자연스럽게 나타났다고 설명했어요. 오픈AI의 GPT-3에서 원샷 프롬프팅이 별도 설계 없이 사전학습 규모만으로 등장했던 것과 같은 맥락이라는 비유를 덧붙였고요.
숫자로 보는 성공률
10가지 서로 다른 조작 과제에 대해 학습 방식별 성공률은 이렇게 갈렸어요.
| 학습 방식 | 데이터 규모 | 성공률 |
|---|---|---|
| 원샷 인컨텍스트 프롬프팅 | 3~12초 시연 1개 | 59%(±10%) |
| 미세조정(그래디언트 10회) | 과제당 5분, 약 50회 시연 | 83%(±9%) |
| 최소 적응(그래디언트 1회) | 1분 데이터 | 66.5%(held-out 과제) |
주목할 대목은 계산량이에요. 로봇 정책을 새 과제에 맞추는 작업은 보통 수만 번의 그래디언트 스텝이 필요한데, GEN-1.5는 10번만으로도 성능이 크게 뛰었어요. 그런데 그 10번의 스텝이 실제로 바꾼 가중치 값은 0.15%도 안 됐다고 해요. 새로운 표현을 처음부터 만드는 게 아니라, 모델이 이미 갖고 있던 지식을 재배치하는 쪽에 가깝다는 뜻이에요. Generalist AI는 이를 '극도로 적은 데이터로 하는 테스트 타임 학습'이라고 표현했어요.
시뮬레이션에서 배워 현실에서 써먹기
GEN-1.5가 보여준 전이 능력 세 가지도 눈에 띄어요. 먼저 서로 다른 자리에서 따로 녹화된 두 개의 시연을 기억 창에 함께 넣으면, 로봇은 두 시연 어디에도 없던 자세 재조정·재파지·오류 복구 동작을 스스로 만들어 이어 붙였어요. 둘째, 사전학습 데이터에 렌더링 영상이나 시뮬레이션 물리 데이터가 전혀 없었는데도, 시뮬레이션에서만 녹화한 시연이 실제 로봇에서 그대로 작동했어요. 일부 과제는 굳이 물리적으로 시연을 수집할 필요가 없어진 셈이에요. 셋째, 사람이 자기 손으로 로봇 카메라 앞에서 시범을 보이면 로봇이 그걸 자기 손으로 재현하는 사람-로봇 모방도 확인됐어요.
미세조정 뒤에는 더 흥미로운 일반화도 나왔어요. 블록을 그릇에 쓸어 담는 동작을 5분 분량으로 학습시켰더니, 로봇은 브러시 대신 바나나를 집어 쓸었고, 다른 상황에서는 쓰레받기로 블록을 퍼서 옮기는 완전히 다른 접촉 방식을 택했어요. 그릇을 덮은 종이를 스스로 치우기도 했고, 한 손으로만 시연했는데도 양손을 번갈아 쓰는 모습도 보였어요.
아직은 연구용, 파트너십으로만
GEN-1.5는 지금 당장 써볼 수 있는 제품이 아니에요. 공개된 가중치도, API도, 가격 정책도, 자율 가입형 서비스도 없어요. Generalist AI는 이 모델을 자체 로봇 함대와 데이터 엔진 안에서만 돌리고 있고, 외부에서 접근하려면 직접 파트너십을 맺어야 해요. 회사 스스로도 대상 과제들이 단순하고 짧은 호흡의 동작이라는 점을 인정했고요. 다만 이 정도 규모에서 물리적 기술의 원샷 학습이 나타난 건 팀이 아는 한 처음이라고 밝혔어요.
에디터의 시선
로봇 파운데이션 모델 경쟁에서 지금까지 나온 숫자들은 대체로 '얼마나 많은 데이터로 학습했는가'를 자랑했어요. 지난 8월 11일 다이나 로보틱스가 공개한 DYNA-2는 인간 영상 100만 시간, 약 170년 치 분량을 사전학습에 썼다는 점을 앞세웠고, 구글 딥마인드의 제미나이 로보틱스 2는 선반 집기 76.3%, 전구 끼우기 36% 같은 과제별 성공률로 승부했어요. GEN-1.5는 다른 축을 잡았어요. 데이터 총량이 아니라 '한 번의 시연만으로 얼마나 배우는가'를 성능 지표로 내세운 거예요. 이건 언어 모델 쪽에서 GPT-3가 파인튜닝 없이 예시 몇 개로 새 작업을 처리하던 흐름을 로봇 쪽으로 그대로 옮겨온 셈이에요.
실무적으로 보면 이 방식의 값어치는 '적응 비용'에 있어요. 지금까지 로봇을 새 작업에 맞추려면 수만 번의 그래디언트 스텝과 대량의 시연 데이터가 필요했는데, GEN-1.5는 10번의 스텝만으로 59%에서 83%까지 끌어올렸어요. 공장이나 창고에서 로봇에게 새 작업 하나를 가르치는 데 걸리는 시간과 인력을 크게 줄일 수 있다는 뜻이고, 이건 로봇 도입 문턱을 낮추는 실질적인 변화예요. 다만 59%, 83% 같은 숫자는 여전히 실패가 잦다는 뜻이기도 해요. 물류·제조 현장에 바로 투입하기엔 이르고, 지금은 연구 신호로 읽는 게 맞아요.
앞으로 몇 달은 이 '피지컬 프롬프팅'을 다른 회사들이 얼마나 빨리 따라 하느냐가 관전 포인트가 될 거예요. 사전학습 규모만 키우면 이런 능력이 자연스럽게 나온다는 주장이 맞다면, 비슷한 데이터 파이프라인을 가진 로봇 스타트업들도 조만간 같은 현상을 보고할 가능성이 커요.
댓글