Ai2, 로봇 시뮬레이션 ToyBlocks 공개

비영리 AI 연구소 Ai2가 11월 6일(미국 시간) 로봇 학습을 통제된 조건에서 실험하는 오픈소스 시뮬레이션 ToyBlocks를 공개했다. 로봇 팔 하나와 탁자 위 블록으로 이뤄진 단순한 세계지만, 연구자가 훈련 데이터와 모델을 마음대로 바꾸고 같은 시험을 되풀이하며 실패 원인을 추적할 수 있게 만들었다. Ai2는 X에 ToyBlocks가 "훈련 데이터와 모델을 실험적으로 통제하고, 표적 평가를 돌리고, 실패를 원인까지 추적하게 해 준다"고 밝혔다. 함께 공개한 첫 데이터에는 장기 과제 시연 8만 5,336건, 약 1,600시간 분량의 로봇 실행 기록이 담겼다.

Ai2가 내세운 문제의식은 로봇 시연이 늘어도 로봇이 무엇을 배웠는지는 여전히 알기 어렵다는 것이다. Ai2는 블로그에서 로봇이 빨래를 개고 부품을 분류하지만 그런 시연은 범위가 좁고 "로봇이 무엇을 배웠는지, 왜 실패하는지 설명해 주지 않는다"고 썼다. 과학자가 복잡한 계를 연구할 때 페트리 접시나 테라리움부터 만들듯, 로보틱스에도 조건을 바꾸고 결과를 지켜볼 수 있는 작은 세계가 필요하다는 주장이다. Ai2는 이런 세계를 FoundationWorlds라는 틀로 묶었다. 통제된 시뮬레이션 세계에 과제와 훈련 시연을 자동으로 만드는 도구, 로봇의 행동을 시간에 따라 재는 지표를 한데 붙인 구성이고, ToyBlocks는 그 첫 사례다. 메탈은 Ai2가 AI 보조 과학 연구의 다섯 가지 벽을 정리한 글을 보도한 바 있다.

ToyBlocks의 요구 조건은 네 가지다. 사실적인 물리와 외형, 과제와 시연의 대규모 자동 생성, 추론과 손재주를 함께 요구하는 도전, 그 영역에서 가능한 과제 전반을 덮는 범위다. Ai2는 열린 세계에서는 이 조건을 모두 채울 수 없지만 범위를 좁힌 ToyBlocks에서는 가능하다고 설명했다. 블록 면에는 그림과 글자가 있어 찾기와 분류, 배열 과제를 만들 수 있고, 로봇은 숨은 면을 보려고 블록을 돌려 본 뒤 놓을 자리를 정해야 한다. 장면마다 블록 크기와 탁자 높이 같은 물리 속성을 바꾸는 도메인 무작위화로 모델의 일반화 능력도 시험한다.

시연 데이터는 사람이 원격으로 로봇을 조종하지 않고 만든다. 밀기와 뒤집기처럼 블록을 쥐지 않는 짧은 기술은 엔비디아의 오픈소스 로봇 학습 프레임워크 Isaac Lab에서 강화학습과 동작 계획으로 익힌다. 이 과정에서 실제 로봇은 알 수 없는 블록의 정확한 위치와 방향 같은 시뮬레이터 정보를 그대로 쓴다. 이어 과제·동작 계획기가 필요한 기술을 골라 순서를 짜고, 계획 수백 개를 GPU 한 장에서 병렬로 돌려 실시간보다 최대 24배 빠르게 데이터를 만든다. 생성된 데이터셋은 LeRobot 형식으로 저장되고, 모든 과제의 목표가 PDDL로 적혀 있어 과제별 지표 코드 없이도 성공과 부분 진척을 자동으로 잰다. 계층형 정책의 어느 한 층을 정답 모듈로 갈아 끼워 실패가 계획에서 났는지 실행에서 났는지 가를 수도 있다.

Ai2가 X에 올린 영상은 이 설계를 내레이션으로 풀었고, 메탈이 확인한 영상 속 장면도 같은 설명을 따른다. 영상에 나온 Ai2의 디터 폭스 선임 연구 디렉터는 "과학자는 복잡한 시스템을 야생에서 연구하지 않는다, 작고 통제된 것을 만든다"며 FoundationWorlds를 로봇을 위한 닫힌 서식지에 빗댔다. 영상은 탁자 위 블록을 밀고 뒤집고 쌓는 시뮬레이션 장면과 실제 로봇 팔이 블록을 다루는 장면을 이어 붙였다. 폭스 디렉터는 ToyBlocks가 일부러 단순하게 만들어졌지만 과제가 집기를 훨씬 넘어서며, 시뮬레이션이 연구 결과를 현실로 옮길 만큼 사실적이라고 설명했다. 블로그에 실린 시연에서는 상위 모델 Molmo 2가 회전과 뒤집기 같은 기술과 대상 블록을 화면 위 점으로 가리키고, 하위 모델 ManiFlow가 그 지시대로 팔을 움직였다.

프런티어 모델을 붙인 실험도 실렸다. Ai2는 ToyBlocks 기술을 MCP로 노출하고 Claude Opus 5.5가 카메라 영상을 보며 집기, 뒤집기, 돌리기를 픽셀 지점으로 호출하게 했다. 텍스트 설명으로 푸는 고전적 블록 쌓기 계획 과제에서는 30개를 모두 풀었고, 카메라 영상을 보며 다음 행동을 고르는 폐쇄 루프에서도 30개 중 30개를 풀었다. 최대 8개 블록에서 글자를 찾아 세 글자 단어를 쌓는 과제에서는 장면의 절반이 애초에 불가능하게 짜였고, 에이전트는 63%를 풀거나 불가능하다고 바르게 선언했다. 오류는 비슷하게 생긴 글자를 혼동한 경우가 13%, 글자 방향을 틀리게 쌓은 경우가 15%였다.

가장 눈에 띄는 결과는 에이전트가 스스로 실험해 자기 기술의 설명서를 고쳐 쓴 대목이다. 기술이 예상과 다르게 움직이면 가설을 세우고 작은 시험을 설계해 이해를 고치게 하자, 성공률이 기본 설명서로는 24%였던 것이 직접 쓴 설명서로는 63%로 올라 인간 전문가가 쓴 설명서의 36%를 넘었다. 영상 속 Claude Fable 5.1은 Ai2라는 글자 탑을 쌓다가 "집어 놓기가 방향을 저절로 바로잡는지 직접 고쳐야 하는지 알아내야 한다, 호출이 63번 남았으니 통제된 시험을 돌릴 여유가 충분하다"고 중얼거렸다. 그 뒤 집게의 회전이 로봇 몸체에서 블록 쪽을 향한다는 가설을 확인하고 블록 3개 탑을 쌓았지만, A는 옆으로 누워 있었다.

시뮬레이션에서 익힌 기술은 실제 로봇에서도 비슷한 성적을 냈다. Ai2는 로보티크 집게를 단 프랑카 FR3 팔로 장면 구성 30가지, 장면마다 블록 4~10개를 두고 실제 시험을 했다. 실제 데이터로 따로 훈련하지 않은 ManiFlow의 단일 기술 성공률은 시뮬레이션 80.0%, 실제 81.1%였다. Molmo 2와 ManiFlow를 묶은 계층형 시스템은 세 글자 단어 쌓기에서 시뮬레이션 200회 중 111회, 55.5%, 실제 30회 중 15회, 50.0%를 성공했다. Ai2는 과제 전반의 통계적 신뢰를 얻으려면 시험을 더 해야 한다고 덧붙였다. 격차를 줄이려고 관절 마찰 같은 로봇 변수를 실제 궤적에 맞추고, 조명과 배경, 재질, 카메라 변수를 무작위로 바꿨으며, 깊이 정보는 잡음이 많은 센서 대신 두 카메라 영상에서 계산했다.

Ai2는 시뮬레이션 자산과 과제·시연 생성기, 자동 생성 시연, Molmo 2 기반과 ManiFlow 기반 모델 두 개, 훈련 코드와 평가 코드, 검증 세트를 모두 공개했다. 저장소는 아파치 2.0 라이선스다. 첫 데이터의 시연 8만 5,336건은 건마다 기술 시연 6~12개로 이뤄졌고, 프레임 수로는 1억 4,400만 장이다. Ai2는 몇 주 안에 더 큰 데이터셋과 더 많은 기술, 더 넓은 벤치마크를 담은 두 번째 공개를 목표로 하고, 지금 패키지에 없는 강화학습 훈련 기능도 통합할 계획이다. 기술 보고서는 곧 나온다. 두 팔 조작과 힘·촉각 센서를 단 정교한 로봇 손, 정돈되지 않은 블록 더미를 다루는 실험도 다음 방향으로 꼽았다.

웹 화면에서 Claude 같은 프런티어 모델을 연결해 자연어로 로봇에게 지시할 수 있다는 점도 연구 문턱을 낮춘다. Ai2는 로보틱스 전문 지식 없이도 모델이 어떻게 계획하고 움직이는지 살펴볼 수 있다고 밝혔다. 언론의 눈으로 보면 ToyBlocks가 겨냥한 것은 로봇 업계의 발표 문화다. 빨래 개기 같은 인상적인 영상은 쏟아지지만 같은 조건에서 다시 시험하거나 실패를 해부할 수 있는 공개 환경은 드물었다. 블록 몇 개로 줄인 세계에서 프런티어 모델이 글자 방향 하나를 틀리는 장면은, 로봇 지능의 빈칸을 재려면 화려한 시연보다 통제된 실험이 먼저라는 Ai2의 주장을 그대로 보여 준다. X 첫 글은 조회수 2만 6,439회, 북마크 138개를 모았다.