smartARM, DINOv2 의수 시제품 공개

smartARM 은 손바닥에 카메라를 심은 비전 우선 바이오닉 암 시제품이에요. 회사 설명에 따르면 기존 의수 대부분은 물건마다 손 모양을 사용자가 직접 바꿔야 해서, 컵을 집었다가 숟가락을 드는 자연스러운 동작이 여러 단계로 쪼개져요. smartARM 은 팔에 탑재된 카메라가 주변을 보고 물체에 맞는 그립을 스스로 고르게 해서 이 단계를 없앴어요. 보도에 따르면 통상의 근전도 방식 의수는 남은 팔 근육에 붙인 표면 근전도 센서가 특정 근육의 전기 신호를 읽어 미리 정해 둔 그립을 부르는데, 그립 모드를 돌려 가며 고르는 법을 익히는 데 계속 집중이 필요하고 근육 피로나 땀이 신호 정확도를 흐트러뜨려요.

물체를 알아보는 눈이 DINOv2 예요. 메타에 따르면 smartARM 은 이 오픈소스 비전 모델로 참조 사진 몇 장만 보고 일상 물건을 인식하고, 그 결과를 그립 선택 소프트웨어에 넘겨요. 사전 지식이나 추가 프로그래밍 없이 물체의 시각 특징을 직접 읽어 잡기 때문에, 예전에는 몇 주가 걸릴 수 있던 새 물건 적응이 사진 몇 장으로 거의 즉시 끝나요. 영상에서 하마얄 초드리 smartARM 창업자 겸 CEO 는 사용자가 smartARM 앱에서 사진 두어 장을 찍으면 DINOv2 가 이미지 사이의 유사성을 찾아 가장 알맞은 그립을 추정한다고 설명해요. 메탈은 3초짜리 시연으로 로봇에 새 작업을 학습시키는 Generalist AI 의 모델을 보도한 바 있는데, 사진 몇 장으로 새 물건을 가르치는 smartARM 의 방식도 같은 방향이에요.

Meta AI 안경은 선택 부가장치예요. 회사에 따르면 smartARM 은 Meta AI 안경과 Meta Wearables Device Access Toolkit 으로 사용자 눈높이에서 본 1인칭 시점 데이터를 받아 물체 인식과 이해를 넓혀요. 손바닥 카메라만으로는 사용자가 무엇을 잡으려는지 맥락이 부족한데, 안경이 그 맥락을 보태는 구조예요. 사용자는 휴대전화의 기기 앱으로 새 물건을 추가할 수 있어서, smartARM 커뮤니티 전체가 각자의 일상에 맞게 의수를 개인화할 수 있어요. 영상에서 초드리는 안경을 매장에서 사서 smartARM 앱과 짝지으면 끝이라고 말해요. 메탈은 카메라를 뺀 AI 안경을 내놓은 RayNeo 를 보도한 바 있는데, smartARM 은 반대로 안경의 카메라를 의수의 두 번째 눈으로 쓰는 사례예요.

이 회사의 눈은 처음부터 카메라였어요. 마이크로소프트 공식 블로그에 따르면 smartARM 은 2018년 이매진컵 세계 결선에서 33개국 49개 팀을 제치고 우승했는데, 그때의 시제품도 손바닥에 카메라를 넣어 물체를 인식하고 알맞은 그립을 계산하는 로봇 손 의수였어요. 다만 당시 두뇌는 애저 컴퓨터 비전과 머신러닝, 클라우드 스토리지였고, 쓸수록 정확해지는 방식이었어요. 우승 팀은 사티아 나델라 마이크로소프트 CEO 와의 멘토링과 상금 8만 5천 달러, 5만 달러어치 애저 지원을 받았어요. 마이크로소프트 캐나다 뉴스센터에 따르면 회사는 2018년에 하마얄 초드리와 선천성 사지 차이를 가진 친구 세카이 트루디의 대화에서 시작됐고, 사람들이 저렴한 의수와 제대로 작동하는 의수 사이에서 하나를 골라야 하는 시장의 빈틈이 출발점이었어요. 3D 프린팅으로 값을 낮추고 대기 시간을 줄이겠다는 목표도 그때 세웠고, 캐나다 조직으로는 처음 이매진컵을 우승한 회사가 됐어요. 8년 사이 두뇌가 클라우드 API 에서 오픈소스 비전 모델로 옮겨 간 셈이에요.

그리핀과 smartARM 의 인연도 이번이 처음은 아니에요. 마이크로소프트 캐나다 뉴스센터는 2023년에 그가 자기에게 맞는 의수를 찾지 못해 애를 먹다가 공동창업자 하마얄, 에번을 만나 자기만의 smartARM 을 함께 만들고 있다고 전했어요. 메타는 이번 소개에서 그를 오랜 smartARM 사용자이자 전 NFL 선수라고 적었어요. 그리핀은 "이 안에 들어간 모든 기술 중에서 저에게 가장 중요한 건 확장성과 접근성이에요. 이게 소비자 의수의 미래예요" 라고 말했어요. 영상에서는 어릴 적 아버지가 역기를 들 수 있게 직접 만들어 준 도구가 자기가 아는 의수의 전부였고, 일상 동작을 하는 의수가 있는 줄도 몰랐다고 회고해요. 두 손으로 장을 보는 일이 얼마나 큰 일인지 몰랐다는 말과, 자신감이 생기고 중심이 잡힌다는 말이 이어져요.

초드리는 "쓸 만한 손을 만드는 건 과제의 일부일 뿐이에요. 직관적으로 쓸 수 있게 만드는 것도 그만큼 중요해요" 라고 말했어요. 이어 "팔이 일상 물건을 알아보고 알맞은 그립을 고르도록 도와서, 사람들이 의수를 어떻게 조작할지보다 자기가 하고 싶은 일에 더 집중할 수 있는 경험을 향해 가고 있어요" 라고 덧붙였어요. 메타는 이 팔이 처음 시도부터 작동하고 별도의 훈련이 필요 없다고 설명했어요. 보도에 따르면 회사는 오픈소스 소프트웨어와 시판 웨어러블 하드웨어에 기대는 방식으로 고가 바이오닉 의수의 비용 장벽도 낮추려 하고 있고, 경량 모듈 제작 방식과 함께 실사용 환경에서 시제품을 계속 시험하며 더 넓은 출시를 준비 중이에요.

메탈이 확인한 영상은 메타 뉴스룸이 자체 CDN 에 올린 2분 29초 분량이고, 그리핀의 소개, 초드리의 시연, 물병을 집어 마시는 장면, 안경을 쓰고 물건을 등록하는 장면으로 이어져요. 메탈은 메타가 구독 서비스 Meta One 을 전 세계에 출시하며 AI 기능을 묶어 파는 흐름을 보도한 바 있어요. 그 흐름 한쪽에서 메타는 자기 비전 모델을 오픈소스로 풀고 안경의 카메라를 외부 개발자에게 열어, 토론토의 작은 회사가 의수의 눈을 만들게 했어요. 큰 회사가 플랫폼을 열고 작은 회사가 그 위에서 몸에 닿는 물건을 만드는 구조가 smartARM 의 팔 하나에 그대로 들어 있어요.