요약
- 구글 리서치가 대화형 에이전트에 손짓을 더한 LLM 기반 XR 프로토타입 AgentHands를 X에 소개했어요
- 프린터 설정, 서랍 크기 안내, 뜨거운 노즐 경고 등 8가지 상황별 시연 이미지가 함께 공개됐어요
- 말로만 전달하던 지시를 손동작으로 공간에 직접 짚어줘 사용자의 이해 격차를 줄이는 게 목표예요
- 발표
- 구글 리서치, X 계정 공식 게시 (2026-08-25)
- 명칭
- AgentHands — LLM 기반 XR 프로토타입
- 핵심 기능
- 대화형 에이전트의 발화에 맞춰 표현력 있는 손짓을 합성, 공간 기반 안내 제공
- 공개 시연
- 프린터 설정·서랍 크기·콜드브루 설명·스피커 형태·음주 경고·뜨거운 노즐 경고·하이파이브 등 8개 장면
- 출처 링크
- goo.gle/4gsa0OJ
말이 아니라 손으로 알려주는 에이전트
구글 리서치가 연구 소개 페이지를 통해 AgentHands라는 XR(확장현실) 프로토타입을 공개했어요. 대형 언어 모델(LLM)이 대화형 에이전트의 말에 맞춰 손동작을 함께 생성해서, 사용자가 눈앞의 실제 공간에서 무엇을 해야 하는지 짚어주는 방식이에요.
공개된 시연 이미지에는 여덟 가지 상황이 담겨 있어요. 기본 대기 상태에서는 듣고 말하는 동작만 보여주다가, 프린터 설정 패널을 안내할 때는 해당 패널을 손으로 가리키고, 창문 옆에 서랍을 놓을 자리를 설명할 때는 손으로 크기를 그려 보여줘요. 콜드브루 커피의 특징을 설명하거나 스피커의 둥근 디자인을 짚어줄 때도 손짓이 함께 나오고요. 술을 많이 마시지 말라는 주의, 뜨거운 노즐을 조심하라는 경고, 작업을 잘 마쳤을 때의 하이파이브까지 포함돼 있어요.
이게 왜 필요한가
지금의 음성 비서는 “왼쪽에 있는 손잡이를 돌리세요” 같은 말로 지시를 전달해요. 문제는 사용자가 그 말을 실제 공간의 어느 지점으로 옮겨 이해해야 한다는 데 있어요. 구글 리서치는 이 간극을 “정신적 지도 그리기 격차(mental mapping gap)”라고 부르면서, 말로 전달된 지시와 실제 물리적 공간 사이에 이해의 틈이 생긴다고 짚었어요. AgentHands는 이 틈을 손동작으로 메우려는 시도예요. 에이전트가 말하는 내용과 동기화된 손짓을 XR 화면에 겹쳐 보여주면, 사용자는 굳이 말을 공간으로 번역하는 과정을 거치지 않고 바로 눈앞의 대상을 알아볼 수 있어요.
이런 접근은 AR 글래스나 스마트 안경처럼 몸에 착용하는 기기가 늘어나는 흐름과 맞물려 있어요. 텍스트나 음성만으로는 실물 작업 안내에 한계가 있다는 지적이 계속 나왔고, 시각 정보를 언어와 함께 묶어 전달하는 멀티모달 그라운딩 연구가 여러 랩에서 진행 중이에요. AgentHands는 그 흐름 안에서 손동작이라는 구체적인 표현 수단을 골라낸 사례로 볼 수 있어요.
아직은 프로토타입, 그래도 방향은 뚜렷해요
지금 공개된 건 상용 제품이 아니라 연구 프로토타입 단계예요. 다만 조립·수리·요리처럼 손으로 직접 해야 하는 작업에서, 에이전트가 말과 동작을 함께 써서 안내하는 방식이 실제로 통할지 시험해 보는 첫걸음으로 읽을 수 있어요. XR·AR 기기를 만드는 팀이라면 음성 안내만으로 부족했던 지점을 손짓 같은 시각적 신호로 보완할 수 있다는 방향성을 참고할 만해요.
국내에도 AR 글래스나 공간 컴퓨팅을 다루는 팀들이 있는 만큼, 이런 손짓 기반 안내 방식이 실제 제품에 어떻게 들어올지는 앞으로 지켜볼 대목이에요.
댓글