멀티모달 그라운딩

멀티모달 그라운딩은 AI가 말이나 글로 설명하는 내용을, 이미지나 소리, 손짓 같은 다른 형태의 정보와 하나로 묶어서 그게 실제로 어떤 대상을 가리키는지 확실하게 짚어주는 방식이다.

길을 알려주는 상황을 떠올려보면 쉽다. 누군가 전화로 “왼쪽에서 두 번째 문으로 들어가세요”라고 말하면, 듣는 사람은 그 말을 머릿속에서 실제 눈앞의 공간으로 다시 옮겨 이해해야 한다. 그런데 옆에 서 있는 사람이 손가락으로 그 문을 직접 가리켜주면 이런 번역 과정이 필요 없다. 멀티모달 그라운딩은 AI를 옆에서 손가락으로 짚어주는 사람에 가깝게 만드는 작업이다. 말만 내놓는 게 아니라 그 말이 가리키는 대상을 다른 방식으로도 함께 보여줘서, 사용자가 말을 공간이나 사물로 번역하는 수고를 덜어주는 것이다.

이 방식이 중요해지는 이유는 AI가 화면 속 텍스트를 넘어 실제 공간이나 사물, 화면 위 요소를 다루는 일이 늘고 있기 때문이다. 안경형 기기나 로봇, 화면을 직접 조작하는 프로그램처럼 말과 현실 사이의 간극이 클수록, 말만으로는 오해가 생기기 쉽다. 그래서 여러 연구소가 언어와 시각·행동 정보를 함께 엮어 이 간극을 좁히는 방법을 실험하고 있다.

기사에서는 “시각 정보를 언어와 함께 묶어 전달하는 멀티모달 그라운딩 연구가 여러 랩에서 진행 중”이라며, 구글 리서치의 손짓 에이전트 AgentHands를 그 사례로 소개해요. 오해하기 쉬운 점: 멀티모달 그라운딩은 특정 제품이나 기능 이름이 아니라, 말과 다른 형태의 정보를 실제 대상에 연결하는 연구 방향 전체를 가리키는 말이에요.

이미지를 첨부할 수 있는 챗봇에 사진 한 장을 올리고 이렇게 물어보세요.

이 사진에서 전원 버튼이 정확히 어디 있는지 위치를 구체적으로 짚어서 설명해줘.

답변이 “오른쪽 아래쪽에 있어요”처럼 대략적인 말로만 끝나는지, 아니면 “스피커 그림 오른쪽, 케이블 구멍 바로 위”처럼 사진 속 다른 요소와 연결해서 정확히 짚어주는지 비교해보세요. 후자에 가까울수록 멀티모달 그라운딩이 잘 되고 있다는 뜻이에요.