구글, 의료 AI 'AMIE'에 영상·음성 진료 능력 추가

연구팀은 심폐, 복부, 이비인후·두경부, 신경·정신, 근골격의 다섯 신체 계통에 걸친 임상 시나리오 100개를 만들었다. 훈련된 환자 배우 15명이 시나리오대로 연기하며 총 300건의 표준화 상담을 진행했고, 상담은 세 갈래로 나눠 비교했다. 영상판 AMIE, 텍스트판 AMIE, 그리고 같은 화상 인터페이스로 진료한 1차 진료의 10명이다. 누가 더 잘했는지는 상담에 참여하지 않은 경험 있는 1차 진료의 20명이 독립 패널로 평가했다. 무작위대조시험(RCT) 방식을 본뜬 설계로, 의료 AI 연구에서 흔한 '문제 풀이 벤치마크'가 아니라 진료 과정 전체를 겨루게 한 점이 특징이다.

시스템 내부는 세 개의 전문 에이전트가 비동기로 병렬 작동하는 구조다. 환자와 실시간 대화를 주고받는 Talker, 임상 추론을 맡는 Planner, 화면과 음성에서 임상 신호를 읽어내는 Perception이 각자 돌아가며 정보를 교환한다. 사람 의사가 진료 중에 말하기, 생각하기, 관찰하기를 동시에 하는 것을 역할 분담으로 흉내 낸 셈이다. 기반은 제미나이(Gemini)와 실시간 멀티모달 기술 프로젝트 아스트라(Project Astra)다.

결과 — 어디서 같고 어디서 앞섰나

평가 축	결과
병력 청취 · 진단 정확도 · 관리 계획 · 커뮤니케이션	1차 진료의와 동급
신체 징후 끌어내기 · 가상 신체검진 안내	의사·텍스트판 AMIE 모두 상회
사용 편의·효과에 대한 환자 배우 선호	의사·텍스트판 AMIE 모두 상회
공감 · 라포 · 진료 신뢰감 평가	의사·텍스트판 AMIE 모두 상회

주목할 대목은 앞선 영역의 성격이다. 화면 너머로 신체 징후를 끌어내고 환자에게 검진 동작을 안내하는 일은 텍스트 시절의 AMIE가 원천적으로 할 수 없던 영역인데, 바로 그 영역에서 사람 의사보다 높은 평가를 받았다. 환자 배우들이 공감과 신뢰에서도 AI 쪽에 더 높은 점수를 준 것은, 텍스트 기반 AMIE 연구 때부터 반복돼 온 패턴이기도 하다.

이게 무슨 얘긴가

연구를 이끈 애닐 팔레푸 선임연구원과 마이크 셰이커만 리서치 리드는 "진료는 오간 말을 훨씬 넘어선다"고 설명했다. 실제 진료실에서 의사는 환자가 걷는 자세, 얼굴에 드러나는 통증의 흔적, 호흡의 리듬을 관찰하고 신체 검진 동작을 직접 이끈다. 텍스트 대화만으로는 이런 비언어적 신호를 전혀 포착할 수 없다는 게 그동안의 한계였다.

기술적으로는 난도가 한 단계 다른 문제다. 텍스트 진단 대화는 한 번에 한 문장씩 주고받으면 되지만, 화상 진료는 환자의 말을 들으면서 동시에 화면을 보고, 그 와중에 추론을 이어가야 한다. 언어모델의 추론 능력만으로 승부하던 의료 AI가 표정·움직임·음성 톤 같은 멀티모달 신호를 실시간으로 통합하는 단계로 넘어가고 있다는 뜻이다. 이는 최근 구글이 학술 도구(PaperVizAgent·ScholarPeer)나 기후 모델 평가(AIMIP) 등 연구 인프라 전반을 넓혀온 흐름과도 맞닿아 있다.

구글, 논문 그림 그리고 심사하는 AI 에이전트 2종 공개

그래서 뭐가 달라지나

화상 진료는 이미 원격의료의 표준 형태로 자리 잡았다. AMIE가 바로 그 형식에서 시뮬레이션 기준으로나마 전문가급 성능을 냈다는 건, 텍스트 챗봇을 넘어 실제 임상 워크플로우에 들어갈 수 있는지를 가늠하는 다음 시험대가 열렸다는 의미다. 다만 한계도 분명하다. 이번 결과는 전문 환자 배우의 연기로 진행된 시뮬레이션이라 연기로 표현할 수 있는 질환에 범위가 한정되고, 시스템에서 간헐적인 인식·추론 오류와 기술적 문제도 관찰됐다. 실제 환자를 대상으로 한 임상 검증은 아직 진행되지 않았다. 화면 속에서 검진 동작을 안내하는 AI는 이제 연구실 문턱까지 왔고, 그 다음 문을 여는 열쇠는 실제 환자를 상대로 한 검증이 될 것이다.