이미지: Google 화면 갈무리
요약
- 구글 리서치가 웨어러블 생체 신호에서 바이오마커 후보를 찾는 다중 에이전트 시스템 'BDF'를 공개했다
- 3개 코호트, 참가자-관측 9,279건을 분석해 정신건강 41개, 대사질환 25개 후보 지표를 도출했다
- 전문가 15명의 블라인드 평가에서 기존 AI 연구 시스템 3종을 모든 품질 지표에서 앞섰다
- 명칭
- Biomarker Discovery Framework(BDF)
- 개발
- 구글 리서치, MIT 박사과정 김유빈이 구글 인턴십 중 주도
- 검증 규모
- 3개 코호트, 참가자-관측 9,279건(DWB·GLOBEM·WEAR-ME)
- 발견 후보 수
- 정신건강 41개, 대사질환 25개 디지털 바이오마커
- 대표 상관관계
- DWB 코호트, 수면시간 변동성-PHQ8 우울증 중증도 ρ=0.252(p<0.001)
- 예측력 개선
- 인구통계 변수 결합 시 ΔR²=0.040(우울증), 0.021(인슐린저항성)
- 검증 절차
- 후보는 11개 항목 적대적 필터링 통과 필요
- 전문가 평가
- 15명 블라인드 평가, 7개 품질 지표 전부 최고점, 원고 유지율 56.9%
수면이 뒤흔들리면 몸이 먼저 안다
스마트워치가 매일 재는 수면 시간이 밤마다 들쭉날쭉하면, 그 변동 폭 자체가 우울증 위험 신호일 수 있다. 구글 리서치는 이런 식으로 웨어러블 기기가 모은 생체 신호에서 임상적으로 의미 있는 지표(바이오마커) 후보를 찾아내는 다중 에이전트 시스템 '바이오마커 발견 프레임워크(Biomarker Discovery Framework, BDF)'를 8월 21일 공식 블로그를 통해 소개했다. 반복적인 가설 생성과 통계 분석, 문헌 기반 추론을 결합한 것이 이 시스템의 핵심이다.
데이터는 쌓였는데 가설이 부족했다
구글 리서치는 웨어러블 기기가 이제 인구 규모로 심박수 변화, 수면 패턴 같은 생체 신호를 끊임없이 모은다고 짚었다. 병목은 더 이상 데이터 수집이 아니라, 이 신호를 신뢰할 수 있는 임상적 가설로 바꾸는 작업이라는 것이다. 연구팀은 기존 언어모델 기반 에이전트 시스템이 예측 성능에만 최적화되는 경우가 많아 우연한 상관관계나 데이터 누수, 불안정한 특징을 걸러내지 못했다고 지적했다.
여섯 단계, 네 개의 하위 에이전트
BDF는 오케스트레이터 에이전트가 자연어로 된 연구 지시를 실행 계획으로 쪼개고, Scout·Critic·Defender·Mechanism이라는 이름의 전문 하위 에이전트가 공유된 상태 위에서 6단계 과정을 수행하는 구조다. 결정론적 통계 계산과 생성형 추론을 분리해 맡기는 것이 설계의 핵심으로, 가설을 세우는 일은 생성형 추론이 담당하고 그 가설이 통계적으로 유효한지 검증하는 일은 결정론적 계산이 맡는다. 후보 지표는 특징 구성과 목표 신호를 엄격히 분리하고, 11개 항목으로 이뤄진 적대적 필터링 단계를 통과해야 최종 후보로 남는다.
예를 들어 우울증 중증도와 연관된 웨어러블 후보를 찾아달라는 요청이 들어오면, BDF는 DWB 데이터셋을 프로파일링해 수면 시작 시각의 변동성 같은 특징을 제안하고, 수면 시간 변동성과 PHQ-8 우울증 중증도 척도 사이의 연관성을 추정한다. 이후 안정성, 데이터 누수, 하위 집단 일관성, 대안 설명 가능성을 차례로 점검한 뒤에야 사람이 검토할 수 있는 가설로 정리한다.
9,279건의 참가자-관측 데이터에서 41개와 25개 후보를 추렸다
연구팀은 DWB와 GLOBEM이라는 두 개의 정신건강 코호트, 그리고 대사질환을 다루는 WEAR-ME 코호트를 합쳐 참가자-관측 9,279건에 BDF를 적용했다. 이 과정에서 정신건강 영역 41개, 대사질환 영역 25개의 후보 디지털 바이오마커를 자율적으로 찾아냈다.
| 코호트 | 도메인 | 발견 지표 | 연관 수치 |
|---|---|---|---|
| DWB | 정신건강 | 수면 시간 변동성 | ρ=0.252, PHQ-8, p<0.001 |
| GLOBEM | 정신건강 | 수면 시작 시각 변동성 | ρ=0.126, PHQ-4, CV AUC=0.535 |
| WEAR-ME | 대사질환 | 심혈관 체력 지수(걸음수/안정시 심박수) | 인슐린 저항성 연관 |
연구팀은 두 정신건강 코호트의 표본과 측정 지표가 서로 달라 동일한 후보가 반복 검증된 것은 아니라며, 이를 직접적인 재현이 아니라 개념 수준의 수렴으로 해석해야 한다고 선을 그었다. 대사질환 영역에서는 걸음 수를 안정시 심박수로 나눈 심혈관 체력 지수를 새로 구성해 인슐린 저항성과 연관 지었다. 이 지표들을 인구통계 변수와 결합했을 때 예측 성능은 우울증에서 ΔR²=0.040, 인슐린 저항성에서 ΔR²=0.021만큼 개선됐다.
전문가 15명이 매긴 점수
연구팀은 의학, 생물의학 데이터과학, 머신러닝, 바이오인포매틱스, 디지털헬스 전문가 15명에게 BDF와 구글 딥마인드의 AI co-scientist, Biomni, 구글 ADK의 데이터 사이언스 에이전트 등 세 개의 동시대 AI 연구 시스템이 작성한 보고서를 블라인드로 평가하게 했다.
| 평가 항목 | BDF | 비교 시스템 3종 |
|---|---|---|
| 원고 내용 유지율 | 56.9% | 18.8%~30.4% |
| 4자 비교 1위 횟수(13회 중) | 9회 | - |
| 모의 심사 Accept·Minor Revision 권고 | 유일 | 해당 없음 |
블라인드 평가에서 BDF는 일곱 개 품질 지표 모두에서 가장 높은 평균 점수를 받았다. 모의 학술지 심사 기준을 적용했을 때 Accept 또는 Minor Revision 권고를 받은 시스템은 BDF가 유일했다. Accept 2건, Minor Revision 8건, Major Revision 8건, Reject 3건이라는 분포가 나왔다. 이 작업은 MIT 박사과정 김유빈이 구글 인턴십 기간 중 하미드 팔랑기, 대니얼 맥더프의 지도로 이끌었다.
에디터의 시선
이 발표에서 눈여겨볼 지점은 모델 성능이 아니라 검증 구조다. 최근 AI 연구 자동화 시스템들은 대개 언어모델의 추론 능력을 키우는 쪽으로 경쟁해 왔는데, BDF는 반대로 생성형 추론과 결정론적 통계 계산을 물리적으로 분리하고 그 사이에 11단계 적대적 필터링을 끼워 넣는 쪽을 택했다. 애플이 지난 8월 멀티모달 모델의 환각을 줄이려 외부 모델 없이 편향 기반 샘플링을 제안했던 것과 결이 비슷하다. 두 사례 모두 모델을 더 크게 만드는 대신 검증 절차를 더 촘촘하게 짜는 방향으로 움직였다.
의료·헬스 데이터를 다루는 에이전트 시스템을 실무에 붙여 보면 늘 같은 지점에서 막힌다. 상관관계는 쉽게 나오는데, 그게 우연인지 데이터 누수인지 가려낼 절차가 없으면 결과를 아무도 신뢰하지 않는다는 점이다. BDF가 안정성·누수·하위집단 일관성·대안 설명을 순서대로 점검하게 만든 것은 이 문제를 정면으로 겨눈 설계다. 다만 ρ=0.126처럼 통계적으로는 유의해도 실제 예측력은 약한 지표까지 후보로 올라온다는 점은, 이 시스템이 내놓는 결과를 사람이 재검토하는 절차 없이 그대로 임상에 쓸 수 없다는 뜻이기도 하다.
국내 병원이나 헬스케어 스타트업이 웨어러블 데이터를 붙잡고 있다면, 이런 다중 에이전트 구조에서 배울 지점은 모델 선택이 아니라 파이프라인 설계다. 가설 생성과 통계 검증을 같은 모델에 맡기지 않고 역할을 쪼개는 것, 그리고 결과를 사람이 검토하기 전에 통과해야 하는 필터를 명시적으로 두는 것. 이 두 가지는 지금 당장 적용해볼 수 있는 실무 기준선이다.
앞으로 몇 달 안에는 이런 통계 검증 중심 에이전트가 의료 외 영역, 이를테면 금융 이상탐지나 제조 품질관리 쪽으로 옮겨가는 시도가 나올 가능성이 크다. 핵심은 결국 같다 — 그럴듯한 상관관계를 빠르게 뽑아내는 능력보다, 그 상관관계가 진짜인지 걸러내는 절차를 얼마나 촘촘하게 짜느냐가 다음 경쟁 지점이 될 것이다.
댓글