구글 딥마인드, 제미나이로 세계 첫 이중맹검 AI평가 시험

그동안 외부 기관이 AI 모델을 평가하려면 두 가지 방법 중 하나를 골라야 했어요. 평가 기관이 시험 문제를 모델 제공사에 넘기면 모델이 그 문제를 미리 학습해 점수를 부풀릴 위험이 있었어요. 반대로 모델 제공사가 모델 가중치 자체를 평가 기관에 넘기면 지식재산권이 노출될 위험을 감수해야 했죠. 로그를 남기지 않는 조치나 계약상 안전장치로 문제 유출을 막아왔지만, 암호화 기술까지 결합한 건 이번이 처음이라고 구글 딥마인드는 설명했어요.

방식	평가 문제 노출	모델 가중치 노출	남는 리스크
문제 공개형(기존)	노출됨	비노출	모델이 문제를 학습해 점수 부풀림
가중치 공유형(기존)	비노출	노출됨	지식재산권 유출
이중맹검(이번 시범)	비노출	비노출	암호화된 결과만 상호 확인

암호화된 상자 안에서 진행한 시험

구글은 이번 시범에 구글 클라우드의 기밀 컴퓨팅(Confidential Computing) 포트폴리오에 속한 'Confidential Space'를 썼어요. 이 환경 안에서는 평가 기관이 제미나이 플래시 라이트의 가중치를 볼 수 없고, 구글도 평가 기관이 낸 시험 문제를 볼 수 없어요. 서로의 자료가 암호화된 상자 안에만 존재하고, 그 상자 밖으로는 결과값만 나오는 구조예요. 구글 클라우드는 이 접근 방식을 프라이버시 보존 환경이라고 소개했어요.

이번 시범에는 싱가포르 AI 안전 연구소(Singapore AI Safety Institute), OpenMined, AVERI, 그리고 MLCommons가 함께했어요. 구글 딥마인드는 자체 내부 평가만으로는 놓칠 수 있는 사각지대를 찾기 위해 시민사회 단체와 각국 AI 안전·보안 연구소 등 외부 파트너와 꾸준히 협업해왔다고 밝혔고요. 구체적인 방법론과 결과는 별도로 공개한 기술보고서에 담겨 있어요.

사이버보안·정부 평가로 갈수록 중요해지는 이유

구글 딥마인드는 이런 암호화 기반 평가가 사이버보안 관련 시험이나 정부 기관이 실시하는 평가처럼 민감도가 높은 영역에서 특히 중요해질 거라고 밝혔어요. 데이터 주권이나 보안을 훼손하지 않으면서도 독립 기관이 첨단 모델을 엄격하게 검증할 수 있는 길이 열린다는 뜻이에요. 정책 입안자와 연구자, 기업 모두 AI 벤치마크 점수를 있는 그대로 믿을 수 있어야 하는데, 지금까지는 그 신뢰를 뒷받침할 기술적 장치가 부족했다는 게 구글 딥마인드의 진단이에요.

에디터의 시선

이번 시범이 중요한 이유는 벤치마크 오염 논란이 이미 현실화됐기 때문이에요. 지난 8월 10일 한 논문이 클로드·GPT 계열 모델의 숨은 추론 토큰을 복원해 AIME 문제를 사전에 외운 듯한 반응을 확인했다는 주장이 커뮤니티에 퍼졌어요. 벤치마크 점수를 그대로 믿기 어렵다는 의심이 이미 쌓여 있던 상황에서, 구글 딥마인드가 암호화 기술로 이 의심 자체를 원천 차단하는 방법을 들고 나온 거예요.

다만 이번에 시험한 모델이 제미나이 플래시 라이트라는 경량 모델이라는 점은 눈여겨볼 부분이에요. 프론티어급 대형 모델로 확대하려면 계산 비용과 검증 절차가 훨씬 복잡해질 수밖에 없어요. 이 방식이 실제로 업계 표준이 되려면 오픈AI·앤스로픽 같은 다른 개발사들도 자사 모델의 가중치를 이런 암호화 환경에 넣는 데 동의해야 하는데, 그건 순전히 기술 문제가 아니라 신뢰와 경쟁의 문제이기도 해요.

국내 기업이나 연구기관이 AI 모델을 도입할 때 참고할 부분은 분명해요. 벤치마크 점수 하나만 보고 모델을 고르기보다, 그 점수가 어떤 조건에서 나왔는지를 물어야 해요. 오염 검증 없이 나온 점수라면 실제 업무에 붙였을 때 기대만큼 성능이 안 나올 가능성을 열어둬야 하고요.

앞으로 몇 달 안에는 다른 AI 연구소들이 비슷한 암호화 평가 체계를 자체적으로 시도하는지가 관전 포인트예요. 구글 딥마인드가 이 방식을 프론티어급 모델까지 확장하는 시점이 되면, 그때부터 벤치마크 점수를 둘러싼 신뢰 문제의 답이 실제로 나오는 셈이에요.