구글, 서버 측 AI 메모리 설계 공개

구글이 9월 23일 클라우드 AI 처리 플랫폼 Private AI Compute에 서버 측 메모리를 넣는 설계를 공개했어요. 지금까지 이 플랫폼은 작업이 끝나는 순간 맥락을 전부 지우는 무상태 구조였는데, 이제 사용자별 기억을 클라우드에 암호화해 두고 여러 기기에서 이어 쓰게 하겠다는 계획이에요. 구글은 이 데이터가 구글을 포함한 누구에게도 보이지 않는다고 밝혔어요. 발표는 구글 딥마인드 블로그에 실렸고, 설계를 자세히 적은 기술 브리프와 서버 소프트웨어의 공개 기록, 외부 감사 결과가 함께 나왔어요.

Private AI Compute는 구글이 2025년 11월 11일 처음 소개한 플랫폼이에요. 보도에 따르면 구글 자체 TPU 위에서 돌아가고, 하드웨어로 격리된 환경에서 제미나이 모델이 민감한 데이터를 처리하게 해요. 당시 구글은 이 플랫폼으로 픽셀 10의 매직 큐를 개선하고 녹음 앱의 요약 언어를 넓히겠다고 밝혔어요. 구글 Private AI Compute 팀은 이번 발표에서 "새 영구 메모리 계층은 클라우드 속 안전한 디지털 금고처럼 작동하게 된다" 고 설명했어요.

왜 기억이 필요한지는 기술 브리프가 짚어요. 한 번 쓰고 버리는 추론으로는 사용자의 장기 프로젝트나 대신 내린 결정, 이전 세션에서 파악한 선호를 이어 갈 수 없다는 거예요. 기기에 저장하는 대안도 저장 용량의 물리적 한계, 여러 기기 사이 동기화의 불편, 방대한 과거 맥락을 매번 클라우드 모델로 보내는 대역폭과 지연이라는 벽에 부딪혀요. 구글은 AI가 개인 정보와 선호 목록을 따로 저장하게 하는 우회책만으로는 사람들이 기대하는 연속적인 경험을 만들 수 없다고 봤어요.

구조의 중심은 메모리 Oak 서버예요. 하드웨어 신뢰 실행 환경 안에서 도는 사용자별 데이터베이스로, 기록은 사용자에게 묶인 키로 암호화돼 있고 그 키는 신뢰 컴퓨팅 기반 밖이나 구글 인프라에 보이지 않아요. 그래서 주변 플랫폼은 암호화된 데이터베이스를 저장하고 복제하고 백업하지만 평문에는 닿지 못해요. 오케스트레이터가 AI 모델과 메모리 서버 사이를 중개하고, 사용자 데이터는 평문 상태로 보호 구역, 곧 엔클레이브를 벗어나지 않아요. 메모리 애플리케이션은 러스트로 쓰였고 Oak Containers 런타임 위에서 돌며, 서버와 런타임 모두 오픈소스예요.

요청 한 건이 처리되는 순서도 브리프에 나와 있어요. 기기가 Noise 프로토콜로 암호화 세션을 열면 요청은 AMD SEV-SNP 기밀 가상머신 안의 오케스트레이션 엔클레이브로 가요. 오케스트레이터는 메모리 서버와 서로를 증명하는 ALTS 채널을 맺고, 하드웨어가 엔클레이브의 측정값을 확인한 뒤에야 사용자 복호화 키가 풀려요. 필요한 기록은 휘발성 엔클레이브 메모리 안에서만 복호화돼 프롬프트와 합쳐지고, 모델은 TPU 경계 안에서 계산해요. 새 기억이나 바뀐 선호는 사용자 키로 다시 암호화해 저장하고, 응답이 나가는 즉시 프롬프트 맥락과 토큰, 중간 활성값을 모두 지워요.

메탈이 확인한 15쪽 분량의 기술 브리프는 기억을 남기는 순간 위험의 성격이 달라진다는 점도 숨기지 않아요. 구글은 "영구 상태는 한 번 쓰고 버리는 계산보다 근본적으로 위험도가 높다" 며 그래서 메모리 Oak 서버를 공개 검토용 오픈소스로 풀었다고 적었어요. 무상태 추론 경로는 질의를 특정 사용자와 연결할 수 없게 설계됐지만, 메모리는 요청이 그 사용자의 저장소에 닿아야 하므로 사용자별 고정 식별자가 필요해요. 브리프는 그래서 이 구조가 네트워크 수준의 표적 불가능성을 주장하지 않는다고 밝히고, 대신 특정 사용자의 메모리를 노려도 읽을 수 없는 암호문만 얻는다고 설명해요.

영구 저장소의 보안 목표도 구체적이에요. 비상 상황에서도 평문 사용자 데이터에 이르는 관리자 경로가 없고, 메모리 서버는 기밀 가상머신에서 돌아 한 인스턴스가 뚫려도 다른 사용자 상태가 드러나지 않아요. 모니터링과 로그, 코어 덤프로 메모리 내용이 새지 않도록 기본 차단 정책을 적용하고, 승인된 메모리 바이너리와 맞는 증명을 내지 못하는 엔클레이브는 변조된 빌드든 무단 빌드든 키를 받지 못해요. 공개된 소스는 재현 가능한 빌드로 실제 배포본과 묶이고, 그 해시값은 추가만 되는 원장에 공개돼요.

검증은 외부로 열어 둔다는 게 구글의 설명이에요. 브리프에 따르면 외부 감사인이 처음 출시 때와 이번 메모리 업데이트 때 모두 설계를 검증했고, 구글은 2025년과 2026년 감사 보고서 요약을 공개했어요. 앞으로의 과제로는 사용자 기기가 서버의 증명을 직접 확인하는 클라이언트 측 검증, 독립된 제3자가 함께 서명하는 투명성 로그, 재현 가능한 빌드 범위 확대, 정기 외부 감사를 꼽았어요. 브리프는 이를 "구글이 주장하는 준수에서 클라이언트 측 암호학적 검증으로 옮겨 가는 것" 이라고 적었어요.

AI 엔지니어의 눈으로 보면 이번 발표의 핵심은 기억 기능 자체보다 키를 어디에 두느냐예요. 블로그는 키가 사용자 기기에만 있다고 설명하고, 브리프는 키가 사용자에게 묶여 증명된 엔클레이브 안에서만 평문으로 존재한다고 적어요. 메탈은 퍼플렉시티의 에이전트 메모리 브레인을 보도한 바 있으며, 개인 AI의 경쟁은 이제 무엇을 기억하느냐와 함께 그 기억을 누가 열 수 있느냐로 옮겨 가고 있어요. 스마트 안경으로 본 조립 설명서를 노트북에서 다시 여는 장면은 아직 구글이 든 예시일 뿐 출시된 기능은 아니에요. 사용자 기기가 서버를 직접 검증하는 단계가 오기 전까지, 이 설계의 신뢰는 공개된 소스와 감사 보고서를 누가 얼마나 들여다보느냐에 달려 있어요.