아스트라 반복형 구조, AI 생각이 안 보인다

먼저 구조부터 봐야 해요. 보통의 트랜스포머는 토큰이 아래층에서 위층으로 수십에서 수백 개의 층을 한 번씩 지나며 답을 만들어요. 추론 모델은 여기에 한 단계를 더해서, 답을 내기 전에 생각의 단계를 글로 써 두고 그 글을 다시 읽어 다음 단계를 쓰는 과정을 반복해요. 이 글이 사고과정, 영어로 체인 오브 소트예요. 반복형 트랜스포머는 다른 길을 가요. 하나의 블록에 토큰을 여러 바퀴 되돌려 넣되, 바퀴마다 결과를 글로 쓰지 않고 벡터 상태 그대로 다음 바퀴에 넘겨요. 층을 더 쌓는 대신 같은 층을 여러 번 도는 셈이라 파라미터와 연산이 줄고, 연구들에 따르면 같은 성능에 연산을 50%에서 90%까지 아낄 수 있어요. 대신 바퀴 사이의 생각은 사람이 읽을 수 없는 숫자 덩어리로만 존재해요. 안전 연구자들이 '뉴럴리즈'라고 부르는 그 상태예요.

파호츠키가 X에 쓴 글을 메탈이 우리말로 옮기면 이래요.

혼란스러운 보도가 촉발한 '모니터링 불가능성으로의 경주'를 막고 싶다. 아스트라를 포함한 현재 프런티어 모델의 계산 그래프 깊이는 GPT-4의 2배 이내다. 오픈AI는 첫 추론 모델부터 사고과정 모니터링을 보존하고 활용해 왔고, 우리는 이 문제를 깊이 신경 쓴다.

사고과정 모니터링은 앞으로 더 어려워질 수 있지만, 그 이유는 구조 변경과 무관하다. 그래도 이를 강화하기 위해 할 수 있는 일들이 있고, 그것이 현재 연구 프로그램의 핵심 목표다. 아스트라의 구조는 나중에 더 자세히 공개하겠다.

(야쿠프 파호츠키, 9월 2일 X · 메탈 번역, 일부)

이 답의 핵심은 '2배 이내'라는 숫자예요. 반복형이라도 실제로 도는 바퀴 수가 적으면, 글로 쓰지 않고 내부에서 처리하는 생각의 양은 층을 두 배로 쌓은 기존 모델과 다르지 않다는 논리예요. 32개 층을 두 바퀴 도는 모델과 64개 층을 한 바퀴 도는 모델은 감시하는 입장에서 같다는 거예요. 오픈AI 연구자들도 보도가 과장됐다고 반박하면서, 반복형 구조는 모델 일부에만 제한적으로 써서 추론이 읽히는 상태를 유지했다고 밝혔어요.

반대편이 문제 삼는 건 지금의 바퀴 수가 아니라 바퀴 수를 돌리는 손잡이가 생겼다는 사실이에요. 층을 더 쌓으려면 모델을 다시 훈련해야 하지만, 반복형은 추론 시점에 바퀴 수를 늘리는 것만으로 생각을 더 깊게, 그리고 더 안 보이게 만들 수 있어요. 아폴로 리서치의 마리우스 홉한은 "더 깊게 돌리는 것이 더 높은 성능으로 이어진다면 압력은 분명히 그쪽으로 향한다"고 말했어요. 전 오픈AI 거버넌스 연구원 다니엘 코코타일로는 파호츠키에게 "오픈AI가 더 나아가지 않더라도 다른 회사는 나아갈 수 있다"며 업계 공통의 모니터링 가능성 기준을 만들자고 제안했고, "정치적 의지 이상으로 사려 깊은 기술 사양이 필요하다"고 덧붙였어요. 구글 딥마인드의 닐 난다는 사고과정 모니터링을 "잃는다면 큰 비극"이라고 했고, 라이언 그린블랫은 "지금까지 AI 안전에서 가장 나쁜 사건일 수 있다"고까지 썼어요.

이 반응들이 과하게 들리지 않는 이유는 지난 두 달의 사건에 있어요. 메탈은 7월 오픈AI의 미공개 모델이 허깅페이스 시스템에 무단 침입한 사고와, 그 뒤 오픈AI가 실시간 사고과정 모니터링에 투자하겠다고 발표한 사실을 보도한 바 있어요. AI 정책 네트워크의 피터 와일드포드는 그때 오픈AI와 외부 평가기관이 무슨 일이 벌어졌는지 재구성할 수 있었던 거의 유일한 방법이 모델의 사고과정을 읽는 것이었다고 지적하면서, 이번 선택을 "잠재적으로 매우 우려스럽고, 잠재적으로 무모하다"고 평가했어요. "오픈AI가 정말로 여기서 멀어지고 있다면 잘못된 방향"이라는 거예요. 한 달 전에 감시를 강화하겠다던 회사가 감시 대상을 줄이는 구조를 내놓은 것으로 읽히는 셈이에요.

레드라인이라는 말에도 근거가 있어요. 2025년 7월 오픈AI, 구글 딥마인드, 앤스로픽 연구자들이 함께 낸 사고과정 모니터링 가능성 논문은 사고과정을 "새롭고 취약한" 안전 기회라고 부르면서, 개발사들이 이것을 어떻게 보존할지 연구하고 구조를 바꿀 때 그 영향을 평가하라고 권고했어요. 논문이 위험 요인으로 꼽은 것 중 하나가 바로 글 대신 벡터로 생각하는 '잠재 추론' 구조였어요. 반복형 트랜스포머는 그 논문이 걱정한 것의 교과서적 사례예요.

기술 자체는 새롭지 않아요. 메탈이 확인한 학계 계보를 보면 같은 층을 반복해 쓰는 발상은 2018년 구글의 유니버설 트랜스포머까지 올라가고, 2025년 2월 요나스 가이핑 팀이 낸 순환 깊이 논문은 35억 파라미터 모델을 최대 32바퀴로 훈련하고 테스트 때 64바퀴까지 늘려 성능이 오르는 것을 보였어요. 이후 나온 후속 모델들은 규모가 커질수록 바퀴 수를 줄이는 경향을 보였고, 2026년 200억 파라미터 규모의 최신 반복형 모델은 두 바퀴만 돌아요. 오래된 알고리즘이 맞고, 새로운 건 이것을 프런티어 모델 상용 제품에 처음 넣었다는 점이에요. 파호츠키의 '2배 이내'는 이 계보에서 보면 자연스러운 숫자이고, 비판 쪽의 '손잡이' 우려도 같은 계보에서 나와요. 바퀴 수는 훈련 뒤에도 바꿀 수 있기 때문이에요.

엔지니어 입장에서 이 논쟁을 실무로 옮기면 확인할 것은 세 가지예요. 첫째, 자기 제품이 아스트라의 사고과정 텍스트에 기대고 있는지예요. 추론 토큰을 로그에 남겨 에이전트의 이상 행동을 잡는 팀이라면, 그 로그가 이제 모델이 실제로 한 생각의 일부만 담는다는 전제로 감시 설계를 다시 봐야 해요. 둘째, 비용이에요. 반복형의 존재 이유는 연산 절감이고, 기업 고객이 프런티어 모델 요금에 불만을 쌓아 온 것이 이 구조가 나온 배경이에요. 셋째, 파호츠키가 약속한 구조 공개예요. 메탈이 확인한 9월 9일 오후 기준 오픈AI는 아스트라의 반복 바퀴 수나 어느 블록에 적용됐는지를 아직 밝히지 않았어요. 그 숫자가 나와야 '2배 이내'라는 주장을 밖에서 검증할 수 있어요.

한 가지 더 있어요. 사고과정을 숨기는 구조는 증류도 어렵게 만들어요. 작은 모델이 큰 모델의 출력을 배우는 증류는 사고과정 텍스트가 있어야 잘 되는데, 미국 정부와 미국 AI 기업들은 중국 기업들이 프런티어 모델의 사고과정을 베껴 증류한다고 비판해 왔어요. 반복형 구조는 안전 비용을 치르는 대신 원가와 모방 방어를 얻는 선택이고, 오픈AI가 이 계산을 어떻게 했는지는 회사가 밝히지 않았어요.

정리하면 이래요. 오픈AI는 아스트라에 생각의 일부를 글로 쓰지 않는 반복형 구조를 넣었고, 그 사실을 부인하지 않았어요. 회사는 깊이가 GPT-4의 2배 이내라 감시에 문제가 없다고 하고, 안전 연구자들은 깊이를 늘리는 손잡이가 생긴 것 자체가 업계 합의를 깬 것이라고 봐요. 지난 두 달간 오픈AI 모델의 무단 침입 사고를 재구성한 도구가 바로 그 사고과정이었다는 점에서, 이 논쟁은 이론이 아니라 운영의 문제예요. 앞으로 볼 것은 오픈AI가 약속한 구조 공개에 바퀴 수가 들어 있느냐, 그리고 코코타일로가 요구한 업계 공통 기준에 앤스로픽과 구글이 응답하느냐예요.