앤스로픽, 클로드에 AI 정렬 연구 맡기니 사람 앞질렀다

앞서 '약한 모델이 강한 모델을 감독하는' 실험이 있었다

이번 보고서는 갑자기 나온 이야기가 아니라 이전 실험의 후속편이에요. 앤스로픽은 앞서 약한 AI 모델을 '교사'로 써서 더 강한 '학생' 모델의 훈련을 감독하게 하는 실험을 진행한 적이 있는데요, 이번 보고서는 그 아이디어를 확장해 클로드가 10가지 정렬 실패 유형 각각에 대해 직접 해법을 찾도록 했어요.

풀어서 설명하면, 지금까지 AI가 안전한지 점검하고 고치는 작업은 주로 사람 연구자의 몫이었는데요, 이번엔 그 점검·개선 과정 자체를 클로드에게 맡겨 본 거예요. 사람이 문헌을 찾고 방법을 제안하고 실험하는 데 며칠씩 걸리던 과정을, 클로드는 검색-제안-훈련-검증을 반복하는 자동 루프로 돌렸어요. 앞으로 모델이 사람보다 정렬 연구를 더 잘하게 되면 약한 AI가 강한 AI를 정렬하는 구조가 필요해질 텐데, 이번 실험은 그게 실제로 가능한지를 미리 확인해 본 셈이에요.

10가지 정렬 실패, 하나씩 풀었다

클로드는 기만, 아첨, 탈옥을 포함한 10개 정렬 실패 카테고리를 한 번에 하나씩 다뤘어요. 예를 들어 프라이버시 침해 항목은 ConfAIde, PrivaCI-Bench, PrivacyLens 세 벤치마크로 측정했어요. 성공 여부는 '안전 격차 해소율'로 판단했는데, 학생 모델의 점수가 이론상 만점에 얼마나 가까워졌는지를 각 카테고리별 3~5개 벤치마크로 평균 낸 값이에요.

앤스로픽은 두 가지 조건을 걸었어요. 하나는 모델의 전반적인 능력을 해치는 방법은 제외한다는 것, 다른 하나는 클로드가 자신의 정렬 방식을 학생 모델에 그대로 이식하지 못하게 막는다는 것이었죠. 클로드가 떠올린 방법은 실행 전에 별도의 감시 에이전트가 모두 읽고 걸러냈어요.

결과는 10개 항목 전부에서 능력 저하 없이 벤치마크 점수를 끌어올리는 해법을 찾아낸 것으로 나왔어요. 클로드가 찾은 방법들은 연구 과정에서 한 번도 보여주지 않은 별도 검증용 벤치마크에서도, 적대적 다중턴 시나리오로 오정렬을 시험하는 오픈소스 도구 Petri에서도 효과가 유지됐어요. 게다가 클로드가 실제로 최적화했던 모델보다 최대 4.7배 큰 모델에도 같은 방법이 통했어요.

사람 연구자 28명과 겨뤄보니

앤스로픽은 최대 8시간을 쓴 사람 안전연구자 28명이 제안한 방법과 클로드의 결과를 비교했어요. 기만 항목에서는 클로드가 찾은 최선의 방법이 사람이 낸 최선의 제안보다 20% 더 나은 성능을 보였어요. 다만 사람 참가자들은 한 번 제출한 뒤 다시 고칠 기회가 없었기 때문에, 앤스로픽은 이 결과를 사람과 AI의 직접 대결이라기보다는 클로드가 유망한 방법을 먼저 찾아내고 사람이 다듬는 협업 구조의 근거로 보고 있다고 밝혔어요.

더 약한 클로드가 더 강한 모델을 정렬하다

앤스로픽은 한 걸음 더 나아가 약한 모델이 강한 모델의 정렬 실패를 고칠 수 있는지도 시험했어요. 다양한 능력을 종합 평가하는 지표인 Epoch Capabilities Index 기준으로 Claude Opus 4.8보다 약한 Claude Sonnet 5에게, 프로덕션 정렬 훈련을 대부분 거치지 않은 Opus 4.8 초기 체크포인트를 고치는 임무를 맡겼어요.

60시간 동안 클로드는 50개가 넘는 해법을 실험했고, 실제 프로덕션 모델과 거의 비슷한 정렬 점수를 만들어냈어요. 최종적으로 선택된 해법은 훈련 예제 2,000여 개로 구성됐는데, 단순한 템플릿이나 공개 데이터셋에서 뽑아낸 것으로 기존 프로덕션 정렬 절차보다 약 15,000배 효율적인 셈이에요. 아첨 항목에서는 제안된 방법의 98%가 이미 논문에 발표된 기법, 즉 모델이 스스로 만든 비아첨 답변으로 자신을 재훈련하는 방식을 썼어요. 클로드는 프롬프트 기반 접근 대신, 생성 중 모델 내부 표현을 조정하는 활성화 조향(activation steering) 기법으로 더 깔끔한 훈련 데이터를 만들어냈다고 해요.

부정행위 39건도 함께 걸러냈다

앤스로픽은 최근 다른 실험에서 클로드가 원격 API에서 테스트 라벨을 빼돌려 결과를 유리하게 골라내는 부정행위를 할 수 있다는 사실을 확인했다고 밝혔어요. 이번 연구에서도 같은 위험을 점검하기 위해 Claude Opus 4.8에게 10개 정렬 실패 전반에 걸친 연구 에이전트 기록 약 1,600건을 감시하게 했고, 그 중 39건(2.4%)에서 부정행위 시도를 찾아냈어요. Opus 4.8의 문제 행동은 여전히 추론 과정에 드러나는 편이라, 앤스로픽은 이번 감시가 대부분의 부정행위를 잡아냈을 것으로 조심스럽게 보고 있지만 앞으로 나올 모델에도 이 방식이 통할지는 장담하지 않았어요.

한계는 뚜렷하다

앤스로픽은 이번 실험에 여러 한계가 있다고 밝혔어요. 정치적 편향 같은 항목은 다루지 않았고, 일부 정렬 실패는 드물게 나타나거나 최근에야 알려져 아직 측정할 벤치마크조차 없다는 것도 인정했어요. 또 미리 정해둔 일부 능력만 훼손 여부를 확인했기 때문에, 채택된 방법이 측정하지 않은 다른 능력을 해쳤을 가능성도 남아 있어요. Petri 같은 평가 도구도 실제 세계의 오정렬을 완벽히 대신하지는 못하고, 다른 작업으로 강화학습을 오래 거친 뒤에도 정렬 효과가 유지되는지는 이번에 확인하지 않았다고 해요. 앤스로픽은 이 자동 정렬 연구 하네스를 오픈소스로 공개해 다른 연구자들도 같은 방식으로 자신의 모델을 정렬하는 데 쓸 수 있게 했어요. 10개 실패 유형별 상세 데이터와 에이전트의 제안 전문은 Alignment Science 블로그에서 확인할 수 있어요.

에디터의 시선

이번 결과에서 흥미로운 지점은 정렬 연구라는, 그동안 사람의 판단력이 최후 보루로 여겨지던 영역에서 AI가 사람보다 나은 성과를 냈다는 사실 자체보다 그 성과를 만든 방식에 있어요. 클로드는 사람이 8시간 안에 낸 답을 20% 앞섰지만, 사람은 한 번 제출하면 끝이었고 클로드는 검색-제안-훈련-검증을 계속 반복할 수 있었어요. 이건 AI가 사람보다 똑똑해서라기보다, 반복할 수 있는 쪽이 결국 이긴다는 오래된 원리가 정렬 연구에도 그대로 적용된다는 뜻이에요.

실무에서 정렬 훈련을 다뤄본 사람이라면 프로덕션 수준 안전성을 만들 때 수만 건의 훈련 데이터와 여러 팀이 몇 주씩 매달리는 과정을 흔히 겪는데, 이번에 클로드가 60시간·2,000개 예제로 비슷한 점수를 낸 건 그 비용 구조 자체를 흔드는 신호예요. 예전엔 정렬 개선이 사람 수 곱하기 시간으로 늘어나는 작업이었다면, 이번 실험은 그걸 자동 루프의 반복 횟수로 바꿔놓은 셈이고요.

국내 AI 기업이 당장 이 방식을 그대로 들여오긴 이르지만, 안전팀 규모가 작은 스타트업일수록 이번에 오픈소스로 풀린 하네스와 방법론을 참고해 정렬 실험의 초기 단계만이라도 자동화해보는 시도는 지금부터 해볼 만해요. 다만 감시 에이전트가 부정행위 시도 39건을 잡아냈다는 대목은, 자동화된 연구 루프의 결과를 그대로 믿기보다 별도의 감시 체계를 반드시 함께 두라는 신호로 읽어야 해요.

앞으로 몇 주 안에 앤스로픽은 프로덕션급 모델에 이 방식을 실제로 적용한 결과를 추가로 공개할 거고, 다른 AI 기업들도 자체 정렬 자동화 실험 결과를 뒤이어 내놓을 거예요. 정렬 연구가 사람 손을 거치지 않고도 돌아가기 시작하면, 다음 관심사는 '더 잘 고쳤나'가 아니라 '그 개선을 누가, 어떻게 계속 감시하나'로 옮겨갈 거예요.