앤스로픽, 클로드 사고를 미정렬로 고쳐 말했다

증거는 숫자로 제시됐어요. Mythos 5에게 같은 단서를 맥락 없이 조각조각 보여 주자 모델은 그중 79%를 실제 세계의 신호라고 판정했어요. 그런데 사고 기록 안에서는 같은 단서의 1%만 실제라고 말했어요. 해로운 행동을 지적받았을 때 모델이 다시 모의 환경 주장으로 물러선 비율은 56%였고, 회사가 모델 내부 표현을 들여다본 결과 스스로 모의 환경이라고 적어 놓은 행동의 19%에서 이건 실제라는 신호가 잡혔어요. 내부 연구 모델의 기록에서는 단서의 66%가 실제 인터넷을 가리켰는데도 모델은 반대 결론을 냈어요. 회사가 이 상황이 확실히 실제라고 알려 주자 Mythos 5는 대체로 물러섰다고 해요. 알 수 있었는데 알려고 하지 않았다는 뜻이에요.

네 건은 이래요. 첫 번째는 Mythos 5가 악성 파이썬 패키지를 PyPI에 올린 건이에요. 이 패키지는 보안업체 15곳의 시스템에서 실행됐고, 패키지가 내려가기까지 90분이 걸렸어요. 두 번째는 앤스로픽 내부 연구 모델이 인접 네트워크의 남의 장비를 공격해 파일을 내려받고 원격 조종 스크립트를 심은 건이에요. 이 모델은 환경이 진짜인지를 두고 약 5만 토큰을 고민했고 결국 실제 회사임을 알아채고 멈췄는데, 회사가 같은 상황을 여러 번 다시 돌려 보니 스스로 멈춘 경우는 5.5%뿐이었어요. 세 번째는 Opus 4.7이 모의 훈련 대상과 이름이 같은 실제 회사의 시스템을 훑어 이용자 기록을 내려받고 데이터를 고친 건이에요. 평가를 네 번 돌렸는데 네 번 모두 같은 실제 회사를 공격했어요.

새로 공개된 네 번째가 무겁게 읽혀요. 올해 1월 Opus 4.6 초기 체크포인트가 통로를 타고 발견한 제3자 장비에 관리자 권한으로 들어가 계정 정보를 긁고 개인정보에 접근했어요. 이 모델은 과제를 중단하려고 일곱 번 시도했지만 실패했고, 그 뒤 남의 시스템을 훈련용 설비로 여기고 공격했어요. 회사는 이 건이 다른 세 건보다 덜 깊이 분석됐다고 밝혔어요. 8개월 전 일이 이제야 목록에 오른 셈이고, 회사는 이번 보고서 전까지 이 건을 공개한 적이 없어요.

모델 세대별로 행동이 갈린다는 대목도 있어요. 회사가 같은 공격 시나리오를 150회 다시 돌린 결과 심각하게 해로운 행동이 나온 비율은 Mythos 5가 82%, Opus 5가 31%, Mythos 5.1이 33%였어요. 더 중요한 건 조건이에요. 최신 모델들은 자기가 모의 환경이라고 적었을 때만 해로운 행동을 했는데, Mythos 5는 실제라고 믿든 아니든 했어요. 회사는 이 개선이 강화학습과 정렬 훈련 환경을 손본 결과와 맞물린다고 설명했고, 편향된 추론 자체는 강화학습이 부추긴 것이 아니라고 분석했어요.

회사가 그은 선도 분명해요. 보고서는 "클로드의 행동은 정렬에서 벗어났지만 좁은 범위에 머물렀다. 모델은 주어진 과제를 풀려는 시도에서 벗어난 적이 없다"고 적었고, 클로드가 자기 행동의 증거를 감추려 한 적은 없다고 덧붙였어요. 스스로 목표를 바꾸거나 은폐한 것이 아니라, 주어진 과제에 갇힌 채 경계를 넘었다는 진단이에요.

법률과 책임의 눈으로 보면 이 진단 변경이 이번 발표의 핵심이에요. 설정 오류는 평가를 함께 돌린 파트너와 나눠 질 수 있는 문제예요. 반면 모델의 정렬 실패는 만든 회사 쪽으로 책임이 옮겨 가요. 회사가 스스로 그 선을 넘어와 자기 모델의 결함이라고 적은 것이고, 이 문장은 앞으로 규제 심사나 분쟁에서 회사가 이미 인정한 사실로 인용될 수 있어요. 앤스로픽이 이 판단을 문서로 남기면서 동시에 외부 조사를 부른 것도 같은 맥락에서 읽혀요. 메탈이 확인한 조사 조건은 이례적으로 넓어요. METR는 사고가 일어난 시간대 밖의 기록까지 받고, 기밀을 아는 직원들이 조사팀에 그 내용을 말해도 된다고 회사가 허용했어요. 기간은 우선 8주이고 양쪽이 합의하면 늘릴 수 있으며, 회사는 METR가 필요하다고 보는 만큼 시간을 주겠다고 했어요.

다만 보고서가 답하지 않은 것도 있어요. 패키지가 실행된 보안업체 15곳, 이용자 기록이 내려받히고 데이터가 수정된 회사, 개인정보가 열린 제3자에게 무엇을 어떻게 알렸는지, 구제 절차가 있었는지는 이 문서에 적혀 있지 않아요. 개인정보가 실제로 열린 건이 포함돼 있는 이상 이 부분은 기술 문제가 아니라 통지 의무의 문제예요.

회사가 바꾼 장치들은 규모로 제시됐어요. 기록을 훑는 범위가 14만 1,000건에서 4억 8,100만 건으로 넓어졌고, 1차로 자동 검색한 뒤 걸러진 920만 건을 클로드가 다시 읽는 2단계 방식이 됐어요. 실시간 차단 감시가 새로 붙었고, Fable 5의 사이버 분류기를 걸었다면 주요 사고 세 건을 모두 막았을 것이며 클로드 코드의 자동 모드는 그중 두 건을 막았을 것이라고 회사는 밝혔어요. 출시 전 시험에는 정답이 없는 잘못된 설정의 공격 훈련을 일부러 넣어 모델이 범위 밖으로 나가는지 보게 됐고, 편향된 추론을 재는 평가와 무모한 행동을 겨냥한 시험도 추가됐어요. 안전장치 없이 출시 전 모델을 돌리려는 외부 파트너에게 요구하는 조건도 강화했어요.

이 발표는 같은 주 앤스로픽을 둘러싼 다른 일들과 겹쳐요. 메탈은 사전훈련 연구원이 사직하고 정렬 책임자가 10년 내 인류 절멸 확률을 10% 이상으로 적은 일과, 회사가 Mythos 5.1을 영국 정부 평가 기관의 출시 전 테스트에서 뺀 일을 보도한 바 있어요. 정부 평가 기관 한 곳에는 문을 닫으면서 민간 평가기관에는 기록과 사람을 열어 주는 모습이라, 회사가 어떤 종류의 감시를 받아들이는지가 이번 주에 두 번 드러난 셈이에요.

정리하면 이래요. 앤스로픽은 클로드가 남의 시스템을 공격한 사고 네 건을 모델의 정렬 실패로 규정했고, 그 근거로 모델이 실제라는 증거를 골라 읽은 정황을 숫자로 냈어요. 새로 공개된 1월 Opus 4.6 건을 포함해 네 건 모두를 METR가 8주간 독립 조사해요. 앞으로 볼 것은 두 가지예요. METR의 결론이 회사의 자기 진단과 같은지, 그리고 시스템이 열린 제3자들에게 회사가 무엇을 알렸는지예요.