앤스로픽, 액센추어와 임베디드 평가 제휴

권한이 지금의 외부 평가자와 다른 지점이 핵심이에요. 발표문은 임베디드 평가자가 AI 회사 안에서 직원에 준하는 접근 권한으로 일한다고 적었어요. 그 권한으로 훈련 중인 모델이 형태를 잡아 가는 과정을 지켜보고, 모델을 어떻게 만들고 배포할지 정하는 결정을 따라가고, 직원과 직접 이야기할 수 있어요. 회사가 어떻게 굴러가는지 평가하고 안전 약속을 지키는지 검증하며 사각지대를 짚는 자리이고, 사고를 신고하고 대중에게 이익과 위험을 더 정확히 전하는 일도 여기에 들어가요.

책임의 소재는 그대로 둔다고 못 박았어요. 앤스로픽은 "독립적인 임베디드 평가자가 우리의 책임을 줄여 주지는 않고, 그 책임을 검증 가능하게 만들어요" 라고 적었고 모델의 안전은 여전히 자사 책임이라고 덧붙였어요.

아직 없는 것이 많다는 점도 같은 글에 적혀 있어요. 임베디드 평가자가 어떤 정보에 접근해야 하는지, 알아낸 것을 어떻게 보고해야 하는지에 대한 표준이 아직 없고, 독립 평가에 돈을 대는 방식도 정해진 것이 없어요. 회사는 장기적으로는 공동 기금이나 정부 재원에서 나와야 한다고 보지만 지금은 어느 쪽도 없어서 평가자마다 다른 자금 구조로 일하겠다고 밝혔어요.

그래서 이번 건은 앤스로픽이 액센추어의 비용을 직접 대요. 평가받는 쪽이 평가하는 쪽에 돈을 주는 구조인데, 회사는 이와 별도로 METR 을 비롯한 비영리 평가자들과 각자의 자금으로 임베디드 평가의 일부를 시범 운영하는 방안을 논의하고 있다고 적었어요. 메탈은 앤스로픽이 클로드의 사고 네 건을 미정렬로 고쳐 설명하며 METR 의 독립 검토를 예고했다고 보도한 바 있어요.

메탈이 원문 PDF 를 내려받아 쪽수를 직접 센 19쪽짜리 Advanced AI Framework 에는 이 구조의 위험이 이미 적혀 있어요. 6월에 낸 이 문서는 "자기 평가만으로는 충분하지 않아요" 라고 쓰면서, 회사들이 자기에게 가장 적게 요구하고 가장 후한 평가를 내릴 평가자를 골라 다니는 이른바 평가자 쇼핑의 위험을 따로 항목으로 뒀어요. 문서가 내놓은 처방은 정부 기관이 공개 논증의 엄밀성 같은 기준으로 평가자 등급을 매기고, 특히 위험이 큰 경우에는 높은 등급의 평가자를 무작위로 배정하라는 것이에요.

같은 문서는 평가자가 받아야 할 것도 적어 뒀어요. 규제 시행 6개월 안에 자격 있는 독립 평가자 최소 한 곳과 정기적으로 일하게 하고, 그 평가자에게는 가장 최근 리스크 리포트와 시스템 카드의 비편집본, 가장 강력한 모델에 대한 접근을 주라는 내용이에요. 평가자는 기밀 정보를 복사하거나 보유하거나 공개하지 않을 의무를 지되, 그 밖에는 리스크 리포트나 개발사의 처신에 대한 우려를 포함해 무엇을 공개할지 제한받지 않아야 한다고도 적혀 있어요.

계약의 모양도 그 문서를 따라가요. 이번 제휴는 비독점이고, 앤스로픽은 몇 주 안에 다른 평가자들을 발표하겠다고 적었어요. 액센추어도 다른 AI 개발사와 비슷한 역할로 일하게 돼요. 프런티어 연구소가 여러 기관과 동시에 일하는 것을 회사가 예상한다고 밝힌 대목이에요.

상주 평가가 실제로 무엇을 잡아내는지는 회사가 무엇을 열어 주느냐로 갈려요. 메탈은 앤스로픽이 영국 AISI 의 출시 전 점검 없이 모델 하나를 내보냈다고 보도한 바 있어요. 상주 평가자가 직원 수준의 접근을 갖는다는 이번 약속은 그 판단을 회사 혼자 내리지 않게 만들겠다는 뜻이고, 약속이 지켜지는지는 표준도 재원도 아직 없는 자리에서 확인돼야 해요.