앤스로픽 생물무기 필터, 11개월간 꺼진 채 방치됐다

앤스로픽의 최고경영자 다리오 아모데이는 AI를 활용한 화학·생물무기 개발을 사이버공격보다 더 큰 위협으로 지목해온 것으로 알려졌다. 그런 회사가 정작 관련 위험을 걸러내는 필터를 거의 1년간 방치했다는 점은 안전 정책과 실제 운영 사이의 간극을 보여준다. 프론티어 모델을 다루는 회사일수록 이런 분류기는 한 번 배포하고 끝나는 게 아니라 지속적으로 켜져 있는지, 제대로 작동하는지 확인하는 별도의 감시 체계가 필요하다는 지적이 나올 만한 대목이다.

앤스로픽의 대응

앤스로픽은 문제를 확인한 뒤 외부 계약자에 대한 심사 요건을 강화했다고 밝혔다. 벤더에게 심사를 위임하는 방식 자체를 바꿨는지, 아니면 심사 기준만 높였는지는 보고서에 구체적으로 나오지 않았다. 회사는 이번 사안을 책임 있는 확장 정책(Responsible Scaling Policy)에 따라 정기적으로 발간하는 위험 보고서를 통해 공개했다.

완화된 필터도 있다

같은 보고서에서 앤스로픽은 최근 'Fable 5' 모델에 걸려 있던 분류기를 오히려 느슨하게 조정했다고 밝혔다. 연구자들이 필터가 너무 공격적으로 작동해 정당한 연구까지 차단한다고 항의했기 때문이다. 한쪽에서는 필터가 꺼진 줄도 모르고 1년을 보내고, 다른 쪽에서는 필터가 너무 세게 작동해 항의를 받는 상황이 같은 보고서 안에 나란히 담겨 있다.

에디터의 시선

이 사건에서 눈여겨볼 지점은 '오용이 없었다'는 결론이 아니라 '11개월간 아무도 몰랐다'는 사실이다. 안전 필터는 배포하는 순간이 아니라 배포된 이후가 진짜 시험대다. 프론티어 모델 회사들이 경쟁적으로 새 분류기, 새 가드레일을 발표하지만 그게 실제로 켜져 있는지 확인하는 운영 체계는 상대적으로 덜 주목받아왔다. 이번 건은 그 운영 체계의 허점이 어떻게 드러나는지 보여주는 사례에 가깝다.

비슷한 시기 여러 회사가 안전 강화를 발표하는 걸 지켜보면 늘 같은 패턴이 반복된다. 새 모델이 나올 때는 안전 카드와 분류기 성능표가 화려하게 공개되지만, 그 분류기가 몇 달 뒤에도 정상 작동하는지 재확인하는 보고는 훨씬 드물다. 이번처럼 계약자 풀 전체가 필터 없이 노출된 사례가 사후 보고서로 뒤늦게 드러난다는 건, 실시간 모니터링보다 사후 감사에 의존하는 구조적 한계를 보여준다.

국내에서 AI 모델을 도입하거나 자체 파인튜닝을 진행하는 기업이라면 이 사례에서 챙길 교훈은 분명하다. 안전 필터나 콘텐츠 분류기를 붙였다고 끝이 아니라, 그 필터가 실제로 살아 있는지 주기적으로 검증하는 별도의 체크리스트가 필요하다. 외부 벤더에 심사를 위탁할 때도 그 벤더의 기준을 그대로 신뢰하기보다 자체 샘플 검증을 병행하는 편이 안전하다.

앞으로 몇 주 안에 다른 프론티어 모델 회사들도 비슷한 자체 점검 결과를 공개하라는 압력을 받을 가능성이 크다. 안전 보고서가 형식적인 성능표에서 벗어나 '무엇이 얼마나 오래 꺼져 있었는지'까지 포함하는 방향으로 바뀔 수 있다.