오픈AI, 파국적 위험 전담팀 해체하고 업무 흩어 배치

위험 전담팀이 사라졌다

오픈AI가 지난 7월 말 자사 모델의 위험 수준을 전담으로 점검하던 'Preparedness' 팀을 없앴다. 파이낸셜타임스가 내부 소식통을 인용해 보도한 내용을 The Decoder가 전했다. 이 팀은 자사가 만든 모델이 심각하거나 파국적인 결과를 낳을 수 있는지를 평가하는 조직이었고, 그중에서도 생물학·사이버 위험 관련 업무는 팀 해체 후 기존 부서들로 나뉘어 넘어갔다.

팀을 이끌던 딜런 스칸디나로는 이제 '재귀적 자기개선' — 스스로를 최적화하고 다른 모델을 훈련시킬 수 있는 AI 시스템 — 이 만들어낼 위험에 집중하는 쪽으로 자리를 옮겼다. 공동창업자 그렉 브록먼은 안전 관련 작업을 모델 개발 과정 자체에 더 촘촘히 엮어 넣었다고 밝혔다. 다만 이 발언이 전담 조직의 해체를 대체할 만큼 충분한지에 대해서는 회사 내부에서도 의견이 갈리는 것으로 알려졌다.

잇따른 안전 인력 이탈

이번 개편 전후로 안전 관련 인력의 퇴사도 이어졌다. 최고윤리책임자 클로이 바칼라르와 조슈아 아치암을 포함해 여러 안전 담당 직원이 최근 회사를 떠났다. 파이낸셜타임스에 따르면 내부에서는 오픈AI가 안전 문제에 충분히 대응하고 있는지에 대한 불안감이 커지고 있다. 한 소식통은 회사 안에 "책임감과 두려움이 부글부글 끓어오르는 느낌"이 있다고 전했다.

직원들의 우려는 사적인 대화에 머물지 않고 공개적으로도 터져 나왔다. 특히 허깅페이스와 관련된 자율 해킹 사건 이후 이런 목소리가 두드러졌는데, 한 직원은 회사가 이 사건을 "경고 사격"으로 받아들이길 바란다고 말한 것으로 전해졌다. 파국적 위험을 감시하던 전담 조직이 사라진 시점에 이런 사건이 겹치면서, 내부 반응이 더 예민해진 것으로 보인다.

안전과 속도 사이, 오픈AI의 최근 행보

오픈AI는 최근 사이버보안 분야에서도 별도의 움직임을 보였다. 지난 8월 10일에는 사이버보안 이니셔티브 Daybreak를 확대하며 보안 작업 전용 모델 GPT-5.6-Cyber를 도입했고, 이 모델로 크롬 V8 엔진 등 널리 쓰이는 오픈소스 소프트웨어에서 기존에 알려지지 않은 취약점을 찾아냈다고 밝힌 바 있다. 방어 목적의 보안 역량을 모델 자체에 심는 방향으로는 투자를 이어가면서, 동시에 위험을 종합적으로 감시하던 전담 조직은 해체한 셈이어서 두 행보가 다소 엇갈려 보인다.

이런 긴장은 오픈AI만의 고민이 아니다. 라스베이거스 Ai4 콘퍼런스에서도 제프리 힌턴, 페이페이 리, 앤드루 응 세 사람이 AI 개방성과 위험 관리를 두고 부딪힌 바 있다. 힌턴은 오픈웨이트 모델을 저비용으로 재학습시켜 악용할 위험을 재차 지적했고, 앤드루 응은 소수 기업이 게이트키퍼가 되는 상황을 경계했다. 안전을 전담 조직이 감시할지, 개발 과정 자체에 녹여 넣을지, 아니면 공개와 검증에 맡길지를 두고 업계 전체가 아직 답을 정하지 못한 상태다.

에디터의 시선

전담 조직을 없애고 그 업무를 기존 팀에 나눠주는 방식은 언뜻 효율화처럼 들리지만, 위험 평가에서는 다른 의미를 가진다. 어느 한 팀이 전체 그림을 보며 "이 모델이 통째로 위험한가"를 판단하는 것과, 여러 팀이 각자 맡은 조각만 보는 것은 완전히 다른 일이다. 생물 위험은 A팀, 사이버 위험은 B팀이 나눠 맡으면 각 조각은 안전해 보여도 합쳐졌을 때 생기는 위험은 아무도 책임지지 않을 수 있다. 오픈AI가 GPT-5.6-Cyber처럼 공격·방어 양쪽에 쓸 수 있는 모델을 늘리는 시점에, 종합 감시 기능을 축소한 결정은 그래서 눈에 띈다.

이런 조직 개편을 이전에도 여러 회사에서 봐 왔다. 안전팀이 별도로 있을 때는 제품 출시가 늦어진다는 불만이 항상 따라붙었고, 그 불만이 쌓이면 결국 안전팀은 '개발 과정에 통합'된다는 명분으로 흡수됐다. 문제는 통합 이후에는 안전을 누가 최종적으로 막을 권한을 갖는지가 흐려진다는 점이다. 개발자 본인이 자기 모델의 위험을 평가하게 되면, 출시 압박 앞에서 판단이 느슨해지기 쉽다는 건 이 업계에서 반복돼 온 패턴이다.

국내에서 오픈AI API나 GPT 계열 모델을 업무에 쓰는 기업이라면 이번 소식을 위협보다는 신호로 읽어야 한다. 모델 제공사의 내부 안전 감시 체계가 바뀌었다는 것은, 기업 쪽에서 자체적으로 출력 검증·권한 제한 같은 안전장치를 한 겹 더 얹어야 할 이유가 커졌다는 뜻이다. 특히 에이전트가 시스템에 직접 접근하는 구조를 도입한 팀이라면, 모델 제공사의 위험 평가에만 기대지 말고 사내 검증 절차를 별도로 갖추는 편이 안전하다.

앞으로 몇 주 안에는 오픈AI가 이번 결정에 대한 추가 해명을 내놓거나, 반대로 유사한 이탈 소식이 더 이어질 가능성이 높다. 안전 조직 축소와 보안 특화 모델 출시가 같은 회사에서 동시에 벌어지는 이 어긋남은, 경쟁사들이 안전 체계를 어떻게 설계할지 다시 점검하게 만드는 계기가 될 것이다.