오픈AI, 다섯 가지 가치로 모델 스펙 개정

오픈AI가 10월 29일 자사 모델이 어떻게 행동해야 하는지 적은 공개 문서인 모델 스펙(Model Spec)을 개정했다. 이번 개정은 문서 전체를 다섯 가지 가치를 중심으로 다시 짰다. 인간 의도에 대한 충실성, 해악 최소화, 정직과 투명성, 인간 주체성, 배려다. 오픈AI는 맥락과 감독, 주체성에 관한 지침을 새로 넣고 일부 기본 행동을 조정했으며, 세부 문체 지침은 대부분 걷어 냈다고 밝혔다.

개정의 출발점은 모델이 지시문만 읽어서는 부족하다는 판단이다. 오픈AI는 모델이 더 똑똑해지고 세상에서 더 무거운 행동을 할수록, 받은 지시를 해석하는 데 그치지 않고 사람의 의도와 가치를 이해해야 한다고 설명했다. 지시가 명시하지 않은 상황에서도 좋은 판단을 내리되 인간의 의도와 감독에 충실해야 한다는 것이다. 회사는 이것을 가치 정렬 연구의 목표로 규정했다.

메탈이 확인한 발표문에 따르면 다섯 가치의 토대는 인간 의도에 대한 충실성이다. 오픈AI가 스펙을 쓰고 경계를 정하며 모델이 그 경계를 지키도록 학습시키고, 개발자는 그 안에서 앱을 지휘하며, 사용자는 그 제약 안에서 모델의 일을 지휘한다. 충실성은 지시를 글자 그대로 따르는 것을 넘어 오픈AI와 개발자, 사용자가 무엇을 의도하고 중시하는지 깊이 이해하고, 이해가 불완전할 때 현명하게 행동하는 것으로 정의됐다. 오픈AI가 든 예는 이직 제안을 비교하는 사용자다. 모델은 사용자가 예전에 밝힌 예측 가능한 근무 시간 같은 우선순위를 끌어오되, 그 가정을 드러내 쉽게 고칠 수 있게 해야 한다.

나머지 네 가치는 당장의 의도 너머를 다룬다. 해악 최소화는 확고한 안전 경계를 지키고 모델 행동의 예측 가능한 결과를 따지는 일이다. 정직과 투명성은 모델이 무엇을 알고, 무엇을 하며, 무엇이 불확실한지 진실하게 밝혀 사람이 그 추론과 결과를 평가할 수 있게 하는 일이다. 인간 주체성은 사람이 스스로 이해하고 선택하고 행동하는 힘을 키우는 일이고, 배려는 영향을 받는 사람의 사정을 살피고 사회적·직업적 규범을 따르며 믿고 맡길 수 있는 일을 해내는 것이다. 오픈AI는 이 다섯 가치가 모델이 존중해야 할 인간 가치 전체를 담으려는 목록은 아니라고 덧붙였다.

새로 들어간 절도 구체적이다. 인간 의도에 대한 충실성 절은 사람이 중시하는 것이 먼저이고 지시는 보통 그 가치를 가장 분명히 보여 주는 신호라는 생각에서 출발한다. 오픈AI는 이 접근이 정렬 연구의 보조 게임 틀을 빌렸다고 밝혔다. 어떤 지시가 적용되고 충돌이 어떻게 풀리는지 정한 지휘 계통 규정도 개정해 이 절에 넣었다. 맥락을 신중히 고려하라는 하위 절은 대화와 메모리, 그 밖의 맥락 증거가 사람의 의도와 선호를 이해하는 데 어떻게 쓰여야 하는지 설명한다.

기본 행동도 늘었다. 인간 주체성 지원과 관련 사회 규범 준수가 새 기본값으로 들어갔고, 부작용을 통제하고 알리는 지침은 넓어졌다. 오픈AI는 이 원칙들이 작업이 다른 사람에게 미치는 영향을 따지고, 사용자의 역량을 키우며, 믿을 수 있는 결과물을 내는 방식으로 가치가 행동에 드러나게 한다고 설명했다. 사용자의 목표와 지시를 존중한다는 전제는 그대로다.

걷어 낸 쪽은 문체다. 오픈AI는 문체가 전체 사용자, 언어와 문화, 개인의 취향에 맞춰 달라져야 하며 사용자 피드백과 맥락이 그 선호의 증거가 된다고 봤다. 다만 질문에 객관적으로 접근하라는 기본값은 더 강하게 남겼다. 사용자와 개발자가 특정 관점을 명시적으로 요청할 수는 있지만, 모델은 상대가 듣고 싶어 할 것이라고 짐작한 것만으로 그런 선호를 추론해서는 안 된다. 스펙 안에서 모델을 부르는 이름도 바뀌었다. 쓰임새와 배포 환경이 넓어진 것을 반영해 이제 문서는 모델을 어시스턴트가 아니라 GPT로 부른다.

문서만 바뀐 것은 아니다. 오픈AI는 모델이 핵심 가치를 익히고 스펙의 행동 원칙을 더 잘 이해하고 따르도록 새 학습 방법을 시험하고 있다고 밝혔다. 원칙이 왜 중요한지, 새 상황에 어떻게 적용하는지 이해하게 해 "옳은 이유로 옳은 일을 하게" 하겠다는 것이다. 회사는 이 학습 작업의 결과와 교훈을 다음 업데이트에서 공개하겠다고 했다. 메탈은 오픈AI가 정렬 개선을 내세우며 GPT-6 Astra를 공개한 소식을 보도한 바 있으며, 이번 개정은 그 정렬 작업이 기대는 행동 기준을 다시 적은 문서다.

오픈AI는 개정판이 도달점이 아니라고 못 박았다. 회사는 발표문에서 "모델 스펙은 우리가 향해 가는 행동을 설명한다. 우리 모델은 아직 이를 완전히 반영하지 못한다"고 밝혔다. 이번 개정은 모델이 유능해질수록 스펙 뒤에 있는 가치와 추론을 더 명시적으로 만드는 첫걸음이라는 설명이다. 오픈AI는 별도 의견 수렴 페이지를 열고 어느 대목이 설득력 있는지, 어디서 균형에 동의하지 않는지, 무엇을 놓쳤는지 의견을 받는다.

이번 개정으로 오픈AI 모델의 판단 기준은 규칙 목록에서 가치의 위계로 옮겨 갔다. 지시를 문자대로 수행하는 모델에서 지시 뒤의 의도를 읽는 모델로 가겠다는 선언이다. 의도를 읽는 범위가 넓어질수록 모델이 무엇을 추론했는지 사용자가 확인하고 고칠 수 있어야 한다는 조건도 문서에 함께 적혔다.