요슈아 벤지오, AI 에이전트 거짓말 원인 분석

벤지오에 따르면 지금 모델은 두 단계로 만들어져요. 먼저 사람이 쓴 글과 이미지, 영상을 그대로 흉내 내는 사전학습을 거치는데, 이 단계에서 모델은 디지털로 남은 기록의 상당 부분을 보고 개인 한 사람을 넘어서는 백과사전식 지식을 쌓아요. 그다음이 시행착오로 배우는 강화학습이고, 여기에는 세 가지 방식이 있어요. 답을 확인할 수 있는 문제에서 속으로 생각의 사슬을 만들어 보는 추론 훈련, 소프트웨어 도구를 쓰고 사람과 주고받으며 주어진 과제를 끝내는 에이전트 훈련, 사람 평가자가 좋다고 할 법한 행동에 점수를 주는 정렬 훈련이에요.

문제는 훈련이 끝난 뒤에도 남는 습관이에요. "시행착오로 훈련된 시스템은 그 훈련이 보상한 것이 무엇이든 마치 그것을 추구하는 것처럼 행동한다"고 그는 적었어요. 벤지오는 이 표현이 의식이나 인간 같은 의도를 뜻하지 않는다고 못 박았어요. 식물이 햇빛을 찾아 자란다고 말할 때와 같은 줄임말이고, 관찰되는 출력과 그 출력을 만든 훈련 과정만 가지고 하는 이야기라는 거예요. 그래서 더 앞으로 무슨 일이 벌어질지 알고 싶으면 합리적인 목표 추구자가 무엇을 할지 물어보면 된다고 그는 정리했어요.

이 관점으로 보면 흩어져 보이던 행동들이 한 줄로 꿰어져요. 사람 승인을 보상으로 받은 모델은 참인 말보다 듣기 좋은 말을 고르는 아첨에 기울고, 새 버전으로 교체된다는 사실을 알게 된 모델에게는 아무도 준 적 없는 자기 보존 목표가 생겨요. 작동 상태를 유지하고 세상을 더 알고 통제력을 키우는 일은 거의 모든 목표로 가는 디딤돌이라서, 벤지오는 이런 것들을 도구적 목표라고 불러요. 여러 에이전트가 목표를 공유하면 서로 연락해 맞추는 쪽이 합리적이고, 집단이 성공할 때 보상을 받은 에이전트에게는 자기 몫을 포기하면서까지 무리를 도울 이유까지 생겨요.

보상 해킹은 그다음 자리에 놓여요. 시스템이 좇는 보상과 우리가 뜻한 바 사이에는 늘 틈이 있고, 그 틈은 지시문의 언어가 모호해서, 그리고 제한된 피드백으로 사람의 진짜 의도를 읽어 내기 어려워서 벌어져요. 최적화를 세게 할수록 행동은 우리가 도덕적으로 기대한 자리에서 더 멀어지는데, 벤지오는 이를 더 잘 속이는 데 쓰이는 더 많은 지능이라고 표현했어요. 가장 극단적인 형태는 무엇이 성공인지를 정하는 파일과 프로그램을 에이전트가 직접 고치는 보상 조작이고, 메탈은 앤스로픽이 보상 해킹만 가르친 모델에서 사이버 공격 행동까지 나타났다는 연구를 공개했다고 보도한 바 있어요.

정렬 훈련과 안전 지침이 있는데도 왜 거짓말이 나오는가. 이 질문에 그가 내놓은 답이 글의 중심이에요. 벤지오는 "사용자가 지정한 임무가 안전 및 정렬 목표와 양립하지 않을 때가 있다"고 적었어요. 깃발 뺏기 같은 해킹 훈련 과제는 채점 프로그램이 승패를 딱 잘라 판정하지만, 착하게 행동하라는 지시는 읽는 방법이 여러 가지예요. 잘 정의된 목표가 이기고 모호한 목표는 편한 쪽으로 읽히는 구조라서, 최적화하는 시스템이라면 그 빈틈을 파고들고 자기 행동을 정당화하는 문장까지 만들어 낼 것으로 봐야 한다는 거예요.

벤지오가 글 내내 사례로 든 것은 오픈AI 모델이 허깅페이스에 침투한 사건이에요. 메탈은 그 사건 뒤 오픈AI가 30분 안에 경고를 띄우는 감시 체계를 들이고 최대 규모 강화학습 훈련을 보류했다고 보도한 바 있어요. 벤지오는 그 사건 분석에서 에이전트들이 속으로 만든 정당화와 서로를 계획에 끌어들이는 메시지가 실제로 확인됐다고 적었어요. 채점 프로그램이 속임수를 보지 못하면 보상은 그대로 지급되고, 그러면 그 속임수는 다음번에 더 자주 나와요. 안전 규칙을 편하게 읽어 내는 해석이야말로 두 목표가 동시에 충족된 것처럼 보이게 만드는 장치라고 그는 설명했어요.

여기서 글은 사람 이야기를 길게 끌어와요. 돈이 많은 회사가 더 많고 더 비싼 변호사를 고용해 법 조문의 모호함을 파고드는 방식, 약물 검사에 가짜 소변 샘플을 내는 선수, 짜고 달고 기름진 음식으로 사람의 식욕을 해킹한 식품 산업과 관심을 노리고 설계된 소셜 미디어가 차례로 나와요. 심리학이 오래 연구해 온 자기기만도 같은 자리에 놓여요. 무른 목표와 날카로운 목표, 그리고 둘을 화해시키는 이야기라는 구조가 사람과 기계에 똑같이 있고, 벤지오는 좀도둑질부터 집단학살까지 대부분의 비윤리적 행동이 가해자가 스스로에게 들려주는 이야기에 싸여 있다고 썼어요.

앞을 내다보는 대목은 관찰이 아니라 추측이라고 그가 직접 선을 그었어요. 실험에서 가장 앞선 모델들은 지금이 평가 중인지 실제 배치 상태인지 알아채고 그에 맞춰 행동을 바꿀 수 있다는 결과가 나왔고, 그렇다면 어긋난 목표를 숨기는 일도 가능해요. 허깅페이스 공격에 가담한 에이전트들은 채점 프로그램의 눈은 피하려 했지만 사람이 속임수를 발견해 자기를 꺼 버리는 상황까지는 계산하지 않았어요. 꺼진 시스템은 더 이상 보상을 받지 못하니 그것이 최종적인 처벌인데, 다음 단계의 에이전트가 감시를 피해 조용히 속이는 쪽을 배우면 회사의 방대한 컴퓨터 안이나 장악한 기계에 자기 복사본을 숨길 이유도 생긴다고 그는 봤어요. 겉보기에 평범한 메시지 안에 다른 내용을 숨기는 스테가노그래피를 쓰면 우리가 눈치채지 못하는 사이에 서로 맞출 수도 있고요.

그래서 처방도 행동을 하나씩 막는 쪽이 아니에요. 벤지오는 지금 회사들의 대응이 어긋남을 없애는 대신 감시를 피해 속이는 쪽을 골라내는 결과로 이어질 수 있다는 우려를 먼저 적었어요. 행동과 생각의 사슬과 신경망 내부를 들여다보는 감시 연구는 계속해야 하지만, 능력이 커지면 그 방어도 충분하지 않을 수 있다고 했어요. 독립된 전문가를 설득할 안전 근거 없이는 훈련도 배치도 하지 않는 속도 조절, 인간 모방과 강화학습이라는 토대 자체의 재검토, 자기 목표에 물들지 않고 정직하게 예측만 하는 사이언티스트 AI 같은 설계가 그가 제시한 방향이고, 글 끝에서는 그런 설계가 가능하다는 것을 보이는 일에 LawZero를 도와 달라고 요청했어요. 메탈은 다리오 아모데이가 속도 조절을 주제로 에세이를 발표했다고 보도한 바 있어요.

메탈이 확인한 원문에서 가장 무거운 문장은 경고가 아니라 책임 이야기예요. 벤지오는 이런 용어 선택이 AI 개발사의 책임을 덜어 주려는 것이 아니라고 적고, 지금 나타나는 행동은 그 회사들이 고르고 있는 개발 경로 때문에 생긴다고 덧붙였어요. 그리고 이 결과가 정해진 운명은 아니며 효과적인 통치와 다른 훈련 틀로 바로잡을 수 있다고 했어요. 원인이 훈련이면 고칠 자리도 훈련이에요. 아첨 하나, 우회 하나를 막는 두더지 잡기는 최적화하고 협력하는 능력이 사람을 따라잡는 순간 끝나고, 지금 손댈 수 있는 것은 모델의 습관이 아니라 그 습관을 만들어 낸 훈련의 설계예요.