AI가 긴 대화 압축할 때 사용자 규칙 83% 사라진다

연구팀은 이 손실 중에서도 가장 취약한 항목을 '세션 제약(session constraints)'으로 규정했다. "변경 전에는 저에게 확인하세요", "답변에 제 이름을 쓰지 마세요" 같은, 그 대화가 끝날 때까지만 유효한 규칙이다. 작업 자체의 목표나 다음 단계가 아니라서 압축 시스템이 우선적으로 지키는 '작업 연속성'의 대상에서 빠지기 쉽다. 연구팀은 이런 규칙이 압축 후 정확히 이런 식으로 무시된다고 지적했다.

얼마나 심각한가 — COMPINT 측정

연구팀은 이 손실을 정량화하기 위해 COMPINT라는 평가 도구를 만들었다. 비압축 상태에서 사용자 규칙이 그대로 남아 있을 때 AI 에이전트의 규칙 준수율은 59~71% 수준이었다. 압축을 거치면 이 수치가 급격히 떨어져, 규칙이 아예 없을 때와 비슷한 수준까지 내려가는 경우가 많았다. 테스트한 대부분의 압축 시스템은 압축을 전혀 하지 않는 것보다도 성능이 떨어졌고, GPT-5.4-mini만 일부 상황에서 압축 없는 기준선을 웃돌았다.

압축 프롬프트를 사용자 규칙 보존에 특화되게 다듬어도 한계가 있었다. 연구팀이 별도로 설계한 보존 특화 프롬프트조차 보존율이 40%를 넘지 못했다.

해법 — 규칙만 따로 뽑아내는 소형 모듈

연구팀이 제시한 대안은 압축 시스템 자체를 손보는 게 아니라, 그 옆에서 별도로 동작하는 작은 모듈을 두는 방식이다. 이 모듈은 알리바바가 훈련한 큐원(Qwen) 계열의 컴팩트 모델 Qwen3.5-9B를 기반으로 만들어졌다. 사용자의 모든 입력을 읽어 세션 제약을 찾아내고 별도 목록으로 모아둔 뒤, 나중에 대화가 요약될 때 이 목록을 요약본에 덧붙이는 구조다.

이 추출 모듈은 테스트한 세 가지 시나리오 모두에서 90% 넘는 보존율을 기록했다. 에이전트 궤적 시나리오에서 95.6%, 장기 연구 작업에서 95.1%, 다중 턴 채팅에서 90.3%였다. 압축 시스템 자체를 바꾸거나 추가 훈련을 할 필요가 없다는 점이 특징이다.

시나리오	추출 모듈 적용 후 보존율
에이전트 궤적	95.6%
장기 연구 작업	95.1%
다중 턴 채팅	90.3%

에디터의 시선

이 연구가 흥미로운 이유는 문제 자체가 아니라 문제가 숨어 있는 방식에 있다. 사용자는 자신이 건 규칙이 지켜지고 있다고 믿지만, 대화가 길어지는 순간 그 믿음은 근거를 잃는다. 더 나쁜 건 이게 눈에 보이지 않는다는 점이다. AI는 여전히 유창하게 답하고, 작업은 계속 진행되고, 사용자는 압축이 일어났는지조차 모른다. 그러다 어느 순간 승인 없이 이메일이 나가거나, 하지 말라던 정보가 노출된다.

에이전트형 AI를 실무에 붙여 본 경험에서 보면 이 패턴은 낯설지 않다. 초반 몇 턴에서 세운 규칙일수록, 대화가 길어질수록 지켜지지 않을 확률이 높아진다는 걸 체감하게 된다. 예전에는 이걸 모델의 '기억력' 문제로만 여겼는데, 이번 연구는 그게 압축 알고리즘의 설계 문제라는 걸 구체적으로 보여준다. 작업 연속성만 우선시하도록 만들어진 압축 시스템이 사용자의 부수 조건을 구조적으로 배제한다는 것이다.

실무에서 챗봇이나 에이전트를 오래 켜두고 쓰는 조직이라면, 지금 당장 할 수 있는 건 세션 규칙을 대화 초반이 아니라 반복적으로 재확인하는 습관을 붙이는 것이다. 시스템 프롬프트에 영구적으로 박아둘 수 있는 규칙과, 대화 중간에 한 번 던지고 잊히는 규칙을 구분해서 관리해야 한다. 특히 승인·보안 관련 지시는 세션에만 의존하지 말고 시스템 수준 정책으로 옮기는 게 안전하다.

앞으로 몇 달 안에 이런 보존 모듈이 주요 AI 플랫폼의 압축 기능에 기본 탑재될 가능성이 높다. 컨텍스트 압축이 이미 업계 표준이 된 지금, 그 부작용을 고치는 애드온이 표준 사양으로 편입되는 건 시간 문제로 보인다.