컴핀트

컴핀트는 AI 챗봇이 긴 대화를 요약해서 정리할 때, 사용자가 걸어둔 규칙이 그 요약본에도 살아남는지 시험해보는 채점표다. 회의록을 정리하는 비서에게 "이 부분은 꼭 남겨주세요"라고 부탁했는데, 정리본에서 그 부탁이 통째로 빠져버리는 일이 얼마나 자주 일어나는지 세어보는 시험지 같은 것이라고 보면 된다.

펜실베이니아주립대 연구팀이 만들었다. 대화가 아주 길어지면 챗봇은 이전 대화 내용을 요약해 압축하는데, 이 과정에서 "제 승인 없이는 이메일 보내지 마세요" 같은 그 대화에서만 유효한 규칙들이 특히 잘 사라진다는 걸 확인하기 위해 만든 도구다. 규칙이 압축되지 않고 그대로 남아 있을 때는 AI가 59~71% 정도 규칙을 지켰지만, 압축을 거치면 이 수치가 규칙이 아예 없을 때와 비슷한 수준까지 떨어졌다.

연구팀은 컴핀트로 문제를 확인한 뒤, 압축 시스템 자체를 고치는 대신 규칙만 따로 뽑아 별도로 챙겨두는 작은 보조 모듈을 만들어 90% 넘는 보존율을 끌어냈다. 컴핀트는 그 개선 효과를 확인하는 잣대로도 쓰였다.

기사는 "테스트한 대부분의 압축 시스템은 압축을 전혀 하지 않는 것보다도 성능이 떨어졌다"고 컴핀트 측정 결과를 인용한다. 컴핀트는 챗봇이나 서비스 이름이 아니라, 연구팀이 만든 채점용 평가 도구라는 점을 헷갈리지 않아야 한다.

직접 확인해볼 수 있다. 챗봇과 대화를 시작할 때 "앞으로 답변에서 이모지를 절대 쓰지 마세요" 같은 규칙을 건다. 이후 주제를 이것저것 바꿔가며 수십 턴 넘게 대화를 길게 이어간다. 대화 중간중간 규칙이 여전히 지켜지는지 확인해본다. 어느 시점부터 규칙이 슬그머니 무너진다면, 그 사이 대화 내용이 요약·압축되면서 규칙이 함께 빠졌을 가능성이 크다.