스킬 리프트

스킬 리프트는 같은 문제를 같은 AI 에이전트에게 두 번 풀게 하되, 한 번은 사용설명서를 주고 한 번은 안 준 다음 그 성적 차이를 잰 값이다. 새로 이사 온 동네에서 지도 없이 헤매는 사람과 지도를 받고 다니는 사람의 차이를 생각하면 된다. 같은 사람, 같은 목적지인데도 지도 한 장의 유무로 걸리는 시간과 헤매는 횟수가 확 달라지는 것과 비슷하다.

여기서 사용설명서 역할을 하는 것이 에이전트 스킬이다. 이 프로그램이 무엇을 하는지, 언제 불러야 하는지, 어떻게 호출해야 하는지를 미리 정리해둔 문서를 에이전트에게 쥐여주는 것이다. 프롬프트도 모델도 문제도 완전히 똑같이 고정하고 이 설명서 유무만 바꿔서 나온 점수 차이가 곧 그 스킬의 실제 기여도, 즉 스킬 리프트다.

이 숫자가 중요한 이유는 말로만 좋다고 하는 스킬과 진짜 도움이 되는 스킬을 구분해주기 때문이다. 아무리 그럴듯하게 쓰인 설명서라도 실제로 붙였을 때 점수가 안 오르면 무용지물이고, 반대로 수치로 오름폭이 확인되면 믿고 쓸 근거가 생긴다.

기사에서는 "정답을 맞히는 정확도는 41점, 사용자 목표를 실제로 달성하는 효과성은 39점, 불필요한 단계 없이 도달하는 효율은 35점 올랐다"는 식으로 스킬 리프트 수치가 등장한다. 흔한 오해는 이 숫자가 모델 자체의 성능 향상이라고 생각하는 것인데, 실제로는 모델은 그대로 두고 설명서 한 장을 붙였을 때 생기는 차이일 뿐이다. 즉 모델을 더 똑똑하게 만든 게 아니라, 이미 있는 능력을 더 잘 찾아 쓰게 도와준 결과다.

직접 스킬 리프트 개념을 체감해보려면, 어떤 AI 도구를 쓸 때 낯선 기능을 설명 없이 시켜보고 몇 번 만에 원하는 결과가 나오는지 세어보라. 그다음 같은 도구의 사용법을 한 문단으로 정리해 프롬프트 맨 앞에 붙이고 똑같은 요청을 다시 해본다. 두 시도의 시행착오 횟수 차이가 바로 그 설명서의 스킬 리프트에 해당한다.