AI 에이전트 '스킬', 지식보다 절차가 성능 갈랐다

AI 에이전트에게 '스킬'을 달아주면 똑똑해진다는 이야기, 한 번쯤 들어보셨을 텐데요. 프린스턴대학교와 UC샌디에이고 등의 연구진이 정확히 왜 그런지, 그리고 어디서 한계에 부딪히는지를 8,135번의 실험으로 파헤쳤어요.

스킬이 뭐길래 실험까지 했을까

스킬은 에이전트에게 특정 작업의 절차를 미리 적어주는 사용법 묶음이에요. 어떤 순서로 움직이고, 뭘 점검하고, 어떤 실수를 피해야 하는지를 담은 압축된 지침서라고 보면 되는데요. 매번 과제를 처음부터 새로 푸는 대신 이렇게 저장해둔 경험을 꺼내 쓰는 방식이에요. 지금까지는 스킬을 단 에이전트가 과제를 더 많이 풀었다는 결과만 있었지, 그 이유가 뭔지는 불분명했어요.

8,135번 돌려보니 나온 숫자

연구팀은 같은 과제를 스킬이 있는 에이전트와 없는 에이전트에게 똑같이 시켜보고 결과를 비교했어요. 이렇게 모은 실행 기록이 8,135건이에요. 이 정도 규모면 우연한 차이를 걸러내고 진짜 원인이 뭔지 가려낼 수 있죠.

정답은 지식이 아니라 절차였다

결과는 예상과 조금 달랐어요. 스킬을 단 에이전트가 더 나은 성과를 낸 경우, 그중 65.7%는 연구진이 '절차적 고정(procedural anchoring)'이라 부르는 요인 덕분이었어요. 어떤 도구를 어떤 순서로 쓰고 중간에 뭘 점검해야 하는지를 스킬이 짚어준 결과라는 뜻이에요. 반면 스킬이 몰랐던 사실이나 정보를 직접 알려줘서 도움이 된 경우는 4.5%에 불과했어요. 작업 환경을 세팅하는 순서를 틀리거나 출력 형식을 잘못 맞추는 실수가, 스킬 하나로 눈에 띄게 줄어드는 셈이에요.

스킬이 만드는 새로운 실수

물론 스킬이 만능은 아니에요. 연구팀이 확인한 사례 중 10%는 에이전트가 원래 쓸 만한 매뉴얼을 상황에 안 맞게 기계적으로 적용해버린 경우였어요. 완전히 다른 해법이 필요한 과제에 엉뚱한 스킬을 끼워 맞추면 당연히 도움이 안 되겠죠. 흥미로운 건 정확히 딱 맞는 스킬이 아니어도 괜찮다는 점이에요. 비슷한 종류의 스킬만 있어도 방향을 잡는 데는 충분한 경우가 많았다고 연구진은 밝혔어요.

스킬이 많아질수록 못 찾는다

두 번째 병목은 애초에 맞는 스킬을 찾는 일 자체였어요. 스킬 보관함이 5개짜리일 때는 실제 검색 정밀도가 29.6%였는데, 100개로 늘어나자 3.3%까지 떨어졌어요. 이름이나 설명이 비슷한 스킬들이 섞이면서 에이전트가 헷갈리기 시작한다는 뜻이에요.

항목	수치	막대
절차적 도움이 성능 차이를 설명하는 비율	65.7%	66
직접 지식 제공이 도움된 비율	4.5%	5
스킬을 기계적으로 잘못 적용한 비율	10%	10
스킬 5개일 때 검색 정밀도	29.6%	30
스킬 100개일 때 검색 정밀도	3.3%	3

연구팀이 내놓은 결론

연구팀은 스킬을 한 번 만들어 쌓아두는 자산이 아니라 만들고·찾고·적용하는 생애주기로 다뤄야 한다고 짚었어요. 더 나은 자기학습 에이전트는 경험을 더 많이 저장하는 데서 나오는 게 아니라, 그 경험을 더 정확하게 만들고 꺼내 쓰는 방식에서 나온다는 거예요.

에디터의 시선

이 연구는 요즘 업계가 스킬·플레이북·컨텍스트 파일을 무한정 쌓아 올리던 흐름에 제동을 거는 결과예요. 앤스로픽이 제안한 Agent Skills 포맷이 AWS Bedrock 같은 서비스까지 확산되면서 최근 코딩 에이전트 생태계는 스킬을 얼마나 많이 확보하느냐를 경쟁력으로 여겨왔는데, 이번 연구는 양보다 검색 구조가 성패를 가른다는 걸 숫자로 보여줬어요.

실제로 초기 단계에서 스킬 몇 개만 얹었을 때는 체감 효과가 뚜렷한데, 스킬 라이브러리를 수십 개로 불려놓고 나면 오히려 엉뚱한 문서를 물어오는 경우가 늘어나는 경험을 겪은 팀이 많을 거예요. 이번 논문은 그 답답함이 착각이 아니라 실제로 검증된 현상이라는 걸 보여준 셈이죠.

국내 팀이 사내 스킬 라이브러리를 구축한다면, 스킬 개수를 늘리는 것보다 검색·분류 체계에 먼저 투자하는 게 맞아요. 스킬 이름과 설명을 명확히 구분하고, 비슷한 용도의 스킬은 통합하거나 태그로 묶어 검색 정밀도를 관리하는 작업이 스킬 수를 늘리는 것보다 우선순위가 높아요. 5개에서 100개로 늘리며 정밀도가 9분의 1 수준으로 떨어진 수치를 기준선으로 삼을 만해요.

앞으로 몇 주 안에 스킬 검색 방식을 개선한 후속 연구나 도구가 나올 가능성이 높아요. 이번 논문이 짚은 생애주기 관리 개념을 반영해, 비슷한 스킬을 자동으로 정리·병합해주는 기능이 에이전트 플랫폼에 붙을 거예요.