스킬이밸류에이터

SkillEvaluator는 AI 에이전트에게 특정 능력 설명서를 달아주기 전과 후, 실력이 얼마나 달라지는지 재보는 도구다. 비유하자면 같은 학생에게 참고서를 쥐여주기 전과 후의 시험 점수를 비교하는 실험과 같다. 학생도 같고 시험 문제도 같은데, 참고서 유무만 바꿔서 점수 차이를 확인하는 식이다.

이 도구는 격리된 실험실 같은 공간 안에서 같은 과제를 두 번 풀게 한다. 한 번은 참고서를 쥐여준 채로, 한 번은 쥐여주지 않은 채로. 정답을 맞혔는지, 원하는 목표를 실제로 달성했는지, 헛수고 없이 도달했는지를 각각 점수로 매기고 그 차이를 참고서의 기여도로 본다.

엔비디아는 자사가 인증한 300여개 능력 설명서를 이 방식으로 검증했고, 측정 과정 자체를 오픈소스로 공개했다. 덕분에 누구나 자신이 만든 능력 설명서를 세상에 내놓기 전에 같은 잣대로 미리 점검해볼 수 있다.

기사에서는 "엔비디아는 이 측정 과정을 통째로 SkillEvaluator라는 오픈소스 도구로 공개했다"는 문장으로 등장한다. 오해하기 쉬운 점: SkillEvaluator는 스킬 그 자체가 아니라 스킬의 효과를 측정하는 채점 장비다. 스킬을 만드는 도구가 아니라, 이미 만든 스킬이 실제로 도움이 되는지 확인하는 평가 도구에 가깝다.

1. 평가해보고 싶은 스킬(능력 설명서) 폴더를 준비한다.
2. 터미널에 skillevaluator create-eval-dataset ./my-skill --full 명령을 입력해 평가용 데이터셋을 만든다. --full 옵션을 붙이면 명시적인 사례뿐 아니라 암묵적·맥락적·부정 사례까지 폭넓게 포함된다.
3. 만들어진 데이터셋으로 스킬을 설치한 상태와 설치하지 않은 상태를 각각 돌려, 정답률과 목표 달성률, 효율성 점수가 얼마나 벌어지는지 비교해본다.