이미지: NVIDIA
요약
- 엔비디아가 오픈소스 도구 SkillEvaluator로 자사 인증 스킬 300여개, 30여개 제품을 대상으로 벤치마크한 결과를 공개했다
- 스킬 미설치 상태 대비 정답률(Correctness) 41점, 목표달성률(Effectiveness) 39점, 효율(Efficiency) 35점이 올랐다
- 평가는 정적 검사·중복성 분석·격리 샌드박스 실행 등 3단계로 이뤄지며, Claude Code·Codex·Cursor 플러그인과 Skills.sh·ClawHub·Hermes Hub로 스킬이 배포된다
- 도구
- NVIDIA SkillEvaluator (오픈소스, GitHub 공개)
- 평가 대상
- NVIDIA 인증 스킬 300개 이상, 30여개 제품
- Correctness 리프트
- 베이스라인 46점 → +41점 상승
- Effectiveness 리프트
- 베이스라인 39점 → +39점 상승
- Efficiency 리프트
- 베이스라인 43점 → +35점 상승
- Security 베이스라인
- 97점(스킬 유무 상관없이 회귀 없음 확인이 목적)
- 실행 프레임워크
- Harbor — 격리 샌드박스에서 반복 평가하는 오픈소스 프레임워크
- 배포 채널
- Claude Code·Codex·Cursor 플러그인, Skills.sh, ClawHub, Hermes Hub
같은 문제, 같은 모델, 다른 건 스킬 유무뿐
엔비디아가 자사 개발자 블로그에 올린 벤치마크 결과에 따르면, 같은 과제를 같은 모델에게 두 번 풀게 하고 유일하게 바꾼 변수는 에이전트에게 '스킬'을 설치했는지 여부였다. 결과는 뚜렷했다. 정답을 맞히는 정확도(Correctness)는 41점, 사용자 목표를 실제로 달성하는 효과성(Effectiveness)은 39점, 불필요한 단계 없이 도달하는 효율(Efficiency)은 35점 올랐다. 300개가 넘는 인증 스킬과 30여개 제품을 대상으로 한 측정치다.
스킬이라는 말이 낯설 수 있다. 엔비디아 인증 스킬은 패키징되고 서명된 능력 기술서로, 에이전트에게 특정 제품이 무엇을 하는지, 언제 호출해야 하는지, 어떻게 불러야 하는지를 알려주는 일종의 사용설명서다. 아무리 좋은 모델이라도 낯선 라이브러리 앞에서는 맞는 도구를 찾느라 단계를 낭비하거나 토큰을 태우기 쉬운데, 스킬은 그 시행착오를 줄이자는 발상에서 나왔다. 이런 경량 오픈 포맷은 앤스로픽이 먼저 제안했고, 지난 8월 초 AWS도 Bedrock의 정책 검증 파이프라인 전체를 스킬로 묶어 공개한 바 있다.
3단계로 걸러낸다
스킬 하나가 공개되기까지 세 단계를 거친다. 1단계는 안전성과 구조 검사다. 스키마와 프런트매터 형식을 확인하고, 프롬프트 인젝션이나 데이터 유출 가능성을 스캔하며, 비밀 값과 개인정보, 라이선스, 스크립트 품질까지 정적으로 점검한다. 2단계는 중복성 분석이다. 임베딩 유사도를 이용해 스킬 안에서 같은 지침이 반복되지는 않는지, 카탈로그 전체에서 겹치는 스킬은 없는지를 걸러낸다.
진짜 승부는 3단계에서 갈린다. 오픈소스 프레임워크 Harbor를 이용해 격리된 샌드박스 안에서 에이전트를 실제로 두 번 돌린다. 한 번은 스킬을 설치한 채로, 한 번은 설치하지 않은 채로. 프롬프트와 모델, 과제 입력, 채점 기준은 전부 동일하게 고정하고 스킬 유무만 바꾼다. 두 결과의 차이가 그 스킬의 기여도, 즉 '스킬 리프트(Skill Lift)'다. 이 비교를 서로 다른 두 에이전트 하네스에서 반복해 신뢰도를 높였다.
숫자로 본 효과
2026년 8월 12일 기준 benchmarks.json 스냅샷(커밋 738d79e)을 근거로 한 수치다. 스킬을 설치하지 않았을 때 다섯 개 항목의 기준 점수는 다음과 같다.
| 평가 항목 | 스킬 미설치 기준점(100점 만점) | 스킬 장착 후 리프트 |
|---|---|---|
| Correctness(정답 여부) | 46 | +41 |
| Discoverability(필요할 때 찾아 쓰는지) | 42 | 별도 수치 비공개 |
| Effectiveness(목표 달성 여부) | 39 | +39 |
| Efficiency(낭비 없이 도달했는지) | 43 | +35 |
| Security(안전 회귀 여부) | 97 | 변화 미미 |
엔비디아 블로그는 이와 별도로 전체 평균 리프트를 31점(Security 포함), Security를 뺀 값은 39점이라고 밝혔다. 트윗이 강조한 41·39·35점과 블로그의 집계 방식이 서로 다른 만큼, 두 수치를 하나로 합치지 않고 각각의 출처대로 밝혀둔다. 다만 방향은 같다 — 스킬을 붙이면 답을 맞히는 것뿐 아니라 목표에 도달하는 과정 자체가 좋아진다는 것이다.
어떻게 써보나 — 직접 스킬을 평가하는 법
엔비디아는 이 측정 과정을 통째로 SkillEvaluator라는 오픈소스 도구로 공개했다. 설치와 문서는 깃허브 저장소에 있다. 자기가 만든 스킬을 배포하기 전에 같은 방식으로 미리 점검할 수 있다.
- 먼저 평가용 데이터셋을 만든다. 명령어는
skillevaluator create-eval-dataset ./my-skill --full이다.--full옵션을 붙이면 명시적 사례뿐 아니라 암묵적·맥락적·부정 사례까지 포함한 evals.json 파일이 생성된다. - 데이터셋을 검토한 뒤 실제 비교를 돌린다.
skillevaluator tier3 evaluate ./my-skill --agents codex --env-mode docker명령으로 스킬을 설치한 경우와 안 한 경우를 각각 실행해 채점한다. - 결과로 나온 점수와 Skill Lift 값을 보고 어느 지점에서 스킬이 실제로 도움이 되는지, 혹은 오히려 방해가 되는지를 확인한다.
스킬 자체를 쓰고 싶다면 엔비디아가 Claude Code, Codex, Cursor용 플러그인을 배포하고 있고, 카탈로그 본체는 github.com/nvidia/skills 저장소에서 받는다. 같은 카탈로그를 Skills.sh, ClawHub, Hermes Hub에서도 내려받을 수 있다. 국가·요금제 제한은 원문에 따로 언급되지 않았다.
에디터의 시선
엔비디아는 챗봇 경쟁의 참가자가 아니라 곡괭이를 파는 쪽이라는 설명이 이번 발표에도 그대로 들어맞는다. 다만 이번에 파는 곡괭이는 GPU가 아니라 '에이전트가 내 제품을 제대로 쓰게 만드는 설명서'라는 점이 다르다. 최근 신호층에는 커뮤니티 프로젝트 Hermes가 스킬 설치 시 SkillEvaluator로 PII·유출 비밀·유니코드 스머글링·라이선스를 점검한다는 관측이 잡혔는데, 검증 전 정보이긴 하지만 이 도구가 엔비디아 생태계 밖에서도 채택되는 흐름과 맞아떨어진다. AWS가 Bedrock 정책 검증에 스킬 6종을 붙인 것도 같은 방향이다 — 에이전트에게 도구 사용법을 어떻게 쥐여주느냐가 이제 벤더마다 따로 푸는 숙제가 됐다.
예전에는 에이전트에게 라이브러리 문서를 통째로 던져주고 알아서 찾아 쓰라는 식이었다. 이번 수치가 보여주는 건, 그 방식이 정답률 기준으로 100점 만점에 40점대에 머문다는 것이다. 절반에도 못 미치는 성적표다. 스킬 하나 얹었을 뿐인데 정답률이 87점 안팎까지 올라간다면, 이건 모델 성능의 문제가 아니라 '얼마나 잘 설명해줬는가'의 문제였다는 뜻이다.
국내에서 NVIDIA 스택 위에 에이전트를 올리는 팀이라면 당장 할 수 있는 일이 있다. 자체 스킬을 배포하기 전에 SkillEvaluator로 Discoverability와 Efficiency 점수부터 확인하는 것이다. Correctness는 모델 자체 역량에 좌우되는 몫이 크지만, 이 두 항목은 스킬 설계로 직접 개선할 수 있는 영역이라 투자 대비 효과가 빠르다. 반대로 Security처럼 이미 97점에 근접한 항목에 힘을 쏟는 건 자원 낭비에 가깝다.
몇 주 안에 벌어질 일은 예상 가능하다. 앤스로픽의 Agent Skills 포맷을 중심으로 AWS·엔비디아·커뮤니티 허브(Skills.sh, ClawHub, Hermes Hub)가 각자 검증 계층을 쌓는 경쟁이 본격화될 것이다. 스킬이 코드처럼 버전 관리되고 벤치마크되는 대상이 되는 순간, 그 스킬을 누가 먼저 신뢰할 수 있게 검증했느냐가 다음 경쟁 포인트가 될 가능성이 높다.
댓글