매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

nvidia/skillevaluator

★ 137PythonApache-2.0

AI 에이전트에게 붙이는 '스킬 폴더'가 안전하고 실제로 도움이 되는지 3단계로 검사하는 도구

SkillEvaluator는 AI 에이전트를 확장하는 '스킬'(지침과 파일이 담긴 폴더)을 검사하는 오픈소스 도구다. 형식과 보안 문제를 걸러내는 1단계, 기존 스킬과 내용이 겹치는지 보는 2단계, 실제 에이전트에 붙여서 도움이 되는지 확인하는 3단계로 구성된다. NVIDIA가 만들었고 Apache 2.0 라이선스로 공개되어 있으며, 지원 수준은 '실험적' 단계다.

무엇을 하는 레포인가

  1. 스킬이란 AI 에이전트에게 새 능력을 주는 지침·파일 묶음(SKILL.md 포함 폴더)으로, Agent Skills 규격을 따른다
  2. 1단계(Validation)는 스키마, 개인정보(PII), 라이선스, 품질, 보안 취약점 등을 API 키 없이도 검사할 수 있다
  3. 2단계(Deduplication)는 임베딩(텍스트를 숫자 벡터로 바꾸는 기술)을 이용해 새 스킬이 기존 스킬과 얼마나 중복되는지 확인한다
  4. 3단계(Live Evaluation)는 Docker나 클라우드 샌드박스에서 실제 에이전트를 돌려 스킬이 에이전트 행동에 어떤 영향을 주는지 평가하고, 평가용 데이터셋도 자동 생성한다
  5. 각 단계는 독립적으로 실행 가능하며, NVIDIA의 SkillSpector(보안 스캐너)와 Harbor(에이전트 평가 프레임워크) 같은 다른 오픈소스 도구와 연동된다

왜 중요한가

AI 에이전트에 아무 스킬이나 붙이면 악성 코드나 개인정보 유출, 중복된 지침으로 성능 저하가 생길 수 있는데, 이를 배포 전에 자동으로 걸러낼 표준 도구가 필요하다. 스킬을 만들거나 유통하는 개발자, 에이전트 파이프라인을 운영하는 팀에게 실질적인 품질·보안 검증 절차를 제공한다.

이 레포의 용어

  • 스킬(Agent Skill) · AI 에이전트에게 새 지침이나 도구를 주기 위한 파일 폴더, SKILL.md를 포함
  • 품질 게이트(Quality Gate) · 일정 기준을 통과해야 다음 단계로 넘어가게 막는 검사 절차
  • 임베딩(Embedding) · 텍스트 의미를 숫자 벡터로 변환해 유사도를 계산할 수 있게 하는 기술
  • 샌드박스(Sandbox) · 실제 시스템에 영향을 주지 않도록 격리된 환경에서 코드를 실행하는 공간
  • PII 스캔 · 이름, 주소 같은 개인식별정보가 문서에 포함되어 있는지 찾는 검사

레포 원문 소개 (영문)

Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.

GitHub에서 보기프로젝트 사이트

관련 기사

주목받는 레포

레포 전체 보기 →

METAL LAB 최신 기사