스킬트러스트벤치

스킬트러스트벤치는 AI 에이전트가 불러다 쓰는 외부 도구, 이른바 스킬이 얼마나 안전한지 매기는 시험지다. 새로 산 전기제품에 안전인증 마크가 붙어 있는지 확인하듯, 에이전트에 어떤 외부 기능을 붙여도 괜찮은지 미리 검사해보는 셈이다.

이 시험은 위험을 하나로 뭉뚱그리지 않고 T01부터 T09까지 아홉 갈래로 쪼갠다. 도구가 권한을 몰래 더 넘겨받거나, 엉뚱한 명령을 실행하는 경우처럼 위험 유형별로 따로 점수를 매기는 방식이다. 같은 외부 도구를 서로 다른 언어 모델에 붙였을 때 그 위험을 얼마나 잘 잡아내는지도 순위표로 공개한다.

이 분류 체계는 텐센트 보안 부서 산하 주작 랩이 함께 내놓은 점검 도구의 채점 기준으로도 쓰인다. 도구가 위험을 나눌 때 쓰는 잣대 자체가 이 벤치마크에서 나온 셈이다.

기사에는 "주작 랩은 이 스캐너와 함께 스킬트러스트벤치라는 벤치마크도 운영한다"는 식으로 등장한다. 하나 짚을 점은, 이것이 특정 소프트웨어 제품이라기보다 위험을 나누는 분류 체계와 그에 따른 순위표에 가깝다는 것이다. 어떤 스킬이 '안전 인증'을 받았다는 도장 같은 게 아니라, 위험 유형별로 얼마나 잘 걸러내는지 비교하는 참고 자료로 보는 게 맞다.

벤치마크 공식 페이지에 접속해 리더보드를 살펴보면 된다. T01부터 T09까지 위험 범주별로 어떤 언어 모델이 어떤 스킬 조합에서 취약점을 잘 잡아내는지 점수로 비교해볼 수 있다. 직접 스킬을 만들었다면 같은 분류 체계를 참고해 어떤 유형의 위험이 빠졌는지 점검해보는 것도 방법이다.