테스트 스위트

테스트 스위트는 학교 시험지의 채점 기준표와 비슷하다. 문제마다 정답이 정해져 있고, 학생이 답을 내면 채점표와 하나하나 대조해 맞았는지 틀렸는지 바로 확인할 수 있다. AI가 코드를 짜거나 문제를 풀 때도 마찬가지로, 미리 준비한 정답 확인용 문제 묶음을 돌려서 이 결과가 실제로 작동하는지, 요구사항을 충족하는지를 사람 대신 기계가 판정한다.

이게 중요한 이유는 AI가 내놓은 답이 그럴듯해 보여도 실제로 실행하면 틀린 경우가 많기 때문이다. 사람이 매번 눈으로 검토하는 대신, 테스트 스위트를 통과했는지만 확인하면 훨씬 빠르고 일관되게 결과를 검증할 수 있다. 그래서 여러 AI 모델을 조합해 쓰는 경우, 값싼 모델이 먼저 답을 내고 테스트 스위트로 걸러낸 뒤 통과하지 못한 것만 더 비싸고 성능 좋은 모델에 넘기는 방식으로 비용을 아낄 수 있다.

기사에서는 "테스트 스위트 검증을 결합한 캐스케이드 방식"이라는 표현이 나온다. 이는 값싼 모델의 답을 테스트 스위트로 먼저 걸러내고, 통과하지 못한 어려운 문제만 비싼 모델에 넘기는 구조를 뜻한다. 테스트 스위트 자체가 새로운 AI 기술은 아니고, AI가 낸 결과물을 검증하는 데 쓰인 기존의 소프트웨어 개발 도구라는 점을 오해하지 않아야 한다.