InferenceX

인퍼런스X는 AI 칩이나 서버가 이미 만들어진 인공지능 모델을 얼마나 빠르고 전력을 적게 쓰면서 돌리는지 재는 공개 시험이다. 자동차로 치면 최고 속도가 아니라 연비를 재는 시험에 가깝다. 얼마나 힘이 센가보다, 전기 1킬로와트를 넣었을 때 답변을 얼마나 많이 뽑아내는지를 본다.

이 시험을 만든 곳은 반도체 분석 회사인 세미애널리시스다. 오픈AI 같은 칩 개발사가 자기 칩 성능을 자랑할 때 이 시험 점수를 근거로 내밀면, 제3자가 정한 동일한 규칙으로 잰 수치라 다른 회사 칩과 비교하기가 쉬워진다. 실제로 여러 언어 모델을 같은 조건에서 돌려 초당 처리하는 토큰 수를 전력 소모량으로 나눈 값을 비교하는 식이다.

다만 시험 점수가 높다고 해서 그 칩이 모든 상황에서 앞선다는 뜻은 아니다. 어떤 경쟁 칩과 비교했는지, 최신 세대인지 이전 세대인지에 따라 결과 해석이 달라질 수 있어서 발표 수치를 볼 때는 비교 대상이 무엇인지 함께 확인하는 게 중요하다.

기사는 "세미애널리시스의 공개 벤치마크 인퍼런스X로 측정한 결과 와트당 처리량이 최대 1.9배 높았다"고 전한다. 여기서 헷갈리기 쉬운 점은, 인퍼런스X는 오픈AI가 만든 도구가 아니라 세미애널리시스라는 제3의 분석 회사가 만든 외부 시험이라는 것이다. 오픈AI는 이 시험에 자사 칩 Jalapeño를 올려 점수를 받은 쪽이고, 비교 대상도 최신 세대인 루빈이 아니라 한 세대 전인 블랙웰이었다는 점을 기사도 함께 짚는다.