요약
- Artificial Analysis가 자사 Intelligence Index를 v4.1.1로 갱신했다고 2026년 8월 6일 공지했다.
- 이번 패치의 핵심은 채점에 쓰이는 그레이더(grader) 모델 업그레이드와 최신 τ³-Banking 버전 반영이다.
- 공지에는 세부 점수 변동이나 모델별 순위 변화가 함께 제시되지 않아 추가 확인이 필요하다.
- 발표 주체
- Artificial Analysis (벤치마크·평가 기관)
- 발표 일자
- 2026년 8월 6일 (UTC)
- 버전
- Artificial Analysis Intelligence Index v4.1.1
- 릴리스 성격
- 패치 릴리스(patch release)
- 변경 1
- 그레이더(채점) 모델 업그레이드
- 변경 2
- 최신 τ³-Banking 버전 반영
- 지수 위상
- 종합(synthesis) 지표로서의 유용성 유지를 목적으로 명시
- 공개 채널
- X(구 트위터) 게시물
지수가 v4.1.1로 올라갔다
AI 모델 평가 기관 Artificial Analysis가 자사의 종합 평가 지표인 Artificial Analysis Intelligence Index를 v4.1.1로 갱신했다. 발표는 2026년 8월 6일 X 게시물을 통해 이뤄졌고, 성격은 대규모 개편이 아닌 패치 릴리스로 명시됐다.
공지에서 밝힌 변경 사항은 두 가지다. 하나는 채점에 사용하는 그레이더(grader) 모델의 업그레이드, 다른 하나는 최신 τ³-Banking 버전을 Artificial Analysis 평가 스택에 반영한 것이다. 기관은 이 지수를 "가장 유용한 종합 지표"로 유지하기 위한 작업이라고 설명했다.
이번 패치에서 확인된 변경 사항
| 항목 | 내용 |
|---|---|
| 버전 | v4.1.1 |
| 릴리스 유형 | 패치 |
| 변경 1 | 그레이더 모델 업그레이드 |
| 변경 2 | 최신 τ³-Banking 버전 반영 |
| 발표 채널 | X 게시물 |
| 발표일 | 2026-08-06 |
그레이더 모델이 바뀌면 무엇이 달라지나
그레이더 모델은 응답의 정답 여부나 품질을 자동으로 판정하는 채점 주체다. 따라서 그레이더가 교체되면 동일한 평가 문항에서도 채점 결과가 달라질 수 있다. 다만 이번 공지에는 어느 모델을 그레이더로 쓰는지, 교체 전후 점수가 어떻게 움직였는지에 대한 수치가 함께 제시되지 않았다. 즉 개별 모델의 지수 값이나 순위가 실제로 어떻게 변했는지는 이번 공개 내용만으로는 확인되지 않는다.
τ³-Banking 역시 최신 버전을 가져왔다는 사실만 언급됐고, 이전 버전과의 차이나 배점 반영 방식은 이번 게시물에서 설명되지 않았다.
아직 확인되지 않은 부분
평가 지표의 버전 관리는 벤치마크 신뢰도와 직결되는 사안이지만, 이번 발표는 요약 수준의 공지에 가깝다. 상세 변경 로그, 재채점 대상 범위, 기존 v4.1 결과와의 비교표 등은 별도 문서에서 확인이 필요하다.
AI 모델 평가 방식과 벤치마크 해석에 관한 다른 분석은 METAL LAB의 벤치마크 관련 기사에서 이어 볼 수 있다.
지표가 바뀌면 같은 모델의 점수도 함께 움직인다는 점에서, 이번 패치 이후 공개되는 리더보드 수치는 이전 버전 기준 수치와 직접 비교하지 않는 편이 안전하다.
댓글