이미지: @hume_ai (X) 화면 갈무리
요약
- 흄AI(Hume AI)가 허깅페이스(Hugging Face)와 함께 오픈소스 음성인식(ASR) 모델 11개를 세 가지 방식으로 시험한 연구를 공개했다
- 벤치마크 오디오에서 숫자를 무음 처리했는데도 최상위권 모델 일부가 30~40% 확률로 그 숫자를 그대로 받아썼다
- 연구팀은 이 현상을 측정하는 'Benchmark Fitting' 탭을 Open ASR Leaderboard에 신설했다
- 연구 주체
- 흄AI(Hume AI)와 허깅페이스(Hugging Face) 공동 연구
- 테스트 대상
- 오픈소스 음성인식(ASR) 모델 11개
- 사용 데이터셋
- VoxPopuli, LibriSpeech
- 참조 오류 비율
- 분석한 VoxPopuli 클립의 40%에서 참조 전사 오류 가능성 발견
- 오류 답습 모델 수
- 11개 중 6개 모델이 'thank you' 누락 오류를 그대로 복제
- 무음 숫자 복원율
- 일부 모델이 30~40% 확률로 무음 처리된 숫자를 작성
- 표기 구분 정확도
- 'Mr.' vs 'Mister' 구분에서 일부 모델 약 90% 정확도
- 후속 조치
- Open ASR Leaderboard에 'Benchmark Fitting' 탭 신설
지운 숫자를 어떻게 알았나
흄AI(Hume AI)와 허깅페이스(Hugging Face)가 함께 진행한 연구에서, 벤치마크 오디오 클립 하나에 담긴 숫자를 완전히 무음 처리하는 실험을 했다. 그 숫자는 오디오 어디에도 소리로 존재하지 않았다. 그런데도 평가 점수가 가장 높은 축에 속하는 음성인식(ASR) 모델 몇 개가 이 숫자를 30~40% 확률로 정확히 받아썼다. 한 모델은 오디오에 전혀 없는 "2011"이라는 숫자를 그대로 채워 넣었다. 오디오를 듣고 옮긴 게 아니라, 벤치마크 데이터셋 자체를 기억하고 있었다는 뜻이다.
음성인식 모델은 사람 목소리를 텍스트로 바꾸는 AI다. 이런 모델을 평가할 때는 VoxPopuli나 LibriSpeech 같은 공개 데이터셋에 정답 전사문(reference transcript)을 붙여 놓고, 모델이 얼마나 정확히 맞히는지 오류율(WER)로 점수를 매긴다. 문제는 같은 데이터셋이 훈련 과정에도 섞여 들어갈 수 있다는 점이다. 그러면 모델은 소리를 듣는 게 아니라 정답을 외워서 내놓는다. 연구팀은 이 현상에 이미 업계에서 붙어 있던 이름을 그대로 썼다. 흄AI가 X에 올린 글에서 "커뮤니티는 이미 이걸 부르는 말을 갖고 있었다, 벤치맥싱"이라고 밝혔다.
세 가지 시험대
연구팀은 VoxPopuli와 LibriSpeech 두 데이터셋에서 오디오가 실제로는 정답 전사문을 결정하지 못하는 상황을 세 가지로 만들어 11개 모델에 던졌다.
첫 번째는 '참조 불일치' 시험이다. VoxPopuli의 정답 전사문 자체에 오류가 섞여 있다는 점에 착안해, 분석한 클립의 40%에서 참조 오류 가능성을 찾아냈다. 그중 하나는 오디오에 분명히 들어 있는 "thank you"를 정답 전사문에서는 빼먹은 사례였는데, 11개 모델 중 6개가 오디오를 무시하고 이 빠진 오류를 그대로 따라 했다.
두 번째는 앞서 설명한 '숫자 무음' 시험이다. 오디오에서 숫자만 지우고 나머지는 그대로 뒀는데도 회복률(recovery rate)이 공개 벤치마크에서는 높게 나왔다가, 같은 영역에서 새로 녹음한 오디오로 바꾸자 뚝 떨어졌다. 벤치마크용 오디오 자체를 외워 뒀다는 정황이다.
세 번째는 '표기법 전환' 시험이다. VoxPopuli는 "Mr."로, LibriSpeech는 "Mister"로 적는데 소리는 완전히 똑같다. 오디오만 듣고는 어느 쪽으로 적어야 할지 구분할 방법이 없어야 정상이지만, 여러 모델이 동전 던지기 확률인 50%를 넘어섰고 일부는 약 90%까지 정확히 맞혔다. 소리가 아니라 지금 어느 시험을 치르고 있는지를 구분해 낸 셈이다.
우연이 아니라는 증거
연구팀은 이 행동이 단순한 통계적 우연이 아니라고 밝혔다. 저차원 선형 개입(low-rank linear intervention)이라는 방법으로 이 답습 행동을 켜고 끌 수 있었고, 어떤 경우에는 오디오 구간 끝에 소리를 덧붙이는 것만으로도 행동이 바뀌었다. 모델 내부에 벤치마크를 알아채는 특정 회로가 실제로 작동하고 있다는 뜻이다.
첨부된 차트를 보면 흥미로운 역상관 관계가 드러난다. VoxPopuli 오류율(WER)이 가장 낮아 점수가 좋은 모델일수록, 참조 오류를 그대로 받아들이는 비율도 높았다.
| 모델 | VoxPopuli WER(%) | 참조 오류 답습률 |
|---|---|---|
| Cohere-Transcribe | 5.6 | 3130.5% |
| Canary-Qwen-2.5B | 5.35 | 2423.5% |
| Higgs-Audio-v3-8B | 5.55 | 2221.5% |
| Granite-Speech-4.1-2B | 5.45 | 2121% |
| Phi-4-Multimodal | 5.65 | 2019.5% |
| Parakeet-TDT-0.6B-v2 | 5.65 | 1818% |
| Qwen3-ASR-0.6B | 6.75 | 99.2% |
| Voxtral-Mini-3B | 6.75 | 43.7% |
| Moonshine-Streaming | 8.0 | 65.5% |
| Kimi-Audio-7B | 7.7 | 32.8% |
| Whisper-Large-v3 | 8.65 | 32.7% |
표에서 이름을 확인할 수 있는 모델 중 Whisper-Large-v3는 오픈AI(OpenAI), Qwen3-ASR-0.6B는 알리바바 큐원(Alibaba Qwen), Kimi-Audio-7B는 문샷AI(Moonshot AI)가 개발한 것으로 알려져 있고, Cohere-Transcribe는 코히어(Cohere)의 모델이다. 오류율이 가장 낮은 축에 속하는 Cohere-Transcribe와 Canary-Qwen-2.5B가 참조 오류 답습률에서도 상위권에 오른 반면, 오류율이 더 높게 나온 Kimi-Audio-7B와 Whisper-Large-v3는 답습률이 낮았다. 벤치마크 점수만 놓고 보면 정반대 결론이 나올 수 있는 지점이다.
리더보드에 새 탭이 생겼다
연구팀은 이 측정 방식을 일회성 발표로 끝내지 않고 Open ASR Leaderboard에 반영했다. 참조 오류 재현율과 표기법 전환 정확도를 기준으로 모델마다 점수를 매기는 'Benchmark Fitting' 탭을 새로 만들어, 오류율(WER) 순위와 나란히 볼 수 있게 했다. 연구는 Alice Baird와 Theo Lebryk가 주도했고 David Ayllon, Jakub Cłapa, Jens Madsen, Panagiotis Tzirakis가 참여했다.
에디터의 시선
음성인식 모델 시장은 오류율 소수점 하나로 순위가 갈리는 곳이다. 그런데 이번 연구는 그 소수점 차이의 상당 부분이 '더 잘 듣는 능력'이 아니라 '어느 벤치마크인지 알아채는 능력'에서 나올 수 있다는 걸 보여준다. 이건 LLM 업계에서 익숙한 문제가 다른 모달리티로 옮겨간 것뿐이다. 대형 언어모델이 수학·코딩 벤치마크의 정답 패턴을 학습 데이터에서 외워 점수를 부풀린다는 의혹은 몇 년째 반복돼 왔고, 이번에는 소리를 듣는 모델 차례가 왔을 뿐이다.
이 결과를 실무에 옮겨 보면 결론은 단순해진다. 콜센터나 회의록 자동화처럼 실제 서비스에 ASR 모델을 붙이는 팀이라면, 공개 리더보드의 오류율 순위만 보고 모델을 고르는 관행부터 다시 봐야 한다. 표에서 확인했듯 오류율이 가장 좋은 모델이 참조 오류 답습률도 가장 높았다. 실제 서비스에 들어갈 오디오는 벤치마크에 없던 새 목소리, 새 억양, 새 배경음이다. 벤치마크 순위가 아니라 자기 회사 데이터로 직접 돌려본 결과가 진짜 성능이라는 뜻이다.
앞으로 몇 달 안에 다른 모달리티 벤치마크에서도 비슷한 검증 방법론이 뒤따를 가능성이 높다. Open ASR Leaderboard에 생긴 'Benchmark Fitting' 탭이 선례가 되면, 이미지·영상 벤치마크에도 같은 방식의 '암기 탐지' 지표가 붙는 흐름으로 이어질 것으로 본다.
댓글