흄AI, 음성 AI 평가서 '사람다움'을 3순위로 낮췄다

흄AI는 지난 8월에도 허깅페이스와 함께 오픈소스 음성인식(ASR) 모델 11개의 벤치마크 암기 현상을 실측해 공개한 적이 있어요. 음성 AI를 채점하고 검증하는 작업을 반복해 온 회사인 만큼, 이번 CLEAR 프레임워크도 그 연장선에서 나온 결과물로 보여요.

에팅어가 설명한 CLEAR의 평가 순서는 이래요. 가장 먼저 보는 건 대화 자체가 성립하는지, 즉 상대방 말에 적절하게 응답할 수 있는지예요. 여기서 막히면 나머지 항목은 아예 의미가 없다고 그는 말했어요. 두 번째는 듣고 이해하는 능력이에요. 말은 잘하는데 상대가 무슨 말을 하는지 제대로 못 알아들으면 대화 자체가 성립하지 않으니까요.

이 두 가지가 통과된 다음에야 세 번째로 '사람처럼 들리는가'를 봐요. 에팅어는 응답 내용과 이해력이 맞아떨어져도 목소리가 자연스럽지 않으면 사용자가 계속 신뢰하고 싶어지지 않는다고 설명했어요. 그리고 마지막 네 번째는 이 모든 게 수백, 수천 번의 상호작용에서도 같은 맥락과 타이밍으로 일관되게 유지되는지예요. 케이블 회사 상담원으로 쓰든 부모님이 의료 상담에 쓸 정도로 신뢰하려면, 한두 번 잘하는 것으로는 부족하다는 게 그의 논리예요.

"말과 이해가 맞아도 안 들리면 신뢰가 안 간다"

에팅어는 "이 두 가지가 맞아도 자연스럽게 들리지 않으면 계속 신뢰하고 싶어지지 않는다"고 말했어요. 음성 합성 기술이 발전하면서 업계 마케팅 대부분이 '얼마나 사람 같은 목소리인가'를 앞세워 온 것과 비교하면, 정작 그 시장을 만드는 회사의 대표가 이 항목을 3순위로 내렸다는 점이 눈에 띄어요.

순서가 뒤집힌 이유

음성 AI가 콜센터나 의료 상담처럼 실생활에 파고들수록, 목소리가 예쁘게 들리는 것보다 대화가 끊기지 않고 맥락을 놓치지 않는 게 먼저 검증돼야 한다는 뜻으로 읽혀요. 아무리 자연스러운 목소리라도 질문에 엉뚱하게 답하거나 앞서 한 말을 까먹으면, 사용자는 한 번의 실패로 그 시스템 전체를 못 믿게 되니까요. 반대로 응답과 이해가 안정적으로 자리 잡은 다음에는 자연스러움이 신뢰를 오래 붙잡아 두는 역할을 한다는 게 CLEAR 프레임워크가 그리는 그림이에요.

에디터의 시선

음성 AI 마케팅 문구를 보면 거의 다 '사람과 구분 안 되는 목소리'를 첫 줄에 내세워요. 그런데 정작 이 시장에서 평가 도구를 만들어 온 회사의 CEO가 그 항목을 3순위로 내렸다는 건, 업계가 파는 것과 실제로 필요한 것 사이에 간극이 있다는 신호로 읽어야 해요. 음성 AI를 붙여 본 팀이라면 다들 비슷한 경험을 했을 거예요 — 데모에서는 목소리가 근사한데, 실제로 붙여 두면 사용자가 두세 마디만 주고받고 이탈하는 경우요. 대부분 원인은 목소리 톤이 아니라 맥락을 놓치거나 엉뚱하게 응답하는 데 있어요.

국내에서 음성 AI 상담이나 에이전트를 도입하려는 팀이라면 이 순서를 그대로 체크리스트로 써도 좋아요. 목소리 자연스러움을 벤더 선정 기준 1순위에 두는 대신, 먼저 실제 대화 로그로 '적절하게 응답했는가'와 '정확히 알아들었는가'를 몇백 건 단위로 검증하고, 그다음에 자연스러움을, 마지막으로 지속성을 보는 식이에요.

앞으로 몇 달 안에 다른 음성 AI 업체들도 비슷한 자체 평가 프레임워크를 공개하며 '우리는 이런 기준으로 검증한다'는 메시지를 앞세울 가능성이 커요. 벤치마크 점수 하나로 우열을 가리기 어려운 시장일수록, 평가 방법론 자체가 마케팅 자산이 되기 때문이에요.