이미지: Google
요약
- 구글이 에이전트 개발 도구 ADK에 음성 기반 라이브 에이전트를 자동으로 평가하는 기능을 새로 넣었어요
- Gemini TTS로 만든 가상 사용자가 실제 오디오로 말을 걸고, 자연어 루브릭이 답변과 툴 실행을 채점해요
- ADK Web에 Standard·Live 전환 버튼이 생겨 대화록과 재생 가능한 오디오를 함께 확인할 수 있어요
- 발표처
- Google Developers Blog
- 기능
- ADK 네이티브 라이브 평가(native live evaluation)
- 가상 사용자 음성
- Gemini TTS로 합성한 오디오
- 채점 방식
- 자연어 루브릭으로 응답·툴 실행 자동 채점
- 테스트 케이스 유형
- 대화 시나리오(페르소나 기반) · 고정 대화(스크립트)
- 예시 모델
- gemini-live-2.5-flash-native-audio
- 실행 방법
- CLI 명령 adk eval, 또는 AgentEvaluator로 CI/CD 연동
- 샘플 저장소
- google/adk-python의 live_workflow 예제
데모 통과와 실전 배포는 다른 문제예요
음성으로 대화하는 AI 에이전트는 텍스트 챗봇보다 테스트하기가 까다로워요. 어제는 완벽하게 응답하던 에이전트가 프롬프트를 살짝 바꾸거나 모델을 업데이트하는 순간 조용히 다르게 반응할 수 있거든요. 툴 호출이 갑자기 안 되거나, 대화 맥락이 다음 턴으로 안 넘어가거나, 사용자가 끼어드는 말을 놓치는 식이에요. 사람이 매번 통화하듯 들어보며 확인할 수는 없으니, 자동으로 반복 검증할 방법이 필요했어요.
구글이 여기에 답을 내놨어요. 에이전트 개발 도구인 ADK(Agent Development Kit)에 음성 기반 라이브 에이전트를 자동으로 평가하는 기능을 새로 넣었다고 밝혔어요. 텍스트 에이전트를 평가하던 것과 같은 흐름 안에서, 이제 음성 에이전트도 가상 사용자와 실제로 대화시켜 보고 그 결과를 점수로 받을 수 있게 됐어요.
가상 사용자가 진짜 목소리로 말을 걸어요
이 기능의 핵심은 시뮬레이션 사용자예요. 개발자가 평가 시나리오를 정의하면, LLM이 그 시나리오에 맞는 사용자 역할을 연기하면서 Gemini TTS로 실제 오디오를 만들어 에이전트에게 말을 걸어요. 텍스트가 아니라 소리로 주고받는 대화라, 타이밍이나 끼어들기처럼 음성 대화 특유의 변수까지 테스트에 들어가요.
테스트 케이스는 두 방식으로 만들 수 있어요. 하나는 '대화 시나리오'로, 목표와 페르소나만 정해주면 시뮬레이터가 알아서 대화를 이어가요. 예를 들어 NOVICE 페르소나는 큰 그림만 말하고 세부 사항은 에이전트가 먼저 물어보길 기다리도록 설계돼, 에이전트가 대화를 얼마나 잘 이끄는지를 시험해요. 다른 하나는 '고정 대화'로, 사용자의 발화를 대본처럼 그대로 적어두는 방식이에요.
| 테스트 케이스 유형 | 특징 |
|---|---|
| 대화 시나리오 | 목표·페르소나만 지정, 시뮬레이터가 대화를 즉흥으로 진행 |
| 고정 대화 | 사용자 발화를 스크립트로 고정, 매번 같은 조건 재현 |
채점은 자연어 루브릭으로 이뤄져요. 같은 의미라도 수백 가지 다른 말투로 답할 수 있는 게 음성 응답인데, 사람이 한 번 판단 기준을 문장으로 적어두면 이후 모든 대화에 자동으로 같은 기준이 적용돼요.
ADK Web에서 대화록과 오디오를 함께 본다
실행이 끝나면 ADK Web이 오디오 스트림을 깔끔한 대화록으로 바꿔줘요. 각 발화가 말풍선 하나에 텍스트와 재생 가능한 오디오 클립으로 함께 담겨서, 에이전트가 '무슨 말을 했는지'뿐 아니라 '어떻게 말했는지'까지 확인할 수 있어요. 이 화면에는 Standard·Live 모드 전환 버튼이 새로 생겼고, Live를 고르면 입력 방식(오디오/텍스트)과 시뮬레이션 사용자의 목소리·언어 설정도 함께 나타나요.
어떻게 써보나
어디서 시작하나 — ADK 패키지에 평가용 추가 구성 요소를 설치하는 데서 시작해요. uv pip install -e ".[eval]") 명령으로 eval extras를 설치하고, Live API와 Gemini TTS에 쓸 API 인증 정보를 준비해두면 돼요.
단계별 사용 순서
- 에이전트를 만든다 — 구글이 공개한 예시는 세 개의 단일 목적 라이브 에이전트를 순서대로 이어붙인 그래프형 워크플로우로, 각 단계가
gemini-live-2.5-flash-native-audio모델로 동작해요. - 평가 케이스를 작성한다 — JSON 형식의 평가 세트 파일에 대화 시나리오나 고정 대화를 담아요.
test_config.json에live_model_config를 추가하고llm_audio사용자 시뮬레이터를 지정한다 — 여기서 고른 목소리로 각 사용자 발화가 음성으로 합성돼 에이전트에 스트리밍돼요.- CLI에서
adk eval명령으로 평가를 실행한다 — 실행 결과는 ADK Web에서 대화록과 오디오로 확인할 수 있어요.
누가 쓸 수 있나 — ADK를 쓰는 개발자라면 별도 신청 없이 바로 시도해볼 수 있는 오픈소스 기능이에요. Live API와 Gemini TTS API 접근 권한만 있으면 되고, 같은 파이프라인을 AgentEvaluator로 호출하면 CI/CD 파이프라인에 넣어 배포 전 회귀를 자동으로 잡아낼 수도 있어요.
무엇을 해볼 수 있나 — 예를 들어 고객센터 음성봇이 세 단계 문의(접수→확인→처리)를 넘길 때 맥락을 놓치지 않는지, 사용자가 말을 끊어도 자연스럽게 이어받는지를 매번 사람이 통화해보지 않고도 자동으로 검증할 수 있어요. 또 모델을 새 버전으로 바꾸기 전에 같은 평가 세트를 다시 돌려 이전과 다르게 답하는 지점을 찾아낼 수도 있고요.
구글이 공개한 예제를 그대로 따라 하고 싶다면 live_workflow 저장소를 내려받아 실행해보면 되고, 사용자 시뮬레이션·합성 오디오 프로필·커스텀 평가 지표에 대한 더 자세한 내용은 ADK 공식 문서에서 확인할 수 있어요.
에디터의 시선
에이전트 개발 도구들이 최근 앞다퉈 채우고 있는 건 '만드는 기능'이 아니라 '검증하는 기능'이에요. 앤스로픽 생태계에서 Agent Skills가 코딩 에이전트에 절차를 심어주고, AWS가 Bedrock에 형식 논리 검증을 붙인 것처럼, 구글도 이번에 ADK의 빈칸을 채웠어요. 텍스트 에이전트는 평가 파이프라인이 어느 정도 자리 잡았는데, 음성 에이전트는 여전히 사람이 직접 들어보고 판단하는 수작업 구간이 많았거든요. 이번 업데이트는 그 마지막 수작업 구간을 자동화 루프 안으로 끌고 들어온 셈이에요.
실무에서 이 변화가 체감되는 지점은 명확해요. 예전에는 음성 에이전트를 업데이트할 때마다 QA 담당자가 시나리오별로 직접 통화해보며 이상 유무를 확인했다면, 이제는 그 통화를 가상 사용자가 대신 하고 사람은 자연어 루브릭 몇 줄만 정의하면 돼요. 다중턴 대화에서 툴 호출이 빠지거나 맥락이 끊기는 회귀 버그는 사람이 듣기 전에 CI 단계에서 먼저 걸러지게 되고요. 국내에서 음성봇·콜센터 자동화를 준비하는 팀이라면, 새 모델로 갈아탈 때마다 반복해야 했던 수동 QA 비용을 이 파이프라인으로 상당 부분 줄일 수 있어요. 다만 페르소나와 루브릭을 실제 사용자 발화 패턴에 맞게 얼마나 촘촘히 설계하느냐에 따라 평가의 신뢰도가 갈리니, 초기 세팅에 시간을 들이는 쪽이 결국 더 빨리 안정적인 배포로 이어져요.
앞으로 몇 주 안에는 다른 에이전트 프레임워크들도 비슷한 라이브 평가 도구를 내놓을 가능성이 커요. 음성 인터페이스가 챗봇을 넘어 실제 업무 접점으로 퍼지는 만큼, '들어보고 판단하는' 방식에서 '재보고 채점하는' 방식으로의 전환은 이번 ADK 업데이트로 끝나지 않을 흐름이에요.
댓글