구글, 답을 먼저 만들고 질문을 붙였다

이미지: METAL

요약

구글 리서치가 9월 10일 도구 사용 학습 데이터를 만드는 틀 ToolGrad를 공개했어요. 질문을 먼저 짓는 대신 실제로 도는 도구 순서를 먼저 만들고 그에 맞는 질문을 붙여요.
기존 깊이우선탐색 방식의 합격률 63.8%가 99.8%로 올랐고, 한 건에 엮인 도구 수는 2.1개에서 3.4개로 늘었으며 도구 호출 비용은 41.7% 줄었어요.
이 데이터 500건으로 미세조정한 Gemma-3-12B가 ToolBench에서 19.6점을 받아 Gemini 2.5 Pro의 11.4점을 앞섰어요. 저자들은 합성 데이터가 서로 닮아 가는 한계를 함께 적었어요.

발표: 구글 리서치 · 2026년 9월 10일 블로그 공개 · 논문은 ACL 2026 파인딩스 · 코드와 데이터셋·모델 공개
핵심 전환: 질문 먼저(query-first) → 검증된 도구 순서 먼저(answer-first) · API 제안기·실행기·선택기·갱신기 4개 모듈 반복
생성 효율: 합격률 63.8% → 99.8% · 건당 도구 2.1개 → 3.4개 · 도구 쪽 비용 34.3 → 20.0(41.7% 감소) · 모델 쪽 비용 64.5 → 63.9
데이터셋: ToolGrad-500 · 500건 · API 데이터베이스 8천 개 · 건당 반복 10회 · 생성 모델은 Gemini 2.5 Flash Lite
학습 결과: ToolBench에서 Gemma-3-12B 19.6 · Gemini 2.5 Pro 11.4 · Claude 4.5 Opus와 GPT-5 Nano 15.4 · BFCL 종합 ToolGrad-12B 83.1 대 Gemini 2.5 Pro 83.2
한계: 합성 데이터 반복으로 표본 1천~2천 건에서 성적 하락 · 다중 턴 도구 사용과 에이전트 사용은 범위 밖

AI가 도구를 부르는 법을 배우려면 먼저 누군가 그 장면을 만들어 둬야 해요. 사용자가 이런 요청을 했고, 이런 순서로 API를 불렀고, 그래서 이런 답이 나왔다는 한 묶음이요. 지금까지 이 묶음은 사람이 지어낸 질문에서 출발했고, 에이전트가 그 질문을 풀 수 있는 도구 조합을 찾아 헤맸어요. 구글 리서치가 9월 10일 공개한 ToolGrad는 그 순서를 통째로 뒤집은 도구 사용 데이터 생성 틀이에요.

뒤집은 이유는 단순해요. 질문을 먼저 만들면 그 질문이 정말 풀리는지 아무도 모른다는 거예요. 논문은 탐색이 본질적으로 비쌀 수밖에 없고 주석 성공을 보장하지 못해 에이전트 자원을 낭비한다고 적었어요. 반대로 도구를 먼저 이어 붙여 실제로 도는 순서를 만들어 두면, 거기에 맞는 질문을 쓰는 일은 모델 한 번 호출이면 끝나요.

숫자 차이가 컸어요. 논문에 따르면 기존 깊이우선탐색 방식의 합격률은 63.8%였는데 ToolGrad는 99.8%였어요. 한 건에 엮인 도구 수도 2.1개에서 3.4개로 늘었고, 도구를 실제로 호출하며 쓴 비용은 34.3에서 20.0으로 41.7% 줄었어요. 더 복잡한 데이터를 더 싸게 더 많이 만들었다는 뜻이에요.

만드는 과정은 기계학습의 역전파를 말로 옮겨 놓은 모양이에요. API 제안기가 한 번에 50개씩 뽑아 온 후보 중 세 개를 고르고, 실행기 셋이 동시에 그 API를 실제로 불러 보고, 선택기가 실행 보고서를 읽어 가장 잘 된 하나를 지금까지의 작업 흐름에 붙여요. 마지막으로 갱신기가 늘어난 도구 목록에 맞게 사용자의 질문과 답을 고쳐 써요. 저자들은 이 선택 단계를 텍스트로 된 기울기라고 부르는데, 수식 대신 모델의 판단이 다음 한 걸음을 정한다는 뜻이에요.

이렇게 만든 데이터는 500건뿐이에요. ToolGrad-500이라는 이름이 붙은 이 데이터로 작은 모델을 미세조정했더니, 도구를 골라 부르게 하는 ToolBench 시험에서 Gemma-3-12B가 19.6점을 받았어요. 같은 시험에서 Gemini 2.5 Pro는 11.4점, Claude 4.5 Opus와 GPT-5 Nano는 15.4점이었어요. 구글 리서치 블로그에 따르면 처음 보는 도구를 주는 BFCL 종합에서도 ToolGrad-12B가 83.1점으로 Gemini 2.5 Pro의 83.2점에 0.1점 뒤진 2위였고, Claude 4.5 Opus는 82.8점, GPT-5는 74.4점이었어요.

연구를 이끈 사람은 구글 XR의 연구과학자 저우중이예요. 그는 블로그에서 "고품질 도구 사용 데이터셋은 답을 먼저 만드는 방식으로 더 효율적이고 더 안정적으로 만들 수 있습니다"라고 적었어요. 논문 쪽 문장은 더 직설적인데, 저자들은 기존 방식을 두고 "탐색은 본질적으로 비쌀 수밖에 없습니다"라고 썼어요. 도쿄대와 이화학연구소 AIP 연구자들이 함께 이름을 올렸고, 논문은 ACL 2026 파인딩스에 실렸어요.

저자들이 스스로 적어 둔 한계는 데이터가 서로 닮아 간다는 점이에요. 논문은 에이전트가 학습 데이터 안에서 비슷한 도구 사용을 만들어 내는 경향이 있고, 이렇게 반복되는 합성 데이터는 규모를 키울 때 모델 학습을 해칠 수밖에 없다고 인정했어요. 실제로 표본을 500건에서 1천 건, 2천 건으로 늘리자 성적이 오르다가 다시 떨어졌어요. 여러 번 주고받는 도구 사용과 에이전트 사용은 이 틀의 범위 밖이라는 것도 논문에 명시돼 있어요.

여기서 눈여겨볼 자리는 점수가 아니라 재료의 출처가 바뀌었다는 사실이에요. 도구 쓰는 법을 가르치는 재료가 사람이 남긴 기록에서 기계가 실행해 본 기록으로 옮겨 가고 있어요. ToolGrad는 사람이 질문을 지어내는 단계마저 뒤로 미뤘고, 사람에게는 결과가 그럴듯한지 확인하는 자리만 남았어요. 논문은 평가자 두 명에게 여덟 개 질문과 열두 개 모델을 보여 각각 96건을 채점하게 한 뒤 기계 심판과의 상관계수를 0.88로 보고했는데, 사람의 역할이 생성에서 감사로 줄었다는 것을 그 설계 자체가 말해 줘요.

작은 모델이 큰 모델을 이기는 자리가 어디인지도 다시 드러났어요. 메탈은 에이전트에게 절차를 가르치는 스킬이 지식보다 성능을 더 갈랐다고 보도한 바 있으며, ToolGrad의 결과도 같은 방향을 가리켜요. 기본 상태에서 1점이던 Gemma-3-1B가 같은 시험에서 14.1점까지 오른 건 모델이 커져서가 아니라 절차가 적힌 예시를 봤기 때문이에요.

비용 구조도 이 이야기의 한 축이에요. 메탈이 확인한 논문의 비교표를 보면 모델 쪽 비용은 64.5에서 63.9로 거의 그대로인데 도구 쪽 비용만 34.3에서 20.0으로 떨어졌어요. 아낀 자리가 생각하는 값이 아니라 실제로 API를 두드려 보는 값이라는 뜻이에요. 생성에는 값싸고 빠른 Gemini 2.5 Flash Lite를 썼고, 한 건당 반복은 열 번으로 잡았는데 여덟에서 열두 번 사이에서 합격률이 더 오르지 않아 그 값을 골랐다고 논문은 설명했어요.

구글은 코드와 데이터셋, 모델을 모두 공개했어요. 도구를 잘 쓰는 능력이 이제는 모델 크기보다 학습 데이터의 설계에서 갈린다는 주장을 검증 가능한 형태로 내놓은 셈이에요. 공개된 500건은 크기로 보면 작지만, 어떤 순서로 어떤 도구를 엮었는지가 전부 남아 있어 다른 연구자가 그 설계를 뜯어볼 수 있어요.

합성 데이터의 승부처는 양이 아니라 다양성이에요. ToolGrad가 보여 준 건 검증된 답을 먼저 만들면 데이터를 거의 버리지 않아도 된다는 것이고, 동시에 그렇게 만든 답들이 서로 닮아 간다는 것이에요. 도구를 쓰는 AI를 가르치는 일은 더 많은 예시를 모으는 문제에서 서로 다른 예시를 설계하는 문제로 넘어갔어요.