구글 리서치, 검색 묶음 모델 R4T 공개

문제 설정부터 보면 이유가 보여요. 지앙과 리에 따르면 요즘 검색과 추천은 캠핑 용품이라고 치면 4인용 텐트 변형 열 개가 아니라 텐트와 침낭, 휴대용 스토브, 헤드램프처럼 서로 보완하는 한 세트를 돌려줘야 해요. 그래서 넓은 질의를 여러 하위 질의로 펼치는 팬아웃 기법을 쓰는데, 이걸 범용 언어 모델에 맡기면 두 가지가 걸려요. 하나는 같은 말 되풀이예요. 보헤미안 페스티벌 스타일이라는 질의에 표준 모델은 보헤미안 페스티벌 패션과 보헤미안 페스티벌 옷처럼 동의어만 내놓고, 패션 전문가라면 떠올릴 프린지 재킷이나 크로셰 드레스, 스웨이드 부츠 같은 방향은 놓쳐요. 다른 하나는 지연이에요. 하위 질의를 잘 만들려면 수백 개의 사고 과정 토큰을 먼저 생성해야 하는데, 토큰을 하나씩 뽑는 구조는 검색창이 요구하는 1초 미만 응답과 맞지 않아요.

R4T는 세 단계예요. 먼저 Gemma3-4B와 Qwen3-4B 같은 40억 파라미터 오픈 모델을 강화학습으로 훈련해 질의 하나에 하위 질의 10개를 내게 해요. 보상은 셋을 섞은 합성 점수예요. 하위 질의가 실제 데이터베이스에 있는 항목과 가까운지 재는 접지, 벤디 점수로 재는 다양성, 원래 질의에서 벗어나지 않았는지 보는 정렬이고, 논문에 적힌 기본 가중치는 접지 0.6에 다양성과 정렬 각 0.2예요. 최적화는 그룹 상대 정책 최적화에 소프트 PPO 정칙화를 얹은 소프트 GRPO로 했어요. 둘째 단계에서는 훈련이 끝난 이 모델을 얼려 두고 오프라인에서 질의와 목표 집합 쌍을 만들어요. 사람 라벨은 하나도 안 들어가요. 저자들이 심사 답변에 적은 바로는 질의마다 온도 0.9로 128개 샘플을 뽑아 최고 궤적 하나가 아니라 분포 전체를 학습 데이터로 썼어요. 셋째 단계에서 5390만 파라미터 디퓨전 모델이 질의 임베딩에서 목표 임베딩 묶음으로 곧장 가는 법을 배우고, 추론 때는 자기회귀 없이 한 번에 열 방향을 만들어 최근접 이웃으로 실제 항목을 찾아요.

보상 설계에서 저자들이 가장 힘줘 말한 대목은 편법 방지예요. 지앙과 리는 "다양성 항이 없으면 모델은 데이터베이스의 벡터 좌표를 수학적으로 악용하려고 line ending line ending 같은 무의미한 문자열을 만드는 쪽으로 금세 무너져요" 라고 썼어요. 접지에 정렬만 더하면 이번에는 원래 질의를 바꿔 말하기만 반복하며 더 빨리 무너졌고, 셋을 같이 걸어야 정책이 실제 항목에 닿으면서도 서로 다른 방향을 찾는 균형 지점으로 밀려났다는 거예요. 논문의 가중치 실험에서는 접지가 너무 크면 정렬이 무너지고 정렬과 다양성이 너무 크면 탐색이 줄었어요.

성능은 두 과제로 쟀어요. 정답이 없는 개방형 추상 검색에서는 Gemini-2.5-Pro를 심판으로 세워 다양성과 정렬, 접지를 5점 척도로 매겼고, 약한 참조 집합이 있는 조합 검색에서는 리콜과 적중률을 봤어요. 데이터는 사용자가 꾸민 코디 묶음인 패션 벤치마크 Polyvore와 전문가가 만든 사내 음악 플레이리스트예요. 논문 표를 보면 Gemma3-4B 기준 패션 과제 평균 점수는 제로샷 38.5, 후보 다섯 개 중 최고를 고르는 Best-of-N 40.9였는데 강화학습을 거친 R4T 모델은 49.1이었고 다양성 점수는 56.0에서 76.8로 올랐어요. 음악에서는 평균이 48.1에서 58.1로 갔어요. 조합 검색의 상위 5000개 리콜은 Gemma가 6.0에서 16.9로, Qwen이 10.1에서 20.9로 올라 Gemini-2.5-Flash의 15.7을 넘었고, 증류된 디퓨전 모델도 15.0과 16.5를 냈어요. 속도는 더 극적이에요. 자기회귀 모델은 배치 8에서 1.46초, 배치 1024에서 50초 가까이 걸렸는데 디퓨전 모델은 각각 0.07초와 4.21초였어요.

엔지니어 관점에서 이 논문의 진짜 주장은 강화학습을 어디에 두느냐예요. 지앙과 리는 "강화학습은 온라인 추론 엔진이 아니라 한 번 쓰는 목적 변환기로 쓸 때 매우 효과적일 수 있다는 것을 보여 줬어요" 라고 썼어요. 보상으로 행동을 찾는 무거운 계산과 실제로 배포되는 모델을 떼어 놓으면, 사람이 라벨을 달 수 없는 집합 단위 목표도 지도학습 데이터로 바꿀 수 있다는 논리예요. 메탈은 구글이 도구 사용 데이터를 만들 때도 답을 먼저 만들고 질문을 붙이는 거꾸로 된 합성 방식을 택했다고 보도한 바 있어요. 두 연구 모두 라벨이 없는 곳에서 데이터를 스스로 지어내는 방향이에요.

심사 기록에는 이 방식이 논문 밖으로 나가려면 무엇이 더 필요한지가 적혀 있어요. 오픈리뷰에 따르면 논문은 정식 채택됐지만 심사 총평은 약한 채택을 권했고, 한 심사위원은 다양성이나 정렬 같은 의미 지표가 좋아진 것이 클릭률이나 전환율 같은 실제 서비스 지표로 이어지는지 논문이 보여 주지 않았다며 답변 뒤에도 점수를 유지했어요. 저자들은 답변 과정에서 사람 평가를 추가했어요. 모델 계열마다 넓은 질의 35개에 평가자 5~6명을 붙여 총 419건을 매겼고, Qwen 기준 다양성 점수가 2.74에서 3.26으로 올라 p값 0.0003을 기록했지만 Gemma는 3.48에서 3.75로 p값 0.08에 그쳤어요. 논문 부록은 데이터베이스가 아주 크거나 자주 바뀌면 강화학습 단계 비용이 커지고, 창의성이나 문화적 민감성처럼 스칼라 보상으로 적기 어려운 선호는 담기 힘들며, 개방형 과제 평가가 언어 모델 심판에 기댄다고 적었어요. 저자들은 서비스 환경이라면 1단계 보상에 클릭률 대리 지표나 사용자 피드백으로 배운 보상 모델을 넣을 수 있다고 답했고, 그 연결이 실제 검색창에서 되는지가 이 프레임워크의 다음 시험이에요.