Summary
- Instead of sampling video at a fixed frame rate, the model now decides for itself which parts of the visuals, audio, and captions matter, cutting token use by up to 88%, cost by up to 66%, and boosting accuracy by up to 7%.
- The feature is live now in Google AI Studio and the Gemini Enterprise Agent Platform API — just set the processing mode to "agentic" — and will roll out next to the Gemini app and YouTube's "Ask YouTube" feature.
This story is published in Korean. English editions are rolling out — the original text follows below.
정적 재생에서 에이전트 탐색으로
지금까지 제미나이는 영상을 초당 1프레임(API로 조정 가능)이라는 고정된 속도로 처음부터 끝까지 훑어봤는데요, 이번 기능을 켜면 모델이 화면·음성·자막 가운데 무엇을, 어느 속도로, 어느 구간만 볼지 스스로 정해요. 구글은 이 방식으로 토큰 소비를 최대 88%, 분석 비용을 최대 66% 줄이면서 정확도는 최대 7% 끌어올렸다고 설명했어요.
왜 긴 영상일수록 효과가 큰가
10분짜리 사용법 영상부터 90분 강의, 몇 시간짜리 녹화본까지 다루는 개발자들은 그동안 딜레마에 놓여 있었어요. 프레임을 촘촘히 넣으면 토큰 비용이 치솟고, 듬성듬성 넣으면 중요한 장면을 놓치는 식이었죠. 에이전트형 처리는 모델이 내부 도구를 호출해 영상 파일에서 필요한 부분만 불러오는 방식으로 이 딜레마를 풀었다고 구글은 밝혔어요. 초 단위로 특정 순간을 찾아내는 모먼트 리트리벌, 빠른 동작의 정확한 횟수 세기, 이상 행동 탐지처럼 기존 방식으로는 비용이 부담스러웠던 작업이 이제 가능해진 셈이에요. 구글은 앞서 이미지 쪽에 코드 실행과 네이티브 이미지 이해를 결합한 '에이전트형 비전'을 내놓은 적이 있는데, 이번 기능은 그 접근을 영상으로 확장한 결과라고 설명했어요.
표로 보는 정적 처리와 에이전트 처리
| 구분 | 정적 처리(기존) | 에이전트 처리(신규) |
|---|---|---|
| 프레임 방식 | 고정 초당 1프레임(API 조정 가능) | 필요한 구간을 동적으로 재탐색 |
| 토큰 소비 | 기준값 | 최대 88% 감소 |
| 분석 비용 | 기준값 | 최대 66% 절감 |
| 정확도 | 기준값 | 최대 7% 향상 |
구글에 따르면 장문 영상 이해 벤치마크인 LongVideoBench에서 3.7 플래시에 에이전트 처리를 얹었을 때 토큰 소비가 크게 줄면서 정확도도 함께 올라갔고, 세 모델 가운데 3.7 플래시가 정확도 대비 비용 효율에서 가장 앞선 지점(파레토 프론티어)에 섰다고 해요.
지난달 나온 3.7 플래시 위에 얹은 기능
당시 Artificial Analysis Intelligence Index에서 56점(high 추론 기준)을 받아 전작 3.6 플래시(52점)보다 4점 올랐고, 과제당 평균 소요 시간은 2.0분에서 1.7분으로 줄었죠. 이번 에이전트형 영상 이해는 이 3.7 플래시를 포함한 플래시 계열 세 모델에 공통으로 적용되는 새 처리 방식이라, 모델 자체의 지능은 그대로 두고 영상을 다루는 방식만 바꾼 업데이트로 보면 돼요.
어떻게 써보나
에이전트형 영상 이해는 별도 앱이 아니라 API 설정값이에요. 지금은 개발자용 창구에서만 켤 수 있어요.
① 어디서 시작하나 — Google AI Studio나 Gemini Enterprise Agent Platform의 제미나이 API 설정 화면에서 시작해요.
② 단계별 사용 순서
- Google AI Studio 또는 Gemini Enterprise Agent Platform에 API 키로 접속해요.
- 제미나이 3.7 플래시, 3.6 플래시, 3.5 플래시라이트 중 쓰고 싶은 모델을 골라요.
- 분석할 영상을 업로드하거나 유튜브 영상 URL을 입력해요.
- API 설정(configuration)의 처리 방식 항목을 "agentic"으로 지정해요.
- 요청을 보내면 모델이 구간을 스스로 오가며 답을 만들어 돌려줘요.
③ 누가 쓸 수 있나 — 오늘부터 위 세 모델을 API로 쓰는 개발자는 곧바로 이용할 수 있어요. 요금은 기존 제미나이 API 토큰 가격 그대로고, 이 기능만 따로 붙는 요금은 없다고 구글은 밝혔어요. 다만 일반 소비자용 제미나이 앱에는 아직 붙어 있지 않고, 플래시·플래시라이트 모델을 쓰는 앱 사용자에게 곧 순차 적용될 예정이에요.
④ 무엇을 해볼 수 있나 — 예를 들어 90분짜리 강의 영상에서 특정 개념이 나온 순간만 초 단위로 찾아낼 수 있고, 운동 영상에서 빠르게 반복되는 동작의 횟수를 다시 돌려보며 정확히 셀 수 있어요. 보안 카메라 녹화본처럼 긴 영상에서 이상 행동을 짚어내는 작업에도 쓸 수 있다고 구글은 소개했어요.
유튜브까지 번지는 계획
구글은 이 기능을 유튜브의 'Ask YouTube' 기능에도 앞으로 몇 달 안에 적용할 계획이라고 밝혔어요. 영상 시청 화면에서 질문하면 화면 속 내용에 더 정확히 근거한 답을 내놓겠다는 목표인데요, 개발자 API에서 시작해 일반 앱, 그리고 유튜브까지 넓혀가는 순서로 보면 돼요. 더 자세한 설정법은 개발자 가이드에 담겨 있어요.
공식 원본 영상
에디터의 시선
이번 발표에서 눈여겨볼 대목은 숫자보다 방향이에요. 구글은 이미지 쪽에서 코드 실행과 결합한 '에이전트형 비전'을 먼저 내놨고, 이번에 그 발상을 영상으로 그대로 옮겼어요. 모델이 스스로 무엇을 볼지 판단하게 만드는 흐름은 텍스트 검색에서 시작해 이미지를 거쳐 영상까지 번지고 있는 셈이고, 다음 차례는 아마 오디오나 실시간 스트림일 거예요.
영상을 다루는 API를 실무에 붙여 본 사람이라면 이 문제가 낯설지 않을 거예요. 90분짜리 영상을 초당 1프레임으로 밀어 넣으면 토큰 비용이 감당하기 어려운 수준까지 뛰고, 그렇다고 프레임을 듬성듬성 넣으면 중요한 장면 하나를 놓쳐 결과 전체가 틀어져요. 지금까지는 이 균형을 개발자가 직접 코드로 짜야 했는데, 이번 업데이트는 그 판단 자체를 모델 안으로 옮긴 거예요. 개발 공수가 줄어드는 폭이 토큰 절감폭보다 실제로는 더 클 수 있어요.
국내에서 영상 요약, 강의 검색, 매장·창고 모니터링처럼 긴 영상을 다루는 서비스를 제미나이 API로 만들고 있다면, 계약이나 요금 변경 없이 API 설정값 하나만 바꿔서 먼저 비용 절감 효과를 확인해볼 수 있어요. 다만 소비자용 제미나이 앱과 유튜브 적용은 아직 시점이 정해지지 않았으니, 앱 단에서 이 기능을 기대하는 서비스라면 조금 더 기다려야 해요. 앞으로 몇 달 안에 'Ask YouTube'에 이 기능이 실제로 붙는지, 그리고 오픈AI나 앤스로픽 쪽에서도 비슷한 동적 프레임 샘플링 기능을 내놓는지가 이 흐름이 업계 표준이 되는지를 가늠할 다음 신호예요.
Comments