이미지: METAL
요약
- 딥시크가 V4.1-Flash를 MIT 라이선스 오픈웨이트로 공개하고, 한 달 전 낸 1조 6천억 파라미터 V4-Pro는 접기로 했어요. 9월 14일부터 V4-Pro 요청은 전부 새 모델이 처리해요.
- 백본은 5,520억 개로 3분의 1이지만 KV 캐시를 토큰당 890바이트까지 줄였어요. 직전 세대의 4분의 1이고, 40개 층을 인코더 20개와 디코더 20개로 가른 구조가 그 근거예요.
- Terminal-Bench 2.1에서 90.6으로 오퍼스 5(89.1)를 앞섰지만 Terminal-Bench 4.0은 31.2로 오퍼스 5(51.8)에 크게 못 미쳤어요. 저장된 지식을 재는 평가에서는 V4-Pro보다도 낮아요.
- 모델
- DeepSeek-V4.1-Flash · MoE 백본 5,520억 개 · 활성 입력 80억/생성 160억 · 문맥 100만 토큰 · 이미지+텍스트 네이티브 · MIT 라이선스
- 구조
- 인과 인코더 디코더(CED) 40층 = 인코더 20 + 디코더 20 · CSA2 희소 어텐션 · FP4 KV 캐싱 · 공유 전문가 1 + 라우팅 384 중 토큰당 6개 활성
- KV 캐시
- 토큰당 890바이트 — 직전 V4-Flash 대비 약 4분의 1, 첫 세대 V1 대비 437분의 1
- 앞선 평가
- Terminal-Bench 2.1 90.6(오퍼스5 89.1) · DeepSWE v1.1 74.2(74.0) · AutomationBench 54.8(50.3) · 코드포스 3471(V4-Pro 3348)
- 뒤진 평가·전환
- Terminal-Bench 4.0 31.2(오퍼스5 51.8) · HLE 36.8(56.3) · SimpleQA-Verified 42.3(V4-Pro 55.2) · 9월 14일 베이징 정오부터 V4-Pro 요청 전량 이관
AI 모델을 만드는 딥시크가 새 모델 V4.1-Flash를 MIT 라이선스로 공개하면서, 한 달 전에 정식 출시한 플래그십 V4-Pro를 접기로 했어요. V4-Pro는 백본 파라미터가 1조 6천억 개인데 새 모델은 5,520억 개로 3분의 1 수준이에요. 회사는 허깅페이스 모델 카드에 가중치와 기술 리포트를 함께 올렸고, 9월 14일 베이징시간 정오부터 V4-Pro로 들어오는 요청을 모두 새 모델로 넘긴다고 API 문서에 적었어요.
기술 리포트의 제목이 이 모델의 정체를 말해 줘요. KV 캐시 압축의 한계를 밀어붙였다는 제목이에요. KV 캐시는 모델이 앞서 읽은 내용을 기억해 두는 임시 저장 공간인데, 문맥이 길어질수록 메모리를 잡아먹어서 비용과 속도를 좌우해요. 딥시크는 이 저장 공간을 토큰 하나당 890바이트까지 줄였다고 밝혔어요. 직전 세대인 V4-Flash의 약 4분의 1이고, 첫 세대 V1과 비교하면 437분의 1이에요.
줄인 방법은 모델을 두 토막으로 나눈 데 있어요. 회사는 이 구조를 인과 인코더 디코더라고 부르고, 40개 층을 앞의 20개 인코더와 뒤의 20개 디코더로 갈랐어요. 회사는 "디코더의 글로벌 KV 캐시가 각 디코더 층의 자체 은닉 상태에서 나오는 대신 최종 인코더 은닉 상태에서 투영됩니다"라고 적었어요. 층마다 따로 기억을 쌓지 않고, 앞쪽이 정리해 넘긴 것을 뒤쪽이 받아 쓰는 셈이에요.
이 설계가 만드는 차이는 활성 파라미터 수에서 드러나요. 입력을 읽어 들이는 단계에서는 토큰당 80억 개만, 답을 만들어 내는 단계에서는 160억 개만 켜져요. 회사는 이 비대칭이 입력이 많은 에이전트 작업의 비용 효율을 크게 높인다고 설명했어요. 문맥은 100만 토큰까지 받고, 이미지도 텍스트와 함께 처음부터 같이 학습해 바로 처리해요.
메탈이 확인한 모델 카드의 비교표에서 새 모델이 앞선 자리는 에이전트 쪽에 몰려 있어요. 터미널 작업을 다루는 Terminal-Bench 2.1에서 90.6을 기록해 클로드 오퍼스 5의 89.1과 GPT-5.6 Sol의 88.8을 넘었어요. 코드 수정 과제인 DeepSWE v1.1은 74.2로 오퍼스 5의 74.0과 거의 같고, 업무 자동화를 재는 AutomationBench는 54.8로 오퍼스 5의 50.3을 앞섰어요. 코드포스 레이팅은 3471로 V4-Pro의 3348보다 높아요.
같은 표에 진 자리도 그대로 실려 있어요. 여러 단계를 거치는 Terminal-Bench 4.0에서는 31.2로 오퍼스 5의 51.8에 20포인트 넘게 못 미쳤고, 전문가 문제를 모은 HLE는 36.8로 오퍼스 5의 56.3과 격차가 커요. 모델 자체에 든 지식을 재는 SimpleQA-Verified에서는 42.3으로 V4-Pro의 55.2보다 낮아요. 백본이 3분의 1이니 외워 둔 지식에서는 큰 모델이 앞서는 셈이에요.
모델 카드에는 이 숫자들을 어떻게 읽어야 하는지 알려 주는 표가 하나 더 있어요. 같은 모델을 여덟 가지 에이전트 껍데기에 얹어 DeepSWE v1.1을 돌린 결과인데, 점수가 65.6에서 74.2까지 갈렸어요. 딥시크가 발표에 쓴 74.2는 mini-SWE 기준이고, 클로드 코드로 돌리면 69.8이에요. 메탈은 딥시크가 클로드 코드를 겨냥해 하니스팀을 새로 꾸린 일을 보도한 바 있는데, 그 팀이 만든 자체 하네스 DSH Minimal은 Terminal-Bench 2.1에서 90.6으로 클로드 코드의 88.0보다 높게 나왔어요.
성능이 오른 자리를 회사는 알고리즘이 아니라 데이터에서 찾았어요. 후처리는 지도학습과 강화학습, 정책 내 증류라는 표준 순서를 그대로 따랐고 알고리즘은 손대지 않았다고 밝혔어요. 대신 에이전트 과제와 실행 환경을 대규모로 자동 합성해 데이터와 과제, 롤아웃을 단계적으로 늘렸어요. 사전학습은 멀티모달 데이터 45조 토큰으로 했고, 희소 어텐션은 6만 4천 토큰 길이로 훈련한 뒤 34조 토큰 지점에서 100만 토큰까지 늘렸어요.
V4-Pro를 접는 일정은 문서에 날짜까지 적혀 있어요. 9월 14일 베이징시간 정오부터 deepseek-v4-pro로 오는 요청은 전부 새 모델이 처리하고 요금도 새 모델 기준으로 매겨져요. 회사는 "V4.1 Flash가 성능과 비용, 속도, 총 소요 시간에서 V4-Pro를 전면적으로 넘어섰습니다"라고 적었어요. 메탈은 V4-Pro가 추론 강도를 3단계로 조절하며 정식 출시된 일을 보도한 바 있는데, 그 플래그십이 한 달 만에 자리를 내주는 셈이에요.
정리하면 딥시크는 3분의 1 크기 모델로 자기 플래그십을 대체하고, 그 근거를 KV 캐시 압축에서 찾았어요. 에이전트 과제에서는 최상위 모델을 앞서는 자리가 여럿 나왔지만, 긴 추론과 저장된 지식에서는 격차가 남아 있어요. 앞으로 볼 것은 두 가지예요. 9월 14일 전환이 쓰는 쪽에서 성능 하락 없이 지나가는지, 그리고 껍데기에 따라 8포인트 넘게 갈리는 에이전트 점수를 업계가 어떤 기준으로 비교하게 되는지예요.
댓글