추측 디코딩

추측 디코딩은 AI가 문장을 만들 때, 작고 빠른 보조 모델이 먼저 몇 단어를 미리 써두고 크고 똑똑한 모델은 그걸 검증만 해서 속도를 높이는 방식이다.

회사 업무에 비유하면 이렇다. 신입 사원이 초안 몇 문장을 빠르게 써서 팀장에게 가져간다. 팀장은 처음부터 한 글자씩 직접 쓰는 대신, 초안을 쭉 훑어보고 맞는 부분은 그대로 통과시키고 틀린 부분부터만 다시 손본다. 팀장이 모든 문장을 혼자 쓰는 것보다 훨씬 빨리 끝난다.

AI에서도 똑같은 일이 벌어진다. 크고 무거운 모델이 단어를 한 개씩 순서대로 만들면 시간이 오래 걸린다. 그래서 가볍고 빠른 보조 모델(흔히 드래프터라 부른다)이 몇 단어를 앞서 예측해두고, 원래의 큰 모델은 그 예측을 한 번에 검토해 맞으면 채택하고 틀리면 그 지점부터 직접 이어 쓴다. 최종 결과물의 품질은 큰 모델이 혼자 쓴 것과 동일하지만, 걸리는 시간은 크게 줄어든다. 그래서 로컬 컴퓨터나 개인 GPU처럼 처리 능력이 제한된 환경에서 대형 모델을 돌릴 때 자주 함께 쓰인다.

기사에서는 "DFlash, DSpark 같은 추측 디코딩 기법으로 에이전트 작업 속도를 끌어올렸다"처럼 등장한다. 오해하기 쉬운 점 하나: 추측 디코딩은 AI가 아무 말이나 대충 추측해서 내놓는다는 뜻이 아니다. 답의 품질은 큰 모델이 검증한 것과 똑같이 유지하면서, 만드는 속도만 끌어올리는 절차다.