추론 모델

보통의 언어 모델은 질문을 받자마자 답을 씁니다. 추론 모델은 다릅니다 — 답하기 전에 「혼자 생각하는 시간」을 갖습니다. 문제를 쪼개고, 여러 풀이를 시도하고, 자기 답을 검토한 뒤에 최종 답을 내놓습니다.

퀴즈쇼에 비유하면, 일반 모델은 버저를 먼저 누르고 보는 참가자, 추론 모델은 연습장에 풀어 보고 손을 드는 참가자입니다. 당연히 느리고 비용(토큰)도 더 들지만, 수학·과학·코딩처럼 단계적 사고가 필요한 문제에서 정답률이 크게 오릅니다.

2024년 오픈AI의 o1을 시작으로 업계 전체가 이 방향으로 움직였습니다. 요즘 챗봇에 있는 「생각 모드」 「추론 모드」 토글이 이것이고, 기사에서 「생각 시간(thinking time)을 늘리면 성능이 오른다」는 문장을 만나면 추론 모델 이야기입니다.

「추론 모델이 국제수학올림피아드 문제를 풀었다」 — 오래 생각할수록 어려운 문제를 푸는 능력이 는다는, 이 장르의 대표 화법입니다.

1. 챗봇의 모델 선택에서 「생각(thinking)」 「추론」이 붙은 모드를 골라 보세요.
2. 이렇게 물어보세요: 「9.11과 9.9 중 어느 수가 더 큰지, 판단 과정을 보여 주며 답해 줘」
3. 일반 모드와 답이 나오기까지의 시간·과정이 어떻게 다른지 비교해 보세요.