METAL

오픈AI, GPT-6.2 추론 항목 보존 규칙 공개

GPT-6.2부터 Responses API의 추론 항목은 앞선 대화 기록에 묶이고, 그 기록을 고치면 뒤따르는 추론이 지워진다. 외부 개발자 실측에서는 도구 결과를 비우는 압축이 추론을 모두 날렸다.

오픈AI, GPT-6.2 추론 항목 보존 규칙 공개 · Image: METAL LAB

이미지: METAL

요약

  • 오픈AI는 11월 19일 GPT-6.2부터 각 추론 항목이 앞선 대화 기록에 묶여, 앞 메시지를 고치면 API가 뒤따르는 추론을 버린다고 밝혔다.
  • 접두부 편집 외에 모델 다운그레이드, 사용자·조직 변경, safety_identifier 변경도 추론 삭제 사유이며 원인은 input_transformations에 남는다.
  • 인스펙트 개발자 매트 브랜들리의 실측에서 도구 결과를 비우는 편집형 압축은 남겨 둔 추론을 prefix_mismatch로 잃었고, 오픈AI 기본 압축은 추론을 유지한다.
발표
2026년 11월 19일 · @OpenAIDevs X 글 + 10초 시연 영상 · GPT-6.2 사용하기·추론 모델 가이드
대상
GPT-6.2 Astra · Sol(11월 17일 출시) · Responses API
추론 삭제 사유
접두부 편집 · 다운그레이드 포함 일부 모델 변경 · 최종 사용자·조직 변경 · safety_identifier 변경
해당 안 됨
이전 항목 통째 삭제 · 추론 항목 뒤 새 항목 추가
진단
input_transformations · prefix_mismatch · model_mismatch
권장
configuration_update로 추론 강도 조정 · 재사용 지침은 첫 developer 메시지 · /responses/compact 기본 압축
시연 영상
get_forecast 기록 뒤 추가 · 추론 유지 · 0.9초 · 추론 토큰 120개
외부 실측
매트 브랜들리 · 인스펙트 PR · gpt-6.2-sol · 요청당 추론 최대 4개 재전달 · 편집형 압축 시 삭제 · 11월 18일 병합
앤스로픽
Claude Fable 5.1+ · Opus·Sonnet·Haiku 5.5+ 도 편집된 내용 뒤 사고 과정 버림(인스펙트 문서)

오픈AI가 11월 19일 GPT-6.2를 Responses API로 쓰는 에이전트의 추론 항목 보존 규칙을 공개했다. 최신 프런티어 모델부터 각 추론 항목은 그 앞의 대화 기록에 묶인다. 개발자가 앞선 메시지를 고치면 API는 그 뒤에 이어진 추론을 버린다. 오픈AI 개발자 계정은 X에서 "Responses API에서 GPT-6.2를 쓰는 에이전트는 앞선 추론을 이어받아 더 적은 토큰과 더 많은 캐시 적중으로 더 나은 결과를 낸다"고 밝혔다. GPT-6.2 Astra와 Sol은 11월 17일 출시됐다.

오픈AI 개발자 문서에 따르면 GPT-6.2부터 추론 항목이 사라지는 경우는 네 가지다. 대화 도중 이전 기록을 고치는 접두부 편집, 다운그레이드를 포함한 일부 모델 변경, 최종 사용자나 조직의 변경, safety_identifier 값의 변경이다. 접두부는 추론 항목 앞에 놓인 대화 기록을 말한다. 오픈AI는 도구 실행 결과를 줄이거나 개발자 메시지를 다시 쓰거나 오래된 턴을 요약으로 바꾸는 일을 접두부 변경의 예로 들었다. 나머지를 건드리지 않고 이전 항목을 통째로 지우거나 추론 항목 뒤에 새 항목을 붙이는 것은 여기에 해당하지 않는다.

추론이 사라지면 모델은 앞선 작업을 다시 해야 한다. 문서는 이 경우 답변 품질이 떨어지고 같은 일을 반복하느라 토큰을 더 쓸 수 있다고 적었다. 추론 토큰은 API에서 내용을 볼 수 없지만 컨텍스트 윈도우를 차지하고 출력 토큰으로 과금된다. 모델 제품군을 바꾸거나 성능이 낮은 모델로 갈아타거나 조직과 사용자가 바뀔 때 추론을 지우는 것은 모델 증류를 막기 위한 보호 조치의 하나라고 문서는 설명했다.

원인을 확인할 장치도 붙었다. 추론 항목이 의도치 않게 지워지면 응답의 input_transformations 필드에 사유가 남고, 추론 항목 앞 내용을 넣거나 고친 경우는 prefix_mismatch로 표시된다. 추론 강도를 바꾸고 싶을 때는 요청의 reasoning.effort를 고치는 대신 응답 사이에 configuration_update를 넣으라고 오픈AI는 권했다. 그래야 프롬프트 캐싱에 쓰는 원래 접두부가 유지된다. 최상위 instructions 필드도 GPT-6.2부터 input 뒤에 붙기 때문에, 재사용할 지침은 input 첫 항목의 developer 메시지로 옮겨야 캐싱 대상이 된다. 메탈은 오픈AI가 GPT-6.2 Astra와 Sol을 출시한 소식을 보도한 바 있다.

메탈이 확인한 오픈AI의 10초 시연 영상은 이 규칙을 날씨 질문 하나로 보여 준다. 미국 사용자에게 화씨로 답하라는 developer 메시지와 파리 날씨 질문이 앞선 기록으로 고정된 상태에서, 예보 도구 get_forecast를 기록 뒤에 덧붙이자 추론 항목이 유지됐다는 표시가 뜬다. 화면 아래에는 0.9초, 추론 토큰 120개가 찍혔다. 영상은 접두부 편집을 피해 추론을 재사용하고 토큰을 아끼라는 문구로 끝난다.

외부 개발자의 실측도 나왔다. 오픈소스 AI 평가 도구 인스펙트(Inspect)에 수정안을 낸 개발자 매트 브랜들리는 gpt-6.2-sol로 에이전트를 돌리며 모든 호출을 기록했다. 압축을 쓰지 않았을 때는 요청마다 추론 항목이 최대 4개 다시 전달됐고 API가 지운 항목은 없었다. 오래된 도구 결과를 비우는 편집형 압축을 켜자 남겨 둔 추론 항목 하나가 다음 요청에서 prefix_mismatch로 지워졌다. 브랜들리는 "GPT-6.2에서는 도구 결과를 비우고 나면 keep_thinking_turns 설정이 아무것도 남기지 못한다"고 적었다. 그는 추론 강도를 medium에서 high로 바꾸거나 같은 세대의 gpt-6.2-astra로 넘겼을 때는 추론이 지워지지 않았고, gpt-6.1-sol이나 gpt-5.5로 넘기면 model_mismatch로 지워졌다고 밝혔다. 그의 수정안은 11월 18일 병합됐고, 인스펙트는 이제 API가 추론을 지웠다고 알리면 경고를 띄운다.

GPT-6.2 Astra 시연 화면, 대화 기록 뒤에 예보 도구를 덧붙이자 추론 항목이 유지됐다는 표시와 추론 토큰 120개

해법으로는 오픈AI의 기본 압축 기능이 꼽힌다. 브랜들리는 오픈AI 접두부 안내서를 인용해 /responses/compact로 압축하면 그 뒤의 추론이 유지된다고 정리했다. 요약형 압축도 문제가 없는데, 추론이 요약되는 메시지와 함께 사라지기 때문이다. 그는 앤스로픽 API에서도 Claude Fable 5.1 이상과 Opus, Sonnet, Haiku 5.5 이상이 편집된 내용 뒤의 사고 과정을 버린다고 문서에 적었다. AI 저술가 카를로스 E. 페레스는 X에서 "예전 GPT-5나 GPT-6 시스템 프롬프트를 그대로 붙여 넣으면 지나치게 압축된 답변, 멈춰 선 에이전트, 깨진 프롬프트 캐싱을 얻게 된다"고 경고했다. 그는 "대화 도중 앞선 메시지를 절대 고치지 말라, 그러면 API가 저장된 추론 항목을 버린다"고 덧붙였다.

AI 엔지니어의 눈으로 보면 이번 변화는 대화 기록을 고쳐 쓰던 습관을 덧붙이는 습관으로 바꾸라는 요구다. 많은 에이전트 프레임워크가 컨텍스트를 아끼려고 오래된 도구 결과를 줄이거나 요약으로 갈아 끼워 왔는데, GPT-6.2에서는 그 작업이 캐시 적중과 추론을 한꺼번에 잃게 만든다. 지침을 바꿔야 하면 원래 developer 메시지를 고치지 말고 예전 지침 대신 새 지침을 따르라는 메시지를 뒤에 붙이라는 것이 오픈AI의 안내다. 도구 결과는 모델이 처음 보기 전에 다듬고, 긴 대화는 오픈AI 기본 압축에 맡기는 쪽이 안전하다. 같은 원칙이 앤스로픽 최신 모델에도 적용되고 있어, 자체 압축 계층을 둔 개발팀은 input_transformations와 캐시 진단부터 들여다볼 필요가 있다.

김현국

METAL 발행인 · 아카이브저널 발행인 · 이라선 운영

매거진·서점·교육을 오래 해 온 편집자예요. 라이프스타일 매거진 <아카이브저널>을 발행하고, 아트 서점 <이라선>을 운영했으며, 라이카 아카데미에서 디렉터로 사진 교육 프로그램을 만들고 이끌었어요. 그 시선으로 전 세계 AI 소식을 독자에게 전하는 메탈(METAL) 매거진 편집장입니다.

이 에디터의 기사 더 보기 →

공유

댓글

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.