AI의 수학 풀이 과정을 한 줄 한 줄 뜯어보고 어떤 전략을 쓰는지, 어떤 해석에 갇혀 있는지 표시해서 정답 여부와 강화학습의 부작용까지 드러내는 분석 틀

arXiv:2608.286002026-09-01

SHAPE of Chain-of-Thought in Math Reasoning

SHAPE는 LLM의 CoT(생각의 흐름)를 수학교육 연구에서 가져온 두 축으로 분석한다. 하나는 '의미 공간'(문제를 대수적으로 보는지 기하적으로 보는지 같은 현재 해석), 다른 하나는 '휴리스틱'(거꾸로 풀기, 단순화하기 같은 구체적 행동)이다. 자동화된 라벨링 파이프라인으로 이를 측정한 결과, 휴리스틱 기반 특징이 CoT 길이 같은 표면적 특징보다 정답 여부를 더 잘 예측했고, 강화학습으로 후속훈련된 모델은 이미 base 모델에 있던 휴리스틱 범위로 오히려 좁아졌으며, 휴리스틱 정보를 훈련에 직접 넣은 방법(HA-Plan-GRPO)이 정확도를 높였다.

베이스 모델은 다양한 휴리스틱을 골고루 쓰지만, 강화학습으로 후속훈련하면 그중 좁은 부분집합에만 몰린다. 반면 훈련 과정에 휴리스틱 정보를 직접 넣어주면 정확도가 오히려 오른다. — METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

SHAPE는 CoT 텍스트를 두 개념으로 분석한다. '의미 공간'은 모델이 문제를 현재 어떻게 해석하는지(대수적/기하적 등)를, '휴리스틱'은 거꾸로 풀기, 기호 도입, 특수한 경우 확인 같은 구체적 행동을 가리킨다.
Grok-4.1-Fast, Qwen3.5-27B 같은 모델로 만든 자동화 파이프라인이 CoT를 작은 단위로 나누고 각 단위에 휴리스틱 라벨을 붙이고, 새로운 의미 공간을 여는지, 이전 공간으로 돌아가는지, 현재 공간을 유지하는지를 추적한다. 이는 48개 궤적을 사람이 직접 표시한 골드셋으로 검증됐다.
SHAPE의 휴리스틱 빈도 특징으로 학습한 로지스틱 회귀는 정답 예측에서 AUROC 0.664를 기록해, CoT 길이(0.504), 길이+추론토큰 특징(0.503), 'wait'·'aha' 같은 자기수정 표현(0.618), 기존 에피소드 라벨 기법 ThinkARM(0.618)을 모두 앞섰다.
base 모델과 강화학습 후속훈련(Think-RLVR) 모델의 휴리스틱 사용 패턴을 Density·Coverage 지표로 비교했더니, 테스트한 모든 후속훈련 쌍에서 Density가 1.0을 넘고 Coverage는 1.0 미만이었다. 이는 후속훈련이 새로운 전략을 만들어내는 게 아니라 base 모델이 이미 갖고 있던 전략의 좁은 영역으로 몰린다는 뜻이다. 서로 관련 없는 모델 쌍을 비교한 대조군은 Density 0.520, Coverage 0.437로 낮게 나와 이 패턴이 base-후속훈련 관계에서만 특별히 나타남을 확인했다.
Qwen3-1.7B-Base를 GRPO로 MATH 문제에 훈련시킬 때, 롤아웃 프롬프트에 휴리스틱 정보를 명시적으로 넣은 HA-Plan-GRPO가 휴리스틱 정보 없이 계획 단계만 추가한 Plan-GRPO보다 MATH-Perturb 테스트에서 Avg@64와 Pass@64 모두 높게 나왔다(예비 결과로 보고됨).

Figure 1: Illustrative example of SHAPE annotation applied to a synthetic CoT trace. The solver first sets up an algebraic formulation (Space 1), introducing a system of equations. It then abandons this approach and switches to a trial-based counting strategy (Space 2). Finally, it returns to the algebraic formulation (Space 1) and solves the system. We refer to each problem-solving interpretation as a semantic space—a distinct mathematical interpretation defined by the objects, goals, and constraints the model adopts. Within each space, individual steps are tagged as heuristics—purposeful mathematical actions such as introducing a representation (H3a) or exploring particular cases (H9a)—or as non-heuristic steps such as stating the answer (N4). The arrows mark transitions between these spaces. For the full heuristic taxonomy, see Appendix A.

Table 1: Correctness prediction under 5-fold stratified cross-validation. “Length + reasoning” includes CoT length together with reasoning features (reasoning-token count and proportion), while “Self-revision” includes self-revision features derived from lexical self-revision markers. Within SHAPE, H denotes the 11 heuristic categories (H1–H11) and N the non-heuristic category.
Feature Set	AUROC ↑	# Features
Length	0.504±0.03	1
Length + reasoning	0.503±0.03	3
Self-revision	0.618±0.03	3
ThinkARM	0.618±0.02	8
SHAPE (H)	0.653±0.02	11
SHAPE (H+N)	0.664±0.02	12

Figure 2: Overview of the automated SHAPE analysis pipeline. Given a Chain-of-Thought (CoT) trajectory, the pipeline first segments the text into content units corresponding to heuristic-bearing spans. It then assigns one or more heuristic labels to each unit using a tagging model. Finally, a semantic-space state tracking model classify the model’s mathematical interpretation change into Maintain, New, or Return.

Table 2: Descriptive statistics of SHAPE metrics by correctness. Nspaceeff: effective number of semantic spaces; Ntranseff: effective number of semantic-space transitions; transition ratio ρ: measuring the intensity of revisiting semantic space. (C), (I), and (O) denote correct, incorrect, and overall trajectories.
	Nspaceeff	Ntranseff	ρ
Model	(C)	(I)	(O)	(C)	(I)	(O)	(C)	(I)	(O)	Acc.
Open-source reasoning models with full traces
Qwen3-32B	2.08	2.28	2.16	1.38	1.53	1.44	0.51	0.50	0.51	.63
DeepSeek-R1	1.72	2.47	2.00	0.82	1.64	1.12	0.34	0.51	0.41	.63
QwQ-32B	1.74	2.74	2.11	0.86	2.20	1.35	0.32	0.60	0.42	.63
DeepSeek-R1-Distill-Qwen-32B	1.85	2.07	1.95	1.02	1.21	1.10	0.38	0.41	0.40	.57
DeepSeek-R1-Distill-Qwen-7B	1.51	2.18	1.85	0.60	1.40	1.01	0.27	0.49	0.41	.49
Deepseek-R1-Distill-Qwen-1.5B	1.41	2.04	1.81	0.53	1.27	1.00	0.27	0.49	0.41	.36
Phi-4-Reasoning	2.03	2.83	2.53	1.15	2.10	1.75	0.35	0.58	0.49	.35
Instruction-tuned models without extended reasoning
Qwen3-32B-NR	1.66	1.74	1.71	0.70	0.75	0.73	0.29	0.33	0.32	.34
Gemini-2.0-Flash	1.43	1.58	1.53	0.43	0.59	0.54	0.20	0.28	0.25	.34
Phi-4	1.14	1.51	1.41	0.14	0.51	0.41	0.07	0.23	0.19	.29
Qwen-2.5-32B	1.33	1.39	1.37	0.37	0.42	0.40	0.16	0.20	0.19	.28
GPT-4o	1.68	1.40	1.46	0.72	0.40	0.46	0.29	0.19	0.21	.19
Proprietary reasoning models with hidden traces
Gemini-2.5-Flash	1.56	1.91	1.67	0.59	0.91	0.69	0.28	0.35	0.30	.67
GPT-o3-mini	1.51	1.65	1.59	0.56	0.70	0.63	0.27	0.32	0.30	.47
GPT-o1-mini	1.36	1.58	1.50	0.36	0.61	0.52	0.19	0.29	0.25	.37

Figure 3: Projection of successful Olmo-3-{Base, Think-RLVR} trajectories onto the first principal component of heuristic frequency space. Olmo-3-Think-RLVR concentrates around the peak of the base distribution while leaving the left tail uncovered, suggesting that post-training narrows rather than reshapes the heuristic distribution.

Table 4: Density and Coverage of post-trained model trajectories relative to base model trajectories in heuristic frequency space (k=3, successful trajectories only, aggregated across all perturbation conditions). Density > 1 indicates that post-trained trajectories concentrate in the dense core of the base distribution; among such cases, lower Coverage indicates stronger mode-seeking. The cross-model baseline confirms that unrelated base models show neither high Density nor high Coverage.
Base	Post-trained	Nbase	NPT	Density	Coverage
Post-trained
Qwen3-1.7B-Base	Qwen3-1.7B-GRPO	834	886	1.220	0.871
Olmo-3-7B	Olmo-3-7B-Think-RL-Zero	1229	1307	1.250	0.707
Olmo-3-7B	Olmo-3-7B-Think-RLVR	1507	1600	1.032	0.531
Cross-model baseline (unrelated distributions)
Olmo-3-7B	Qwen3-1.7B-Base	71	66	0.520	0.437

Table 5: Preliminary results for Heuristic-Augmented GRPO on the MATH-Perturb test split. Plan-GRPO adds a planning step without heuristic information. HA-Plan-GRPO provides eleven mathematical heuristics during rollout and incorporates them into a planning-guided rollout. Bold indicates the best results.
Model	Original	Simple	Hard
Avg@64	Pass@64	Avg@64	Pass@64	Avg@64	Pass@64
Qwen3-1.7B-Base	23.54	77.40	23.10	79.13	11.84	57.39
+ Plan-GRPO	30.00	80.00	29.86	78.26	14.52	61.74
+ HA-Plan-GRPO (ours)	36.80	80.00	35.80	79.13	17.72	62.61

Table 6: Taxonomy of Problem-Solving Strategies. This table summarizes the code, strategy name, detailed description, and theoretical sources associated with each heuristic. Here, P = Pólya (1945), K = Koichu et al. (2007), F = Favier (2022), and P&K = Posamentier and Krulik (2008).
Strategy Name	Description & Sources
H1. Changing the register of semiotic representation	This strategy involves translating the problem’s representation from one semiotic register to another. It includes converting between natural language, algebraic, geometric, and visual representations to facilitate understanding or solving. Sources: Creating a model (K); Change the semiotic representation register (Changer de registre de représentation sémiotique) (F)
H2. Cognitive Reinterpretation	This involves changing the way an object or property in the problem is interpreted. It redefines the identity or attributes of an element in a way different from the initial presentation, without necessarily changing the register. Sources: Consider another way of interpreting the problem’s objects (Envisager une autre façon d’interpréter les objets du problème) (F); Adopting a different point of view (P&K)
H3. Introduce Symbolic Representation, Formalization, and Structural Augmentation, including…
H3a. Introduce Symbolic Representation and Formalization	The act of introducing new variables, labeling unknowns, or performing substitutions to make ambiguous targets operationally manageable. Sources: Notation; Setting up equations (P); Creating a model (K); Introduce names or notations (Introduire des noms ou des notations) (F)
H3b. Structural Augmentation	Constructing auxiliary objects, lemmas, or entirely new mathematical frameworks that are not present in the original problem. This is a creative addition to the problem space, such as drawing auxiliary lines, defining new functions, or shifting the problem into a new structural representation Sources: Auxiliary elements, Lemma (P); Introducing an auxiliary element (K); Introduce auxiliary elements (Introduire des éléments auxiliaires) (F)
H4. Problem Classification / Rephrase the Problem and Goal, including…
H4a. Problem Categorization / Strategic Rephrasing of Goal / Breaking into Sub-goals	Explicitly stating the problem type, identifying applicable solution methods, or reformulating the main goal in clearer mathematical terms. Sources:What is the unknown? (P); Reformuler le problème (Reformulate the problem) (F)
H4b. Filtering Constraints	Strategically identifying the most essential constraints or conditions that guide the upcoming solution approach. Sources:Separate the various parts of the condition (P); Exploring a particular datum (K)
H5. Wishful Thinking (Simplify / Reduce the Problem and Conditions)	Temporarily modifying the problem to a simpler version to gain insight, verify formulas, or explore solution strategies. Sources: If you cannot solve the proposed problem (P); Reduce the problem to a simpler one (Réduire le problème à un problème plus simple) (F)
H6. Explicit Case Analysis, Decompose into Subproblems	Logically decomposing the problem into distinct cases, non-overlapping subsets, or sub-problems that, when combined, yield the full solution. The cases should ideally be exhaustive and mutually exclusive. Sources: Decomposing and recombining (P); Décomposer le domaine du problème et travailler cas par cas (Decompose the problem domain and work case by case) (F)
H7. Arguing by contradiction	A proof strategy where the negation of the proposition is assumed to derive a contradiction, thereby proving the original statement. Sources: Reductio ad absurdum and indirect proof (P); Arguing by contradiction (K)
H8. Analogy and Presenting Related Theorems, including…
H8a. Analogy	Recalling previously solved problems, known methods, or applying a recently established logical procedure to a new target within the same problem. This involves recognizing structural similarities and transferring a strategy from one context (or one part of the equation) to another. Sources: Have you seen it before?; Do you know a related problem? (P); Activating a previous experience (K); Make a connection with a previously encountered problem (Faire le lien avec un problème déjà rencontré) (F); Solving a simpler analogous problem (P&K)
H8b. Presenting Related Theorems, Tools, or Properties	Introducing specific mathematical theorems, formulas, identities, or properties that are not provided in the problem statement but are necessary to advance the solution. Sources: Connect with a mathematical tool (theorem, property) (Faire le lien avec un outil mathématique (théorème, propriété)) (F)
H9. Experimental and Pattern Exploration, including…
H9a. Exploring particular cases or numbers	Plugging in specific values, extreme/boundary values, or limits to discover patterns, build intuition, or verify feasibility. Sources: Specialization (P); Partial Induction (K); Explore a specific piece of data (Explorer une donnée particulière) (F); Finding a Pattern (P&K)
H9b. Exploration of symmetry	Identifying and exploiting mathematical or structural symmetry to reduce the solution space or simplify computation. Sources: Symmetry (P); Exploration of Symmetry (K); Exploit symmetry properties (Exploiter les propriétés de symétrie) (F)
H10. Thinking from the end to the beginning (Working backward)	Starting from the desired conclusion (target goal) and working logical steps backward to reach the known premises or to determine what would be sufficient to prove. Sources: Working backwards (P); Thinking Backward (K); Working backward (Travailler à reculons) (F); Working Backwards (P&K)
H11. Verification and Looking Back, including…
H11a. Re-solving & Checking the Argument	Re-performing the same logical steps or calculations without a strategic change, or conducting a direct manual check of elements to verify a previous claim. Sources: Can you check the result? (P); Local Self-evaluating (K)
H11b. Deriving the Result Differently	Solving the same problem or sub-goal using a structurally different mathematical method to provide independent confirmation. Sources: Can you derive the result differently? (P); Local Self-evaluating (K)
H11c. Backtracking for self-verification	Realizing an error, finding a flaw in an assumption, or recognizing that the current approach is not working, and revising the direction. Sources: Backtracking (Retour arrière) (F)
H11d. Checking the Result / Sanity Check / Progress Review	Broadly covers any reflection on whether the solution is on the right track or checking feasibility. Sources: Can you check the result?; Test by dimension (P); Local Self-evaluating (K)
H11e. Generalization & Corollary	Extending the result to broader cases. Identifying general principles from specific solutions. Sources: Wisdom of proverbs (P); Generalization (K)
H11f. Reflect on Rigor & Wisdom	Evaluating the efficiency of the solution strategy, questioning the rigor, or meta-reflecting on definitions/rules. Sources: Why proofs? (P)

Table 8: Heuristic-tagging performance of candidate annotator models on the gold set. Weighted F1 reflects overall label agreement, while macro F1 emphasizes performance on rare heuristic classes.
Model	Weighted F1	Macro F1
Grok-4.1-Fast	76.98	65.04
GPT-5	72.25	63.55
GPT-5-mini	66.44	55.89
Gemini-3-Flash	62.83	41.79
Gemini-3-Flash-Lite	70.21	54.14
Qwen3.5-27B	70.44	61.36

Table 9: Class-wise heuristic-tagging performance of Qwen3.5-27B on the gold set. We report precision (P), recall (R), F1, Cohen’s kappa, and the number of gold and predicted instances.
Class	F1	Kappa
H1	0.5272	0.4893
H2	0.4318	0.4176
H3	0.4884	0.4383
H4	0.6114	0.5049
H5	0.6250	0.6134
H6	0.6667	0.6626
H7	0.6667	0.6664
H8	0.7201	0.6252
H9	0.5934	0.5692
H10	0.5000	0.4988
H11	0.8115	0.6383
N	0.7216	0.6702

Table 11: Hyperparameters used for GRPO training.
Parameter	Value
Base Model	Qwen/Qwen3-1.7B-Base
Training Batch Size	32
Rollouts per Prompt	4
Number of GPUs	2×B200
Optimizer	AdamW
Temperature	1.0
Top-p	1.0
Top-k	-1
Max Response Length	2048
Learning Rate	1×10−6
Warmup Steps	10
Training Steps	200

실제로 확인된 결과

SHAPE의 휴리스틱 빈도 특징은 정답 예측에서 AUROC 0.664±0.02를 기록해, CoT 길이(0.504±0.03), 길이+추론토큰 특징(0.503±0.03), 자기수정 표현(0.618±0.03), ThinkARM 에피소드 라벨 기법(0.618±0.02)을 모두 앞섰다.
확장된 사고(reasoning) 모델은 의미 공간을 더 많이 오가고(Nspaceeff 1.81~2.53) 전환도 더 자주 일어났으며(rho 0.40~0.51), 확장 사고를 하지 않는 지시조정 모델은 이 값이 더 낮았다(Nspaceeff 1.37~1.71, rho 0.19~0.32). 대부분 모델에서 오답 궤적이 정답 궤적보다 더 높은 rho를 보였다.
풀이 방식 자체를 바꿔야 하는 어려운 변형 문제에서는 단순 변형 문제보다 휴리스틱 빈도 분포, 의미 공간 수, 전환 비율의 변화가 모두 더 크게 나타났고, 이 차이는 CoT 초반 5~10개 단위 안에서도 이미 확인됐다.
테스트한 모든 후속훈련 모델 쌍(Olmo-3-7B의 Think-RLVR·Think-RL-Zero, Qwen3-1.7B-Base의 GRPO)에서 Density는 1.0을 넘고 Coverage는 1.0 미만이었다. 반면 서로 관련 없는 모델을 비교한 대조군은 Density 0.520, Coverage 0.437로 낮게 나왔다.
MATH-Perturb 테스트에서 Plan-GRPO와 HA-Plan-GRPO 모두 훈련 전 base 모델보다 성능이 향상됐고, 롤아웃 프롬프트에 휴리스틱을 추가한 HA-Plan-GRPO가 Plan-GRPO보다 Avg@64와 Pass@64 모두 더 높았다(예비 결과).

어디에 쓸 수 있나

최종 정답만 보지 않고 모델이 어떤 휴리스틱과 의미 공간 전환을 사용했는지 살펴서 특정 문제에서 왜 실패하는지 진단하는 데 활용할 수 있다.
강화학습 후속훈련이 실제로 문제 해결 전략을 다양화시키는지, 아니면 이미 알던 패턴 주변으로 좁아지는지 점검하는 데 쓸 수 있다.
HA-Plan-GRPO 방식을 참고해 롤아웃 프롬프트에 휴리스틱 어휘를 명시적으로 넣는 방식으로 강화학습 훈련 설계를 시도해볼 수 있다.
세그먼트-태깅-추적으로 이어지는 파이프라인 구조를 다른 종류의 구조화된 추론 과제에 적용해볼 수 있으나, 이번 연구는 수학 문제에 한정돼 검증됐다.

한계와 남은 검증

이 틀과 휴리스틱 분류체계는 수학 추론 벤치마크(MATH-Perturb, Omni-MATH 일부)에만 개발·검증됐고, 다른 분야로의 확장은 앞으로 할 과제로만 언급됐다.
휴리스틱 태깅의 골드 기준은 4개 모델에서 뽑은 48개 궤적뿐이고, 의미 공간 추적은 애초에 객관적인 정답 기준이 없어 반복적인 수동 검토로 조정한 것이다.
HA-Plan-GRPO 결과는 저자들이 직접 '예비'라고 명시했고, 하나의 base 모델(Qwen3-1.7B-Base)과 하나의 훈련 방식만으로 테스트됐으며, 더 큰 모델이나 다른 강화학습 알고리즘에서는 검증되지 않았다.
H7, H10처럼 골드셋 사례가 적은 드문 휴리스틱 범주에서는 태깅 성능이 낮아, 세부 결론의 안정성이 떨어질 수 있다.
자동 라벨링이 Grok-4.1-Fast, Qwen3.5-27B 같은 대형·비공개 모델에 의존하기 때문에, 이후 모든 분석에 라벨링 노이즈나 모델 특유의 편향이 섞일 수 있다.

왜 중요한가

정답률만 보면 모델이 왜 실패하는지, 강화학습이 정말 수학 실력을 키우는지 아니면 이미 아는 방식만 반복시키는지 알기 어렵다. SHAPE는 이 과정을 이론적 근거를 갖고 들여다볼 방법을 제공하고, 실제로 휴리스틱 정보를 훈련에 넣었을 때 성능이 오른다는 구체적인 실마리도 함께 보여준다.

이 논문의 용어

CoT(Chain-of-Thought) · 모델이 최종 답을 내기 전에 단계별로 풀어 쓰는 생각의 흐름
의미 공간(semantic space) · 모델이 문제를 현재 어떤 수학적 관점으로 해석하고 있는지, 예를 들어 대수적으로 보는지 기하적으로 보는지
휴리스틱(heuristic) · 거꾸로 풀기, 단순화하기, 특수한 경우 확인하기처럼 목적을 가진 구체적인 수학적 행동
GRPO · 모델을 강화학습으로 미세조정할 때 쓰는 방법인 Group Relative Policy Optimization
Density와 Coverage · 어떤 분포가 기준 분포의 밀집 영역에 얼마나 몰려 있는지(Density), 기준 분포를 얼마나 넓게 다시 재현하는지(Coverage)를 재는 지표

저자 · Jonghyun Song, Sangjun Song, Minjae Oh, Haesung Pyun, Sungsik Lee, Yohan Jo

arXiv에서 원문 보기

METAL LAB 최신 기사

그림 출처: Jonghyun Song et al., arXiv:2608.28600, CC BY 4.0

AI의 수학 풀이 과정을 한 줄 한 줄 뜯어보고 어떤 전략을 쓰는지, 어떤 해석에 갇혀 있는지 표시해서 정답 여부와 강화학습의 부작용까지 드러내는 분석 틀

무엇을 했나

실제로 확인된 결과

어디에 쓸 수 있나

한계와 남은 검증

왜 중요한가

이 논문의 용어

최신 논문

METAL LAB 최신 기사