When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models
arXiv:2608.195292026-08-21
영화 추천이나 판례 인용처럼 '기계 전용 코드'로 표현되는 정보도, LLM이 자연어와 함께 하나의 문장처럼 생성하게 만든 프레임워크
기존 LLM은 사람이 쓰는 말(자연어 토큰)만 다룰 수 있어서, 추천 시스템이나 그래프처럼 숫자·코드로 표현된 정보를 다루려면 텍스트로 풀어쓰거나 별도의 전용 모델을 써야 했다. 이 논문은 이런 '기계 전용 기호'를 LLM 어휘집에 새 토큰으로 추가하고, 대조 학습으로 그 의미를 LLM이 이해하는 공간에 정렬시켜, 자연어와 기계 기호를 같은 규칙으로 한 번에 생성하는 UniLang을 제안한다. 사용자에게 추천할 다음 영화를 예측하는 작업과 법원 판례에서 인용할 문장을 찾는 작업, 서로 완전히 다른 두 문제에 똑같은 방식을 적용했더니 모두 기존 강력한 방법들을 앞질렀다.
무엇을 했나
문제 설정: 추천 시스템의 상품 코드나 그래프의 관계 정보처럼, 사람 말이 아니라 압축된 숫자·코드(기계 전용 기호)로 표현되는 정보는 LLM의 어휘집 밖에 있어서 LLM이 직접 다루기 어렵다.
방법 1 - 코드 만들기: 영화 제목·장르 같은 설명 텍스트를 문장 임베딩 모델로 벡터화한 뒤, RQ-VAE라는 압축 기법으로 4자리 숫자 코드(Semantic ID)로 바꿔 하나의 항목을 표현한다.
방법 2 - 어휘집에 편입: 이 숫자 코드용 토큰 1,024개를 LLM 어휘집에 새로 추가하고, 같은 항목의 텍스트 설명 임베딩과 코드 임베딩이 비슷해지도록 대조 학습(InfoNCE)으로 미리 정렬시켜, 코드가 LLM이 이해할 수 있는 의미를 갖게 만든다.
방법 3 - 통합 학습: 이렇게 정렬된 코드 토큰과 원래 자연어 토큰을 하나의 어휘집으로 합쳐, Llama-3.2-1B-Instruct 모델 위에 LoRA로 미세조정하며 자연어와 코드를 섞은 문장을 순서대로 생성하도록 학습한다.
결과: 영화·상품 다음 아이템 추천에서 기존 최고 방법 대비 NDCG@5 최대 151.7% 향상(MovieLens-20M), 법률 판례 인용문 예측에서 기존 최고 방법 대비 Recall@1 최대 49.4% 향상(10k 데이터셋)을 보였고, 코드 임베딩을 미리 정렬하지 않으면 학습이 아예 실패한다는 것도 실험으로 확인했다.
Figure 1: Example of the sequential prediction task.
Table 2: Run-to-run variability on MovieLens-20M (mean ± SE).
metric
mean ± standard error
Recall@5
0.1908 ± 0.00016
NDCG@5
0.1378 ± 0.00017
Recall@10
0.2596 ± 0.00014
NDCG@10
0.1600 ± 0.00014
Figure 2: Example of the legal precedent prediction task. Given context from the citing opinion (Garcia-Giraldo v. United States), predict the quotation sentence(s) or paragraph(s) from the cited opinion (United States v. Broce), which is unknown at inference time.
Table 4: Statistics of the sequential recommendation datasets.
Dataset
#users
#items
#actions
Avg. length
Density
Beauty
40,226
54,542
0.35m
8.8
0.02%
ML-1m
6,040
3,416
1m
163.5
4.79%
ML-20m
138,493
26,744
20m
144.4
0.54%
Table 6: Summary statistics of legal precedent dataset text features
Feature
Mean
Std
Min
Max
Length of cited text (chars)
306
225
24
18,342
Length of citing context (chars)
562
216
5
14,062
Figure 4: Ablation test on MovieLens-20m.
Table 7: Validation subset sizes for model selection
Dataset
Validation size
Sample size
Beauty
40,226
5,000
MovieLens-1m
6,040
1,000
MovieLens-20m
138,493
1,000
10k
103,812
1,000
20k
134,737
1,000
50k
190,051
1,000
Table 8: RQ-VAE hyperparameters.
ML-1M
LePaRD
Hyperparameter
Beauty
ML-20M
10k / 20k / 50k
Figure 6: RQ-VAE training progress on different datasets.
Table 9: Machine token alignment hyperparameters.
ML-1M
LePaRD
Dataset
Beauty
ML-20M
10k / 20k / 50k
Table 10: SFT hyperparameters.
ML-1M
LePaRD
Dataset
Beauty
ML-20M
10k / 20k / 50k
왜 중요한가
추천 시스템, 의료 코드, 그래프 데이터처럼 사람 말이 아닌 코드로 정보를 다루는 실무 시스템에 사전학습 LLM의 언어 지식을 그대로 끌어다 쓸 수 있는 길을 보여준다. 텍스트로 억지로 풀어쓰거나 아예 별도 모델을 새로 만들 필요 없이, 하나의 LLM으로 서로 다른 구조의 문제들을 같은 방식으로 풀 수 있다는 점에서 실무 적용성이 크다.
이 논문의 용어
RQ-VAE(Residual Quantized VAE) · 연속된 벡터를 여러 단계에 걸쳐 압축해 이산적인 숫자 코드로 바꾸는 오토인코더 기법
Semantic ID(SID) · 항목 하나를 여러 자리 숫자 코드로 표현한 기계 전용 식별자
InfoNCE 대조 학습 · 같은 대상의 서로 다른 표현은 가깝게, 다른 대상의 표현은 멀게 만들어 임베딩을 정렬시키는 학습 방식
LoRA(Low-Rank Adaptation) · 모델 전체를 재학습하지 않고 소수의 추가 파라미터만 학습시켜 효율적으로 미세조정하는 기법
자기회귀 생성(autoregressive generation) · 앞서 생성한 토큰들을 보고 다음 토큰을 순서대로 하나씩 예측해 문장을 만드는 방식
논문 원문 초록 (영문)
Many real-world AI systems represent entities, behaviors, and structured information using discrete machine-native symbols rather than natural language. While these representations are compact and preserve task-relevant structure, they lie outside the linguistic token space of pretrained large language models (LLMs), creating a fundamental divide between language modeling and structured prediction. We introduce UniLang, a unified generative framework that bridges this divide by extending pretrained LLMs to treat machine-native symbols as first-class generative units alongside natural-language tokens. UniLang expands the LLM's vocabulary and embedding space with grounded machine-native representations, enabling textual and symbolic tokens to be jointly modeled and generated under a single autoregressive objective. This unified interface allows pretrained LLMs to directly operate on machine-native representations without requiring them to be verbalized as natural language or relying on task-specific architectures. We evaluate UniLang on two structurally distinct tasks, sequential recommendation and legal precedent prediction, spanning different domains and types of structured prediction. Across both tasks, UniLang consistently outperforms strong baselines, demonstrating a path toward extending pretrained LLMs beyond language and using them as a common generative modeling backbone for heterogeneous machine-native representations.
