매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment

arXiv:2608.198002026-08-21

모델을 통째로 학습하지 않고도, 학습 초반 몇 걸음의 기울기를 미리 훔쳐봐서 LoRA를 더 똑똑하게 초기화하는 법

LoRA는 큰 모델을 적은 메모리로 미세조정하는 방법이지만 전체 미세조정보다 성능이 떨어지는 문제가 있었다. 이 논문은 학습 시작 직전에 몇 스텝만 가볍게 미리 굴려본 기울기(다단계 기울기)를 이용해 어떤 층에 얼마나 많은 용량을 줄지 정하고 LoRA 가중치의 초기값도 여기에 맞춰 설정하는 LoRA-GA2를 제안한다. 그 결과 GLUE, GSM8K, HumanEval 등 여러 벤치마크에서 기존 LoRA 변형들보다 꾸준히 더 나은 성능을 냈다.

무엇을 했나

  1. 기존 방법들은 학습 시작 시점 딱 한 번의 기울기(한 단계 기울기)만 보고 LoRA를 초기화했는데, 이는 실제 학습이 진행되는 방향을 제대로 반영하지 못한다는 한계가 있었다.
  2. 반대로 매 스텝마다 기울기를 맞추려는 방법은 정확하지만 옵티마이저를 바꿔야 하고 메모리와 시간을 크게 잡아먹는 단점이 있었다.
  3. LoRA-GA2는 AdaLomo라는 가벼운 옵티마이저로 몇 스텝만 임시로 굴려 기울기를 CPU에 누적한 뒤, 원래 가중치를 복원하고 이 누적 정보로 층별 순위(rank) 배분과 초기값을 정한다. 이 과정은 추가 GPU 메모리를 쓰지 않고 시간도 조금만 더 든다.
  4. 순위 배분에는 특정 층이 얼마나 중요한지를 보는 민감도 점수와 그 층의 기울기가 몇 개의 방향으로 퍼져 있는지를 보는 유효 순위(effective rank) 점수를 함께 곱해서 사용해, 한쪽 지표만 쓸 때 생기는 낭비를 줄였다.
  5. T5-Base로 GLUE 벤치마크(순위 8 기준)에서 기존 최고 성능 방법보다 평균 0.66점, Llama3.1-8B-Base로는 GSM8K에서 1.03점, HumanEval에서 0.87점 더 높은 성능을 얻었고, CLIP-ViT-B/16 이미지 분류에서도 최고 기준 대비 0.63점 앞섰다.
Figure 1: Illustration of (a) LoRA; (b) One-step gradients based LoRA Variants; (c) Multi-step gradients based LoRA Variants; and (d) Ours (LoRA-GA2), which introduces an efficient probe for estimating multi-step gradients of pre-trained weights and utilizing the directions and intrinsic dimensionalities of the gradients to initialize low-rank weights.
Figure 1: Illustration of (a) LoRA; (b) One-step gradients based LoRA Variants; (c) Multi-step gradients based LoRA Variants; and (d) Ours (LoRA-GA2), which introduces an efficient probe for estimating multi-step gradients of pre-trained weights and utilizing the directions and intrinsic dimensionalities of the gradients to initialize low-rank weights.
Table 1: Performance of fine-tuning T5-Base on 5 sub-tasks of the GLUE benchmark. Bold and underline indicate the highest and second-highest scores of low-rank methods with r=8 or rref=8.
MethodMNLISST-2CoLAQNLIMRPCAverage
Full86.33±0.0094.75±0.2180.70±0.2493.19±0.2284.56±0.7387.91
LoRA (13)85.30±0.0494.04±0.1169.35±0.0593.19±0.2284.56±0.7385.29
Convergence Optimization Methods for LoRA
rsLoRA (15)85.73±0.1094.19±0.2372.32±1.1293.12±0.0952.86±2.2779.64
DoRA (19)85.67±0.0994.04±0.5372.04±0.9493.04±0.0668.08±0.5182.57
LoRA+ (9)85.81±0.0993.85±0.2477.53±0.2093.14±0.0374.43±1.3984.95
Initialization Optimization Methods for LoRA
PiSSA (22)85.75±0.0794.07±0.0674.27±0.3993.15±0.1476.31±0.5184.71
LoRA-GA (30)85.70±0.0994.11±0.1880.57±0.2093.18±0.0685.29±0.2487.77
Adaptive Methods for LoRA
AdaLoRA (37)85.45±0.1193.69±0.2069.16±0.2491.66±0.0568.14±0.2881.62
RaLoRA (34)85.76±0.0394.22±0.2978.11±0.4593.36±0.1484.74±0.2787.24
GoRA (10)85.91±0.2294.68±0.4379.86±0.3593.27±0.0886.10±0.2087.96
LoRA-GA2 (Ours)85.91±0.0194.72±0.3782.39±0.2493.19±0.0586.88±0.1488.62
Figure 2: Framework of LoRA-GA2. A temporary multi-step probe collects trajectory gradients, restores the pretrained weights, and uses the accumulated signal for both rank allocation and SVD initialization before standard LoRA training.
Figure 2: Framework of LoRA-GA2. A temporary multi-step probe collects trajectory gradients, restores the pretrained weights, and uses the accumulated signal for both rank allocation and SVD initialization before standard LoRA training.
Table 2: Performance of fine-tuning Llama3.1-8B-Base on GSM8K and HumanEval.
MethodGSM8KHumanEval
Full73.69±0.2851.63±1.27
LoRA (13)67.78±1.2543.09±0.35
rsLoRA (15)68.36±0.7445.78±2.80
DoRA (19)69.17±1.0043.70±1.54
LoRA+ (9)71.29±0.9344.51±2.11
OLoRA (2)68.54±0.4243.29±2.44
PiSSA (22)68.56±1.0344.10±1.54
LoRA-GA (30)71.39±0.9043.29±0.61
AdaLoRA (37)70.63±0.7741.46±3.66
RaLoRA (34)72.25±0.5948.78±1.61
GoRA (10)72.91±0.7648.98±2.14
LoRA-GA2 (Ours)73.94±0.4849.85±0.33
Figure 3: Loss comparison of fine-tuning Llama3.1-8B-Base on MetamathQA using LoRA and LoRA-GA2
Figure 3: Loss comparison of fine-tuning Llama3.1-8B-Base on MetamathQA using LoRA and LoRA-GA2
Table 3: Performance of fine-tuning CLIP-ViT-B/16 on seven image classification tasks.
MethodCarsDTDEuroSATGTSRBRESISC45SUN397SVHNAverage
Zero-shot63.7544.3942.2235.2256.4662.5615.5345.73
LoRA (13)82.31±0.0876.97±0.5198.38±0.2097.10±0.0694.99±0.1177.19±0.1996.62±0.0689.08±0.10
MELoRA (26)82.65±0.3875.16±0.5998.64±0.0598.88±0.0595.78±0.1674.69±0.2296.95±0.0988.96±0.15
MoRA (14)84.61±0.2177.34±0.1498.65±0.1698.68±0.1896.33±0.1978.12±0.0697.17±0.1590.13±0.16
AdaLoRA (37)73.58±0.0973.79±0.4896.96±0.1258.87±0.3889.07±0.6072.00±0.1094.26±0.1379.79±0.27
DoRA (19)82.44±0.2676.86±0.8498.43±0.1797.25±0.1295.10±0.1677.30±0.1796.63±0.0489.14±0.07
rsLoRA (15)83.94±0.2277.64±0.3398.51±0.1798.69±0.1795.90±0.2077.96±0.2196.94±0.0689.94±0.06
LoRA+ (9)86.61±0.3673.33±1.3098.54±0.1498.99±0.2096.06±0.3876.80±0.3496.98±0.0889.62±0.19
PiSSA (22)83.36±0.3877.38±0.5798.54±0.0998.32±0.0995.92±0.4077.46±0.1397.00±0.0989.71±0.25
OLoRA (2)83.85±0.1378.60±0.2598.62±0.0398.49±0.1496.01±0.2877.30±0.0897.15±0.1490.00±0.15
RaLoRA (34)86.63±0.3077.75±0.2098.66±0.2798.98±0.1196.62±0.2877.86±0.0597.24±0.1190.53±0.03
LoRA-GA2 (Ours)87.82±0.1379.49±0.1198.83±0.1199.01±0.0896.48±0.2479.05±0.1497.42±0.0791.16±0.05
Figure 4: Rank allocation results of fine-tuning Llama3.1-8B-Base-base on MetamathQA.
Figure 4: Rank allocation results of fine-tuning Llama3.1-8B-Base-base on MetamathQA.
Table 4: Key ablations with standard deviations on Llama3.1-8B-Base.
VariantGSM8KHumanEval
One-step gradient72.13±0.3449.65±1.01
No SVD init.68.92±0.1248.37±2.50
No rank alloc.72.40±1.3248.88±0.63
Sensitivity only72.98±0.6548.17±2.28
Effective rank only73.51±0.5148.78±1.00
Full LoRA-GA273.94±0.4849.85±0.33
Figure 5: Ablation of the hyperparameters N and γ.
Figure 5: Ablation of the hyperparameters N and γ.

왜 중요한가

LoRA는 이미 널리 쓰이는 미세조정 방법이라 이런 개선은 같은 계산 자원으로 더 나은 모델 품질을 얻을 수 있다는 뜻이다. 특히 GPU 메모리를 늘리지 않고 학습 시간도 거의 늘리지 않으면서 성능을 올렸기 때문에 기존 LoRA 파이프라인에 바로 적용하기 쉽다는 점이 실무적으로 유의미하다.

이 논문의 용어

  • LoRA (Low-Rank Adaptation) · 큰 모델의 가중치를 직접 바꾸지 않고, 작은 두 개의 행렬만 학습해 미세조정을 적은 메모리로 하는 방법
  • 한 단계/다단계 기울기 · 기울기는 모델을 어느 방향으로 바꿔야 손실이 줄어드는지 알려주는 값. 한 단계는 시작 시점 한 번만, 다단계는 학습 초반 여러 스텝에 걸쳐 이를 관찰하는 것
  • SVD(특이값분해) 초기화 · 누적된 기울기를 몇 개의 주요 방향과 크기로 분해해 LoRA 가중치의 시작값을 그 방향에 맞춰 설정하는 방법
  • 유효 순위(effective rank) · 기울기가 몇 개의 독립적인 방향으로 얼마나 퍼져 있는지를 나타내는 지표
  • 민감도(sensitivity) · 어떤 층의 가중치를 조금 바꿨을 때 최종 손실이 얼마나 크게 변하는지, 즉 그 층이 작업에 얼마나 중요한지 보여주는 점수

논문 원문 초록 (영문)

Low-Rank Adaptation (LoRA) is a prominent fine-tuning method for large models, achieving competitive performance with reduced memory overhead. However, a persistent performance gap remains between LoRA and full fine-tuning. Recent studies have sought to narrow this gap by employing one-step gradient approximations of pretrained weights to align LoRA updates with the principal directions or intrinsic dimensionalities of full fine-tuning updates. Nevertheless, these approaches fail to capture the full dynamics of the gradients. In this paper, we propose LoRA-GA$^2$, an effective fine-tuning algorithm that fully leverages multi-step gradient information. Specifically, we introduce a lightweight probe for multi-step gradients of pretrained weights that incurs no additional GPU memory cost and only marginal time overhead. We further employ a spectrum-aware, importance-based rank allocation and optimal initialization derived from multi-step gradients. Extensive experimental results demonstrate that LoRA-GA$^2$ consistently outperforms existing LoRA variants while preserving the efficiency advantages of vanilla LoRA. For instance, LoRA-GA$^2$ surpasses the leading baseline by an average of 0.66 points on the GLUE benchmark, and outperforms the strongest baseline by 1.03 points on GSM8K and 0.87 points on HumanEval, respectively.

저자 · Haonan He, Xinyue Fan

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Haonan He et al., arXiv:2608.19800, CC BY 4.0