PEFT와 LoRA의 이해

1. Fine-Tuning의 병목(Bottleneck) 문제

Fine-Tuning이 필요한 이유

LLM은 다양한 산업 분야에서 활용되며, 주요 사용 사례:

1. Domain 지식 주입: 특정 도메인의 전문 지식 학습
2. 지식 학습: 최신 정보와 데이터 업데이트
3. 질의응답 학습: 사용자 의도에 맞는 정확한 응답 생성

주요 병목 현상

문제 1: 매우 큰 GPU 소모

파라미터 처리로 인한 GPU 압박:

• Paged Optimizer: 메모리 관리를 위한 추가 오버헤드
• Gradient Accumulation: 그래디언트 누적으로 인한 메모리 사용 증가

대규모 모델 파라미터 → GPU 메모리 부족 → 처리 시간 증가

문제 2: 파라미터의 영구적인 변화

Fine-Tuning 후 발생하는 문제:

• 특정 지식만 선택적으로 제거(Unlearning) 불가능
• 회사명, 계열사, 약관 등 부분 업데이트 어려움
• 변경 시 베이스 모델을 처음부터 다시 튜닝해야 함

2. PEFT(Parameter Efficient Fine-Tuning)

PEFT의 정의

기존 파라미터를 보존하며, 적은 양의 메모리를 활용하는 Fine-Tuning

PEFT의 핵심 아이디어

기존 모델 (고정) + Adapter (학습) = 효율적 튜닝

핵심 특징:

1. 기존 파라미터 보존: W 가중치는 그대로 유지
2. 소량 메모리 사용: 전체 모델 대비 1% 미만
3. Adapter 추가: 출력 방향만 조정
4. 탈착 가능: 필요에 따라 교체 가능

Adapter의 역할

Adapter (어댑터):

• 모델의 성능 방향을 조정(튜닝)
• 어댑터의 가중치만 학습
• 기존 모델에 부착/탈착 가능

입력 → [기존 모델 W] + [Adapter BA] → 조정된 출력

3. LoRA (Low-Rank Adaptation)

LoRA의 기본 원리

Pretrained Weights는 그대로 두고, 새로운 A, B를 적용하여 결과 변경

수식 변환:

기존: h = Wx
LoRA: h = (W + BA)x

구성 요소:

• W: 기존 사전학습된 가중치 (고정)
• B: d × r 크기의 행렬 (학습 대상)
• A: r × d 크기의 행렬 (학습 대상)
• r: rank 파라미터 (하이퍼파라미터)

행렬 차원 분석

기존 행렬 [W]:

• 차원: d × d
• 파라미터 개수: d²

LoRA 행렬 [BA]:

• B 차원: d × r
• A 차원: r × d
• 총 파라미터: d×r + r×d = 2×r×d
• 특징: r이 d보다 훨씬 작음

초기화 전략

# 초기화 방법
B = 0  # 영행렬로 초기화
A ~ N(0, σ²)  # 정규분포로 랜덤 초기화

이유:

• B=0으로 시작하면 초기에 h=(W+BA)x = Wx
• 학습 초기에는 원래 모델과 동일하게 동작
• 점진적으로 BA가 학습되면서 적응

4. 파라미터 효율성 분석

파라미터 수 비교: d×d vs 2×r×d

실제 계산 예시 (d = 3000, r = 2):

실제 사례:

기존 파라미터: 3,584 × 5,184 = 18,579,456
LoRA (r=4): 8,000 × 4 = 42,000
감소율: 약 1% 미만 (442배 감소)

학습 효율성

LoRA의 학습 효율:

• Gradient는 B, A에만 계산
• 메모리 사용량 대폭 감소
• 학습 속도 향상
• 연산량 크게 절약

전체 모델 학습 vs LoRA 학습
GPU 메모리: 100GB → 5GB
학습 시간: 10시간 → 1시간

5. LoRA의 학습 방식

언어 모델의 기본 학습 방식

목표: 다음 토큰을 예측하여 텍스트 생성

수식: 모든 토큰에 대해 조건부 확률을 최대화하는 파라미터 Φ를 찾음

• x: 입력 문장 (질문)
• y: 출력 문장 (답변)
• y_t: t번째 토큰
• y 이전토큰: t 이전의 모든 토큰
• P_Φ: 모델 파라미터 Φ로 정의된 확률 분포

LoRA의 학습 방식

기존 모델 Φ₀는 고정하고, LoRA 파라미터 Θ만 최적화

핵심 차이점:

• Φ₀: 기존 사전학습된 모델 (고정)
• ΔΦ(Θ): LoRA로 추가되는 파라미터 (학습)
• 목표: Φ₀는 그대로 두고, Θ(A, B)만 최적화

학습 과정

# Step 1: 입력 x를 기존 모델에 통과
h_base = W @ x  # 기존 모델 출력

# Step 2: LoRA 출력 계산
h_lora = (B @ A) @ x  # LoRA 추가 출력

# Step 3: 최종 출력
h_final = h_base + h_lora  # 결합
h_final = (W + B@A) @ x

# Step 4: Gradient 업데이트
# W는 고정 (no gradient)
# B, A만 업데이트
B = B - lr * ∇B
A = A - lr * ∇A

6. LoRA의 장점

1. 매우 적은 파라미터로 파인 튜닝 가능

효과:

• A/B 테스트 용이
• 버저닝(Versioning) 간편
• 시간 소모 감소
• GPU 메모리 사용량 최소화

버전 1.0: 기본 LoRA
버전 1.1: 수학 강화 LoRA
버전 1.2: 코딩 강화 LoRA
→ 빠른 반복 실험 가능

2. 원래 모델의 파라미터를 변화시키지 않음: 탈착 가능

Google Gemma (베이스) + LoRA 모델 = 완성된 모델
                         ↓
                    탈착 가능

장점:

• 베이스 모델 재사용
• 여러 LoRA 교체 가능
• 저장 공간 절약

3. Multi-LoRA 구성 가능

하나의 모델에 여러 전문 분야별 LoRA 준비:

[베이스 모델]
             ↓
    ┌────────┼────────┐
    ↓        ↓        ↓
[수학 LoRA] [법률 LoRA] [의료 LoRA]

if query_type == "math":
    use_lora("math_expert")
elif query_type == "law":
    use_lora("law_expert")

4. Catastrophic Forgetting이 덜 발생

Full Fine-Tuning: 기존 지식 망각 ↑↑↑
LoRA: 기존 지식 망각 ↓ (원래 모델 W는 그대로)

7. LoRA의 단점과 한계

LoRA Learns Less and Forget Less

Trade-off 관계:

의미:

• Learns Less: 목표 도메인의 학습 효과가 Full Fine-Tuning보다 떨어짐
• Forget Less: 기존 도메인의 망각은 훨씬 적음

CPT(Continual Pre-Training)와의 관계

CPT란?: 모델의 '토양' 자체를 바꾸는 과정

LoRA의 한계:

• LoRA는 표현 공간 변형이 적음
• CPT에는 잘 맞지 않는다는 지적

도메인별 적합성:

복잡한 문제에서의 성능

주요 발견:

1. 어려운 문제에서 LoRA는 FFT보다 성능 낮음
2. 낮은 차원의 LoRA = 일반화 성능 저하
3. LoRA는 저차원 부공간에 제약

8. 실무 적용 가이드

LoRA 사용이 적합한 경우

• IT 분야 빠른 적응
• 기존 지식 보존 필요
• 제한된 GPU 리소스
• 빈번한 업데이트 필요
• A/B 테스트 환경
• Multi-domain 서비스

Full Fine-Tuning이 적합한 경우

• CPT (Continual Pre-Training)
• 완전한 도메인 전환
• Deep Learning 필요
• 복잡한 전문 지식 습득
• 성능이 최우선

의사결정 플로우

질문 시작
    ↓
기존 지식 보존 중요?
    ↓─ Yes → GPU 리소스 제한?
    │           ↓─ Yes → LoRA
    │           ↓─ No → 성능 우선?
    │                      ↓─ Yes → FFT
    │                      ↓─ No → LoRA
    ↓─ No → CPT 필요?
                ↓─ Yes → FFT
                ↓─ No → 복잡도 고려

핵심 요약

용어 사전

수식 요약

1. 기존 모델: h = Wx
2. LoRA 모델: h = (W + BA)x
3. 파라미터 수: d² → 2×r×d
4. 감소율: (d²)/(2rd) = d/(2r)

장단점 비교표