Reasoning LLM과 파인 튜닝

1. Reasoning LLM의 등장

Reasoning 시대의 도래

2024년부터 LLM은 단순한 텍스트 생성을 넘어 추론(Reasoning) 능력을 강화하는 방향으로 발전하고 있습니다.

주요 모델 비교

Reasoning LLM의 핵심 특징

Thinking 과정 확인 가능:

• DeepSeek R1 등 추론 모델의 API 사용 시 thinking 과정 확인 가능
• 모델이 어떻게 생각하고 추론하는지 투명하게 확인

Reasoning Data 기반 SFT 가능:

• 추론 데이터를 활용한 Supervised Fine-Tuning 지원
• 고품질의 추론 과정 학습 가능

2. RLVR (Reinforcement Learning with Verifiable Reward)

기본 개념

보상함수 (Reward Function)의 역할:

질문 제공
    ↓
모델이 답변 생성
    ↓
보상함수로 평가
    ↓
좋은 답변 → 높은 보상

검증 가능한 보상 (Verifiable Reward)

적용 분야: STEM 분야 (Science, Technology, Engineering, Mathematics)

검증 방법:

• 코딩 문제: 테스트 케이스 실행
• 수학 문제: 답의 정오 판단

RLVR의 작동 원리

프롬프트 입력
    ↓
Base Model이 답변 생성
    ↓
Rule-based Reward Model
    ↓
[형식 준수 여부, 답의 정오 여부만 판단]
    ↓
계산할 필요가 없는 심플한 보상 모델

RLVR의 장점

• 보상함수 단순화로 성능 향상 가능
• 복잡한 계산이 필요 없음
• 검증 가능한 보상 = 강화학습의 효율성 증가

3. GRPO (Group Relative Policy Optimization)

상대 평가를 통한 선호 최적화

DeepSeekMath(2024.2)에서 처음 제안한 강화학습 방법

기존 방법과의 비교

GRPO의 작동 과정

1. 하나의 질문에 대해 LLM이 여러 개의 답을 생성
           ↓
2. 생성된 답변을 보상함수에 통과시켜 Reward 계산
           ↓
3. Reward들을 평균편차로 나눠서 정규화
           ↓
4. 그룹 내에서 높은 Reward를 받는 출력을 자주 생성하도록 학습

GRPO의 장점

상대적 평가의 이점:

• 점수가 낮아도 상대적으로 우수하면 학습 반영
• 점수가 높아도 표준화로 조정 가능
• 스케일 밸런스 조절 가능

그룹 내 최적화:

• 그룹 내에서 높은 Reward를 받는 출력 강화
• 상대적으로 낮은 출력은 억제

4. DeepSeek-R1-Zero

베이스 모델

DeepSeek-V3에서 출발- Rule-Based Reward Model 활용

대화 형식

A conversation between User and Assistant.
The user asks a question, and the Assistant solves it.
The assistant first thinks about the reasoning process
in the mind and then provides the user with the answer.

The reasoning process and answer are enclosed within:
<think> 추론 과정 </think>
<answer> 답변 </answer>

Rule-Based Reward를 활용한 강화학습

특징:

• 질문에 대한 정답 데이터 없음 (SFT 불가)
• 형식 준수 여부와 답의 정오만 판단

검증 규칙:

1. think 태그 사이에 잘 작성했는가? (O/X)
2. 답이 맞는가? (O/X)

간단해진 GRPO (RLVR)

• 계산량이 크게 절약
• 모든 중간 토큰에 대한 보상을 동일하게 할당
• 토큰별 보상을 구할 필요가 없음

DeepSeek-R1-Zero 결과

학습 진행에 따른 변화:

• 진행할수록 답변이 길어짐 (평균 응답 길이 증가)
• 추론 능력이 점진적으로 향상됨 (AIME 정확도 증가)

5. 'Aha Moment'의 등장

RLVR 학습 중 놀라운 현상

학습 중 의인화된 자기 성찰 등장:

# 예시: 수학 문제 풀이 중
"Wait, wait. Wait. That's an aha moment I can flag here."

"Let's reevaluate this step-by-step to identify
if the correct sum can be..."

의미:

• 출력 중 다시 생각하고 수정·재검토 과정 등장
• 모델의 출력이 정해진 패턴이 아니라 개선하고 검증하는 과정으로 진화
• SFT 없이 강화학습만으로 발현

6. DeepSeek-R1 학습 과정

DeepSeek-R1-Zero의 문제점

Instruction 없이도 문제 해결 가능하지만...

• 낮은 가독성
• 코드·언어 혼합 현상 발생
• 풀이과정 이해 불가

해결 방법: 4단계 학습 파이프라인

① Cold-Start SFT
        ↓
② GRPO
        ↓
③ Rejection Sampling + SFT
        ↓
④ All-Scenario RL

각 단계 상세

1단계: Cold-Start SFT

DeepSeek-R1-Zero를 통해 추론 데이터 생성:

• Long CoT, Self-Reflection, Self-Correction 과정 포함
• 인간 Annotator를 활용한 데이터 향상
• Instruction 형식 변환

Cold-Start 데이터로 DeepSeek-V3-Base 모델 SFT 학습:

• 초기 불안정성을 크게 해소

2단계: GRPO

GRPO 학습 수행:

• Language Consistency Reward 사용
• 언어가 섞이면 패널티 부여

3단계: Rejection Sampling + SFT

GRPO 수렴 후 Rejection Sampling 수행:

답변 여러 개 생성
        ↓
우수 답변만 선별
        ↓
총 800k 데이터로 SFT 다시 학습

4단계: All-Scenario RL

최종 단계:

• R1-Zero를 이용해 답변 데이터 세트 생성
• 모든 시나리오에 대한 RL 적용

7. DeepSeek-R1-Distill

데이터 구성

3단계 Rejection Sampling에 사용했던 800k 데이터 활용:

• 600k의 Reasoning Dataset
• 200k의 Non-Reasoning 데이터

주요 발견

SFT만으로도 추론 성능을 끌어올림

의미:

추론 모델 = SFT + RL의 합작

8. RL vs SFT 비교

SFT의 효과

결과:

• 불필요한 반복을 줄임
• 적절한 길이로 간결하게 답변
• 지식을 잘 꺼내서 정확하게 추론
• 매끄럽게 정리해 문제 풀이

RL의 효과

결과:

• 불필요한 반복을 줄이고 적절한 길이로 간결하게 답변
• 지식을 잘 꺼내서 정확하게 추론
• 매끄럽게 정리해 문제 풀이

SFT만 적용했을 때 한계

지식을 배우기는 함
        ↓
  BUT
        ↓
매끄러운 추론 능력까지 확보하지는 못함

9. Coverage와 RL

Coverage란?

• 질문이 주어졌을 때 답변을 많이 하는 것
• 모델의 다양한 답변 생성 능력

GRPO의 문제

• K가 커질수록 성능이 떨어짐
• RL을 많이 한 문제들은 풀이가 비슷 → 정답률 떨어짐

현재의 RLVR의 한계

추론 패턴을 한정적으로 변화시킴
        ↓
사고방식이 줄어듦
        ↓
Coverage 관점에서는 오히려 성능 감소

RL의 한계

• 기존 베이스 모델에서 생성할 수 있던 사고와 유사
• 베이스 모델에 비해 Coverage가 늘어나지 않음
• 어려운 문제의 경우, RL에서 오히려 성공률이 더 떨어짐

대안: Distillation

• 큰 모델의 답변을 받아오는 Distillation 방법
• 더 높은 Coverage를 보임

10. 최종 결론

RL만 수행하는 경우의 한계

적절한 외부 지식에 대한 학습 없이,
RL만 수행하는 경우에는 성능 향상에 한계가 존재함

단독으로 RL을 수행하면:

• 답변은 매끄러워지지만
• 근본적인 변화를 만들지는 못함

RL의 진짜 역할

Correct Answer와 Correct CoT를 모두 만족하는 답변 생성

P(CA) 분포 → 빠르게 향상
P(CC|CA) 분포 → 오랜 학습이 필요 (천천히 향상)

효과적인 추론 강화 전략

SFT + RL 모두 필요
        ↓
각각의 역할과 한계가 있음
        ↓
적절히 결합해야 효과적

핵심 요약

주요 모델 성능 비교

시험 대비 핵심 포인트

최종 정리

핵심 메시지

1. RL만으로는 한계가 있음
2. SFT만으로도 한계가 있음
3. SFT + RL 프레임워크가 가장 효과적
4. 각각의 역할을 이해하고 적절히 결합
5. 베이스 모델의 품질이 매우 중요