파인튜닝 • 챕터 3 / 7
Fine-tuning은 사전 훈련된 대규모 언어 모델(LLM)을 특정 도메인이나 태스크에 맞게 조정하는 과정입니다.
핵심 작업:
| 방법 | 설명 |
|---|---|
| 수집 (Collection) | 원본 문서를 발굴하여 불러오기 |
| 증강 (Augmentation) | 기존 데이터를 가공하여 확장 |
| 증류 (Distillation) | 고성능 LLM을 통한 데이터 생성 |
OpenAI 정책:
"Cannot Use Output to develop models that compete with OpenAI"
Qwen 정책:
필수 요소:
핵심 원칙:
한계:
1번 문제 답변 제시 + 2번 문제 답변 제시
↓
3번 문제를 풀 수 있는가?→ 일반화를 위해 다양한 예시를 통한 패턴 학습 필요
Instruction (지시문) + Input (입력) → Output (출력)핵심 질문:
코퍼스란?
활용 방법:
1. 코퍼스 수집 및 정제
↓
2. 관련 주제에 대한 이해 확장
↓
3. QA 쌍 자동 생성
↓
4. 품질 검증 및 필터링핵심 원칙:
큰 모델 (Teacher Model)
↓ 입력
나온 데이터 (High-Quality Output)
↓ 학습
작은 모델 (Student Model)장점:
핵심 전략:
| 장점 | 설명 |
|---|---|
| 실제 사용 사례 반영 | 현실적인 시나리오 |
| 자연스러운 표현 | 실제 맥락 포함 |
| Edge case 포함 | 예상치 못한 상황 |
| 일반화 성능 향상 | 모델의 범용성 증가 |
1. 도메인 선정
↓
2. 데이터 수집 (크롤링, 코퍼스)
↓
3. 데이터 전처리 및 형식 변환
↓
4. LLM 활용 데이터 증강
↓
5. Instruction Data 생성
↓
6. 품질 검증 및 필터링
↓
7. 실제 데이터와 합성 데이터 결합
↓
8. Fine-tuning 실행좋은 모델로 생성된 고품질 데이터 활용
각 모델의 사용 정책 철저히 준수
합성 데이터와 실제 데이터의 적절한 조합
Step 1: 도메인 선정
Step 2: 데이터 수집
Step 3: LLM 활용
반드시 피해야 할 사항:
권장사항:
| 요소 | 설명 |
|---|---|
| 도메인 이해 | 풀고자 하는 문제에 대한 깊은 이해 |
| 데이터 다양성 | 충분한 variation을 가진 instruction 데이터 |
| 품질 관리 | 지속적인 검증 및 개선 프로세스 |
| 지식 증류 | 큰 모델의 지식을 작은 모델로 효율적 전달 |
| 실제 데이터 | 합성 데이터만으로는 부족, 실제 사례 필수 |