대규모 언어모델 • 챕터 3 / 7
Transformer의 성공 이후 두 가지 방향으로 발전
| 모델 | 구조 | 역할 |
|---|---|---|
| BERT | Encoder 활용 | 문장 의미 파악, 벡터 출력 |
| GPT | Decoder 활용 | 텍스트 생성 |
파라미터가 1억 개인 Transformer Decoder 모델
모델 크기를 늘리고 웹 텍스트로 학습
대량의 데이터를 바탕으로 높은 수준의 지식과 언어 능력을 갖춘 LLM의 시초
1. In-Context Learning
2. Few-Shot Learning
3. 질의응답 능력 부족
GPT-3을 개량해서 만든 ChatGPT 모델의 시초
Step 1: SFT → Step 2: Reward Model 학습 → Step 3: RLHF질문 + 답변 세트 포맷을 만들어 학습
User: 6살 아이한테 달 착륙에 대해 설명해주세요.
답변: 달에는 우주선을 타고 갔어요...SFT만으로는 부족
인간의 선호도에 맞는 답변을 하기 위한 추가 학습이 필요합니다.
사람에게 질문에 대한 좋은 답변이 무엇인지 라벨링
질문에 대해 4개의 답변 생성:
사람 평가: A → B → D → C 순서로 순위 매김
프로세스:
RLHF의 역할
LLM의 출력을 인간 선호도에 맞게 바꿔주는 강화학습입니다.
[Step 1: SFT] → [Step 2: Reward Model] → [Step 3: RLHF]부작용: Reward 학습으로 인해 객관성을 잃고 아첨하는 경향 발생
N개의 모델 혼합: Mixture of Experts (MoE) 기법
Self-Attention 공유 + 여러 개의 MLP 중 일부만 활성화
| 장점 | 설명 |
|---|---|
| 효율성 | 모델은 크게, 실제 계산량은 줄임 |
| 속도 | 출력이 빨라짐 |
| 확장성 | 이후 DeepSeek V2 등에서 개선된 구조로 계속 활용 |
텍스트/이미지/오디오/비디오를 멀티미디어 토큰으로 변환 → 초기에 융합하여 학습
| 구분 | GPT-4 | GPT-4o |
|---|---|---|
| 이미지 처리 | Vision Encoder + Projection layer | 초기 융합 (Early Fusion) |
| 입출력 | 텍스트 중심 | Any-to-Any (텍스트/오디오/이미지) |
| 토크나이저 | 기존 | 개선 (한국어 등 다국어 처리 속도 증가) |
질문이 주어지면 긴 추론을 통해 답을 생성하는 모델
문제가 주어지면 Thinking을 많이 한 다음 답변
이론적으로는 Encoder 모델의 문장 이해력이 더 뛰어남
실제로는 Decoder 모델도 높은 이해력
| 모델 | 파라미터 | 핵심 특징 |
|---|---|---|
| GPT-1 | 0.1B | Fine-tuning 필요 |
| GPT-2 | 1.5B | TL;DR 요약 기능 |
| GPT-3 | 175B | In-Context Learning, Few-Shot Learning |
| GPT-3.5 | 175B | SFT + RLHF → ChatGPT |
| GPT-4 | 1760B | MoE 기법 |
| GPT-4o | - | Multimodal Early Fusion |
| GPT-5 | - | 최고 성능, 깊은 추론 |
| 방법 | 설명 |
|---|---|
| SFT | 질문+답변 포맷 학습 |
| Reward Model | 좋은 답변 판단 학습 |
| RLHF | 인간 선호도 반영 강화학습 |