LLM 생태계와 주요 모델들

1. LLM 성능 현황

주요 모델 순위

현재 시장 상황:

• GPT 계열 모델이 성능 1위 유지
• Gemini, Claude, Grok 등도 Top 10 안에 위치

모델 구분

2. 오픈 모델의 장단점

장점

단점

• GPU, 계산량, 비용이 많이 듦
• 상위권 성능은 여전히 상용 모델이 우위

3. Llama: Meta의 오픈 LLM

Llama 발전사

4. Microsoft Phi Series

Phi 모델 개요

• 합성 데이터를 많이 활용
• GPT-3.5 코드 데이터로 학습 → 코딩 성능 개선
• 3.8B, 7B, 14B 등 상대적으로 작은 규모

특징

5. Alibaba Qwen Series

현존 최고 다국어 처리 모델

• 초기부터 멀티링구얼 모델 표방
• 언어별 최적화된 토크나이저 설계
• SLM부터 대형 LLM까지 폭넓게 공개

Qwen3 모델 크기와 구조

레이어 변화: 28개 → 36개 → 40개 → 64개...

• 작은 모델: 레이어 수 적음
• 큰 모델: 레이어 수 많음 → 성능 향상

6. Mistral Series

Mixtral: MoE 방법 활용

• 8×7B, 8×22B 모델 (2024년 4월까지 파운데이션 모델 1위)
• 스트라이딩 윈도우 어텐션: 전체 문맥이 아닌 특정 범위만 집중

Mistral Large Series

• Large 2 (2024년 7월): 123B, 한국어 지원 시작

7. Gemma Series

구글이 개발한 오픈 모델

• 현재는 Qwen 또는 Gemma 가 대표적 선택지
• 한국어 성능도 우수

Gemma 3 라인업

8. 국내 LLM 모델

카카오 Kanana

네이버 HyperCLOVA

LG EXAONE

• EXAONE 4.0: 1.1B, 32B
• 한국어 리즈닝 특화
• 국내 모델 중 최상위권 벤치마크 성능

Upstage Solar

• DUS (Depth Upscaling) 기법 적용
• 7B × 1.5 = 10.7B → 대형 모델 능가
• 이후 22B, 31B 모델 공개

9. 파라미터와 GPU 메모리

파라미터 수 개념

• B 단위: 7B = 70억 개, 22B = 220억 개
• 초대형 모델: GPT-4 (1.76T), Claude 3 Opus (2T)

GPU 메모리 계산법

16bit 모델 기준:

7B 모델 = 70억 × 2바이트 = 14GB

실제 사용 시 필요 메모리

10. 양자화 (Quantization)

양자화란?

Weight 값을 줄여 모델 크기를 작게 만드는 과정

INT8 양자화 원리

• 최솟값과 최댓값 기준으로 255 단계 분할
• 가중치 분포(01) → 0255 값으로 매핑

양자화의 장단점

11. 개선된 양자화 기법

QLoRA: 분위수 기반

• 등 길이 대신 분위수(Quantile) 기준 분할
• 원래 값 보존률 높음, 아웃라이어에도 강건

GPTQ

• 파라미터 중요도 기반 차등 양자화
• 중요한 파라미터 → 적게 양자화
• 덜 중요한 파라미터 → 크게 양자화

AWQ

• 레이어 단위로 입력 활성화 값 확인
• 가중치의 활성화 정도 반영해 양자화

GGUF/GGML

• CPU 추론 최적화 포맷
• C++ 기반 (라마 CPP)
• 전체 모델 단일 파일로 저장 → 배포 간편
• Ollama 활용 시 손쉬운 서빙

QAT (Quantization Aware Training)

• 학습 단계에서 양자화 고려
• 중간중간 양자화 적용/해제 반복 학습
• Google Gemma3에 적용

12. 큰 모델 양자화 vs 작은 모델

일반적으로 큰 모델 양자화가 유리

이유:

1. 레이어 개수가 많음
2. 차원이 큼
3. 컨텍스트 길이가 김
4. 많은 데이터를 학습함

핵심 요약

주요 오픈소스 LLM

국내 LLM

양자화 기법