자연어 처리와 임베딩

1. LLM 기반 기술 이해하기

LLM의 특징

LLM(Large Language Model)이란?

• 언어 패턴을 학습해 언어를 생성하는 모델
• 현재 LLM의 주된 역할 = 언어 생성
• LLM을 구성하는 핵심 모델 = Transformer 구조

2. 기계 학습 (Machine Learning) 개념

데이터의 규칙을 학습

기계 학습의 목적

예시 1: 주식 예측

• 입력: 일정 기간의 주가 정보
• 출력: 오늘의 증가 예측
• 학습 목적: 과거 데이터 기반으로 내일의 값 예측

예시 2: 주변 맥락 이해

• 입력: "I go to school" → "나는 학교에 간다"
• school이 schol로 오타남 → 주변 맥락(Context)과 함께 고려 필요

3. 데이터의 패턴

예측과 생성의 차이

4. 자연어 학습의 어려움

자연어 데이터 vs 수치형 데이터

해결 방법

1. 숫자 연산이 불가능 → 숫자(벡터)로 변환
2. 길이가 일정하지 않음 → 토큰화로 해결

5. 임베딩 (Embedding)

추상적 데이터를 컴퓨터가 이해하도록 변환

임베딩의 정의

• 자연어 의미를 컴퓨터가 이해할 수 있도록 벡터로 변환하는 과정
• 언어, 그래프, 단어, 그림, 사운드 등 추상적 데이터도 벡터로 변환 가능

Word Embedding 프로세스

1단계: 단어를 수백~수천 차원의 벡터로 변환
    ↓
2단계: 유사 단어를 벡터 공간에서 가깝게 배치

6. Word2Vec

구글이 2013년 개발

예시 문장

"나는 커피를 좋아한다, 나는 우유를 좋아한다, 나는 차를 좋아한다"

토큰 분리

"나는" | "커피를" | "우유를" | "차를" | "좋아한다"

Word2Vec의 연산적 특성

의미 연산이 가능

Word2Vec의 한계점

7. 맥락 (Context)

맥락의 중요성

예시: "I go to school"

school이 schol로 오타남
→ 철자 유사성(S, OL 조합)과
→ 주변 맥락(I, to, go)으로 의미 보완

8. 토큰 (Token)

토큰의 정의

• 단어나 텍스트 묶음을 더 잘게 나누는 단위
• 단어보다 작고, 글자 하나보다는 큰 단위

예시

"Tokenization" = "Token" + "ization"
→ "Tokenizer", "Tokenized" 등도 2개 토큰으로 처리 가능

토큰 기반 임베딩의 장점

1. 임베딩을 단어가 아닌 토큰 레벨로 계산
2. 토큰 간 관계를 분석해 맥락(Context)을 이해
3. 이를 가능하게 하는 핵심 구조 = 트랜스포머(Transformer)

9. 토큰화 (Tokenization)

토큰화의 기본 개념

텍스트를 작은 단위로 쪼개는 과정

Generative Pre-trained Transformer (GPT)
   ↓        ↓         ↓         ↓
 토큰1    토큰2      토큰3     토큰4

언어별 토큰화 차이

토큰 개수가 많아지면?

• Context 길이 제한이 빨리 소진
• 처리 속도 저하

10. 트랜스포머 (Transformer) 소개

트랜스포머의 등장

• 2017년 구글에서 개발
• 논문: "Attention is All You Need"
• 인용수 약 19만 번 → 기념비적 성과
• 현재 대부분 LLM 구조가 트랜스포머 기반

기존 모델(RNN)의 한계 극복

2017년 이전 상황

• 주요 과제: 문장 변환 (Sequence-to-Sequence)
• 예: "나는 집에 간다" → "I go home"
• 기존 RNN 한계: 문장이 길면 내용 잊음

트랜스포머의 해결책

• 긴 문장도 내용 보존 가능
• 긴 Context 처리에 강점

트랜스포머 구조

┌─────────────────┐         ┌─────────────────┐
│  인코더(Encoder) │         │  디코더(Decoder) │
│                 │         │                 │
│  입력 문장을 받아 │    →   │  인코더 결과를 받아│
│  의미를 벡터로   │         │  출력 문장 생성   │
│  계산           │         │                 │
└─────────────────┘         └─────────────────┘

이후 발전

• 인코더 구조 → BERT 모델 로 발전
• 디코더 구조 → GPT 같은 LLM 으로 발전

핵심 요약