원본 문서
    ↓
1. 문서 로딩 (Document Loading)
    ↓
2. 청킹 (Chunking)
    ↓
3. 임베딩 (Embedding)
    ↓
4. 벡터 DB 저장

from langchain.document_loaders import (
    TextLoader,
    PDFLoader,
    CSVLoader,
    WebBaseLoader,
    DirectoryLoader
)

# 텍스트 파일 로딩
text_loader = TextLoader("document.txt")
text_docs = text_loader.load()

# PDF 로딩
pdf_loader = PDFLoader("document.pdf")
pdf_docs = pdf_loader.load()

# 웹페이지 로딩
web_loader = WebBaseLoader("https://example.com")
web_docs = web_loader.load()

# 디렉토리 내 모든 파일 로딩
dir_loader = DirectoryLoader(
    "./docs/",
    glob="**/*.txt",
    loader_cls=TextLoader
)
all_docs = dir_loader.load()

# Document 객체는 다음과 같은 구조를 가짐
document = {
    "page_content": "문서의 실제 텍스트 내용...",
    "metadata": {
        "source": "파일 경로 또는 URL",
        "page": 1,  # PDF의 경우 페이지 번호
        "author": "저자 정보",
        "date": "작성일"
    }
}

from langchain.text_splitter import CharacterTextSplitter

splitter = CharacterTextSplitter(
    chunk_size=1000,      # 청크 크기 (문자 수)
    chunk_overlap=200,    # 청크 간 중복 크기
    separator="\n"        # 분할 기준 문자
)

chunks = splitter.split_documents(documents)

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    separators=["\n\n", "\n", ".", " "]  # 우선순위 순
)

chunks = splitter.split_documents(documents)

from langchain.text_splitter import TokenTextSplitter

splitter = TokenTextSplitter(
    chunk_size=500,       # 토큰 수
    chunk_overlap=50
)

chunks = splitter.split_documents(documents)

# 권장: chunk_size의 10-20%
chunk_size = 1000
chunk_overlap = 200  # 20%

# 중복의 목적: 문맥 연결 유지
"""
청크 1: "...인공지능의 발전은 매우 빠르게 진행되고 있다."
청크 2: "빠르게 진행되고 있다. 특히 LLM 분야에서..."
"""

def analyze_chunks(chunks):
    """청킹 결과 분석"""
    sizes = [len(chunk.page_content) for chunk in chunks]

    print(f"총 청크 수: {len(chunks)}")
    print(f"평균 크기: {sum(sizes)/len(sizes):.0f}")
    print(f"최소 크기: {min(sizes)}")
    print(f"최대 크기: {max(sizes)}")

    # 너무 작은 청크 확인
    small_chunks = [c for c in chunks if len(c.page_content) < 100]
    print(f"100자 미만 청크: {len(small_chunks)}개")

from langchain.schema import Document

# 메타데이터가 포함된 문서 생성
doc = Document(
    page_content="RAG는 검색 증강 생성 기술입니다.",
    metadata={
        "source": "rag_tutorial.pdf",
        "page": 5,
        "chapter": "Introduction",
        "date": "2024-01-15"
    }
)

# 메타데이터 기반 필터링
filtered_docs = [
    d for d in documents
    if d.metadata.get("chapter") == "Introduction"
]

# 일반적인 RAG 시스템 권장 설정
splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,      # 500-1000 권장
    chunk_overlap=100,   # 10-20% 권장
    separators=["\n\n", "\n", ".", " "]
)