청킹(문서 분할)Chunking
한마디로
긴 문서를 검색 가능한 작은 조각으로 나누는 전처리예요. 조각 크기를 잘 잡아야 RAG 검색 품질이 좋아져요
청킹은 긴 문서를 '검색하기 좋은 크기'로 자르는 작업이에요. 통째로는 너무 길어 검색·참조가 비효율적이라, 문단·섹션 단위로 쪼개 임베딩해요.
조각이 너무 크면 불필요한 내용까지 딸려오고, 너무 작으면 맥락이 끊겨요. 그래서 '얼마나·어디서 자르느냐'가 RAG 품질에 은근히 큰 영향을 줘요. 의미 단위(문단·헤딩)로 자르고 약간 겹치게 하는 게 보통 안전해요.