청킹Chunking

도서관에서 책 한 권을 통째로 외우는 것은 불가능하지만, 책을 챕터·단락 단위로 나눠 색인을 만들면 필요한 내용을 바로 찾을 수 있다. 청킹 (Chunking)은 이것과 같다 — AI 에이전트 (Agent)가 긴 문서, 이메일 묶음, 웹페이지 등 대용량 텍스트를 한 번에 처리하지 못하기 때문에, 적당한 크기의 조각(청크, Chunk)으로 잘라서 메모리 (Memory)나 벡터 저장소 (Vector Store)에 넣어두고, 질문이 들어올 때 가장 관련 있는 조각만 꺼내 쓰는 기법이다.

1인 비즈니스(1인 사이트 운영)에서 청킹은 AI 에이전트에게 '내 사이트의 콘텐츠'를 학습시키거나 검색하게 할 때 핵심적으로 등장한다. 예를 들어 블로그 글 수십 편을 에이전트에게 제공할 때, 글 전체를 한꺼번에 넣으면 AI의 컨텍스트 윈도우 (Context Window) 한계를 초과한다. 이때 각 글을 문단 단위로 청킹해두면 에이전트가 '이번 달 마케팅 팁'이라는 질문에 딱 맞는 문단만 골라 답변할 수 있다. 뉴스레터 아카이브 검색, SaaS 이용약관 요약, 커뮤니티 FAQ 자동 응답, 쇼핑몰 상품 설명 검색 등 어디서든 긴 텍스트를 다루면 반드시 청킹이 필요하다.

초보자가 흔히 혼동하는 점은 '조각을 작게 자를수록 좋다'고 생각하는 것이다. 조각이 너무 작으면 문맥 (Context)이 끊겨서 에이전트가 엉뚱한 답변을 낸다. 반대로 너무 크면 컨텍스트 윈도우를 낭비한다. 처음에는 문단 단위(200~500자 내외)를 기준으로 시작하고, 에이전트 답변 품질을 보면서 크기를 조정하는 것이 좋다.