토큰 한도Token Limit

AI 와 대화할 때 AI 는 모든 내용을 한꺼번에 머릿속에 담아두고 일합니다. 그런데 이 '머릿속 공간'에는 정해진 한계가 있는데, 이 한계를 토큰 한도 (Token Limit) 라고 합니다. 토큰 (Token) 이란 AI 가 글자를 읽는 단위로, 대략 한글 한 글자 혹은 영어 단어 조각 하나 정도라고 생각하면 됩니다. 노트 한 권이 꽉 차면 더 이상 새 내용을 적을 수 없거나 앞 페이지를 찢어내야 하듯, AI 도 한도에 도달하면 오래된 대화 내용을 잊거나 작업을 이어가지 못합니다.

1인 비즈니스 운영자가 AI 에이전트 (Agent) 에게 긴 작업을 맡길 때 이 한도를 자주 마주칩니다. 예를 들어 블로그 글 초안 전체를 붙여넣고 수정 요청을 하거나, 뉴스레터 아카이브를 한꺼번에 분석 요청하거나, SaaS 코드 파일 여러 개를 동시에 넘길 때 토큰 한도를 초과하면 AI 가 중간에 맥락을 잃거나 오류를 냅니다. 에이전트가 메모리 (Memory) 나 플래닝 (Planning) 을 활용해 작업을 나눠서 처리하는 이유도 바로 이 한도 때문입니다.

초보자가 흔히 혼동하는 점은 '토큰 한도 = 한 번에 입력하는 글자 수 제한'으로만 생각하는 것입니다. 실제로는 내가 보낸 메시지 + AI 의 답변 + 이전 대화 이력이 모두 합산됩니다. 따라서 대화가 길어질수록 한도가 빨리 찹니다. 첫 번째 팁은 긴 문서를 한꺼번에 넘기지 말고 단계별로 쪼개서 요청하는 것이고, 두 번째 팁은 새 작업을 시작할 때 새 대화창을 여는 것입니다.