AI 에이전트 →

경량 모델Lightweight Model

경량 모델(Lightweight Model)은 큰 트럭 대신 쓰는 배달 오토바이 같은 것 — 최상위 모델보다 작고 저렴하며 빠른 AI 모델로, 깊은 추론이 필요 없는 단순 작업을 싸게 처리할 때 써요.

이삿짐을 옮길 땐 트럭이 필요하지만, 서류 한 장 전달하는 데 트럭을 부를 필요는 없어요. 오토바이가 더 빠르고 싸죠. AI 모델도 마찬가지예요. 복잡한 기획이나 코드 설계에는 크고 똑똑한 모델이 맞지만, 글자 뽑기나 분류처럼 단순한 일은 작고 가벼운 모델로도 충분히 해내요. 이런 모델을 경량 모델이라고 해요.

강의에서는 사이트에 영수증 사진에서 글자를 뽑아내는 기능을 붙이면서 경량 모델을 골라요. 영수증 글자 추출은 큰 지능이 필요 없으니 가장 저렴한 Nano급 모델로 충분하고, 한 장 처리 비용도 아주 적게 든다고 보여 줘요. 그러면서 생각이 필요한 작업에만 좋은 모델을 쓰고, 나머지는 가벼운 모델에 맡기라고 정리해요. 같은 기능이라도 모델 선택에 따라 운영비가 크게 달라진다는 걸 보여 주는 장면이에요.

"간단한 작업에는 어떤 모델을 쓰면 되나요?"라는 질문에는, 분류·요약·글자 추출·형식 바꾸기처럼 답이 비교적 분명한 일은 경량 모델부터 시도해 보라고 답할 수 있어요. 샘플 몇십 건을 상위 모델과 경량 모델로 각각 돌려 결과를 비교하고, 품질 차이가 작으면 경량 모델을 쓰면 돼요. 헷갈리기 쉬운 점은 경량 모델이 꼭 내 컴퓨터에서 돌리는 로컬 모델을 뜻하지는 않는다는 거예요. API로 쓰는 클라우드 모델 중에도 경량 모델이 있어요. 가격은 자주 바뀌니 공식 가격표를 확인하세요.

💡 대표 예시

  • 영수증 인식 — 글자 추출만 필요한 기능에 가장 저렴한 Nano급 모델을 붙인다
  • 분류 작업 — 댓글을 질문·칭찬·스팸으로 나누는 일은 경량 모델에 맡긴다
  • 역할 분담 — 기획은 상위 모델, 반복 요약은 경량 모델로 나눠 쓴다
  • 품질 비교 — 샘플 20건을 두 모델로 돌려 결과 차이를 확인한다
  • 비용 점검 — 사용량이 늘면 단순 작업부터 경량 모델로 옮긴다

🔗 관련 용어

AI 모델

AI 모델 (AI Model)은 AI 에이전트에 붙이는 두뇌 같은 것 — 방대한 데이터를 학습해 글쓰기·판단·그림·음성 같은 일을 해내는, AI 서비스의 핵심 엔진이에요.

클로드 모델 등급(Opus·Sonnet·Haiku)

클로드 모델 등급(Opus·Sonnet·Haiku)은 회사의 선임·중간·신입 직원 같은 것 — 같은 클로드라도 가장 똑똑한 Opus, 균형형 Sonnet, 빠르고 가벼운 Haiku로 나뉘어 일의 난이도에 맞게 골라 쓰는 구분이에요.

로컬 모델(로컬 LLM)

로컬 모델(Local LLM)은 집에 들여놓은 정수기 같은 것 — 인터넷 AI 서비스 대신 내 컴퓨터에서 직접 돌리는 AI 모델로, 사용량 요금은 없지만 성능이 PC 사양에 달려 있어요.

모델 라우팅

모델 라우팅 (Model Routing)은 공항 안내 데스크 같은 것 — 질문의 종류와 난이도에 따라 '이건 가벼운 모델로, 이건 똑똑한 모델로' 자동으로 배정해 비용과 속도를 함께 잡는 방식.

OCR (문자 인식)

OCR (Optical Character Recognition)은 사진 속 글자를 읽어 타자로 옮겨 주는 눈 같은 것 — 이미지나 스캔한 문서, 화면 캡처에 들어 있는 글자를 컴퓨터가 읽고 편집 가능한 텍스트로 바꾸는 기술이에요.

토큰

토큰 (Token)은 AI가 글을 읽고 쓸 때 쓰는 글자 조각 단위 같은 것 — AI가 문장을 잘게 나눠 처리하는 최소 단위이자, AI API 사용량과 요금을 세는 기준이에요.

이 개념, 직접 적용해볼까요?

AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.