AI 에이전트 →

로컬 모델(로컬 LLM)Local LLM

로컬 모델(Local LLM)은 집에 들여놓은 정수기 같은 것 — 인터넷 AI 서비스 대신 내 컴퓨터에서 직접 돌리는 AI 모델로, 사용량 요금은 없지만 성능이 PC 사양에 달려 있어요.

로컬 모델은 생수를 사 먹는 대신 집에 정수기를 들여놓는 것과 비슷해요. 생수(클라우드 AI)는 쓸 때마다 돈을 내지만 품질이 좋고 관리할 필요가 없어요. 정수기(로컬 모델)는 한 번 설치하면 물값이 따로 들지 않지만, 기계 성능만큼만 물이 나오고 관리도 내가 해야 하죠. 로컬 모델은 내 컴퓨터의 메모리와 그래픽카드(GPU)로 AI를 직접 돌려요.

강의에서는 에이전트 최적화 세팅을 하면서 로컬 모델을 선택지로 소개해요. Qwen 같은 공개 모델을 내 PC에 받아 돌리면 사용량 요금이 들지 않아서, 단순하고 반복적인 작업을 맡기기에 좋아요. 다만 성능은 PC의 메모리와 GPU 사양에 따라 크게 달라진다고 설명해요. 그래서 어려운 판단이나 긴 글쓰기는 클라우드 모델에, 분류나 요약 같은 가벼운 일은 로컬 모델에 나누는 식으로 섞어 쓰는 방법을 생각해 볼 수 있어요.

초보가 묻는 '사양이 얼마나 돼야 하나'에 대한 답은 '돌리려는 모델 크기에 따라 다르다'예요. 모델이 클수록 더 많은 메모리가 필요하고, 사양이 부족하면 아예 안 돌거나 답이 아주 느리게 나와요. 처음에는 작은 모델부터 받아 내 PC에서 속도가 괜찮은지 확인하고 늘려 가는 게 안전해요. 또 로컬 모델은 데이터가 밖으로 나가지 않는 장점이 있지만, 최신 클라우드 모델만큼 똑똑하다고 기대하면 실망할 수 있어요.

💡 대표 예시

  • 비용 절감 — 단순 분류 작업을 로컬 모델에 맡겨 API 사용량을 줄인다
  • 모델 선택 — 내 PC 메모리를 확인하고 작은 Qwen 모델부터 받아 본다
  • 속도 점검 — 같은 질문을 넣어 답이 나오는 시간을 재 본다
  • 역할 분담 — 어려운 글쓰기는 클라우드 모델, 요약은 로컬 모델로 나눈다
  • 보안 작업 — 외부로 보내기 곤란한 내부 문서 요약을 로컬에서 처리한다

🔗 관련 용어

이 개념, 직접 적용해볼까요?

AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.