로컬 모델(Local LLM)은 집에 들여놓은 정수기 같은 것 — 인터넷 AI 서비스 대신 내 컴퓨터에서 직접 돌리는 AI 모델로, 사용량 요금은 없지만 성능이 PC 사양에 달려 있어요.
로컬 모델은 생수를 사 먹는 대신 집에 정수기를 들여놓는 것과 비슷해요. 생수(클라우드 AI)는 쓸 때마다 돈을 내지만 품질이 좋고 관리할 필요가 없어요. 정수기(로컬 모델)는 한 번 설치하면 물값이 따로 들지 않지만, 기계 성능만큼만 물이 나오고 관리도 내가 해야 하죠. 로컬 모델은 내 컴퓨터의 메모리와 그래픽카드(GPU)로 AI를 직접 돌려요.
강의에서는 에이전트 최적화 세팅을 하면서 로컬 모델을 선택지로 소개해요. Qwen 같은 공개 모델을 내 PC에 받아 돌리면 사용량 요금이 들지 않아서, 단순하고 반복적인 작업을 맡기기에 좋아요. 다만 성능은 PC의 메모리와 GPU 사양에 따라 크게 달라진다고 설명해요. 그래서 어려운 판단이나 긴 글쓰기는 클라우드 모델에, 분류나 요약 같은 가벼운 일은 로컬 모델에 나누는 식으로 섞어 쓰는 방법을 생각해 볼 수 있어요.
초보가 묻는 '사양이 얼마나 돼야 하나'에 대한 답은 '돌리려는 모델 크기에 따라 다르다'예요. 모델이 클수록 더 많은 메모리가 필요하고, 사양이 부족하면 아예 안 돌거나 답이 아주 느리게 나와요. 처음에는 작은 모델부터 받아 내 PC에서 속도가 괜찮은지 확인하고 늘려 가는 게 안전해요. 또 로컬 모델은 데이터가 밖으로 나가지 않는 장점이 있지만, 최신 클라우드 모델만큼 똑똑하다고 기대하면 실망할 수 있어요.
AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.