올라마(Ollama)는 집에 들여놓는 개인 커피머신 같은 것 — 인터넷 서비스에 접속하지 않고 내 컴퓨터에서 오픈 AI 모델을 내려받아 바로 실행하게 해 주는 로컬 모델 실행 도구예요.
카페에 가서 커피를 사 마시면 편하지만 매번 돈이 들고 카페가 문을 닫으면 못 마셔요. 집에 커피머신을 두면 맛은 조금 덜해도 언제든 내릴 수 있죠. 올라마가 그 커피머신이에요. ChatGPT나 Claude처럼 회사 서버에 요청하는 대신, 공개된 AI 모델 파일을 내 컴퓨터로 받아 직접 돌려 줘요. 명령어 몇 줄로 모델을 내려받고 실행할 수 있어서 로컬 모델 입문용으로 많이 써요.
강의에서는 에이전트의 마지막 '폴백 모델'로 올라마를 세팅해요. 주력 모델이 한도에 걸리거나 끊겼을 때 내 컴퓨터의 로컬 모델(Qwen 계열 등)이 대신 일하게 하는 거예요. 설치 확인, 내 PC 사양 확인, 모델 테스트까지 에이전트에게 맡길 수 있다고 보여 줘요. 윈도우에 설치한 올라마를 WSL 안의 에이전트가 쓰게 하려면 방화벽에서 접속을 허용해야 한다는 점도 짚어요. 또 컨텍스트 압축처럼 가벼운 작업은 굳이 유료 모델을 쓰지 않고 로컬 모델에 맡기는 예로도 나와요.
'내 컴퓨터에서 무료로 돌릴 수 있나요?'라는 질문에는, 프로그램과 공개 모델 자체는 무료로 쓸 수 있지만 대신 내 컴퓨터의 성능이 비용이 된다고 답할 수 있어요. 메모리와 GPU가 부족하면 느리거나 큰 모델은 아예 안 돌아가요. 또 로컬 모델은 최신 유료 모델보다 답의 품질이 낮은 경우가 많아서, 중요한 작업의 주력보다는 보조·비상용으로 쓰는 편이 현실적이에요. 모델마다 사용 조건(라이선스)이 다르니 상업적으로 쓸 때는 확인하세요.
AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.