컴퓨터 유즈(Computer Use)는 AI에게 내 마우스와 키보드를 잠시 빌려주는 것 같은 것 — AI가 화면을 캡처해 보고 좌표를 찍어 클릭·입력하며 데스크톱 프로그램을 직접 조작하는 기능이에요.
컴퓨터 유즈는 옆자리 동료에게 내 마우스와 키보드를 잠깐 넘겨주는 것과 비슷해요. 동료는 모니터를 보면서 어디를 눌러야 할지 판단하고 직접 클릭하고 타이핑해요. AI도 마찬가지로 화면 전체를 캡처해 보고, 버튼이 있는 좌표를 계산해 클릭하거나 글자를 입력하면서 사람처럼 프로그램을 다뤄요.
강의에서는 웹 브라우징 자동화와 비교해서 설명해요. 브라우저 자동화는 크롬 안의 웹페이지만 조작하지만, 컴퓨터 유즈는 CapCut, 포토샵, 메모장처럼 내 PC에 설치된 데스크톱 앱까지 다룰 수 있어요. API나 MCP가 없는 네이버 블로그 같은 곳에 글을 써야 할 때 대안으로 쓰고, 그것도 막히면 스크립트로 프로그램화하는 순서로 접근해요. 클로드가 작업하는 동안 녹화 화면 위아래가 빨갛게 깜빡이는 모습도 강의에 나와요. 내 PC 프로그램을 조작하게 하려면 앱 접근 권한을 허용해 줘야 하고, 작업 중에는 마우스를 AI가 쓰기 때문에 사람이 동시에 쓰기 어렵다는 점도 알려 줘요.
헷갈리기 쉬운 점은 비용과 속도예요. 컴퓨터 유즈는 매 단계마다 화면 이미지를 주고받기 때문에 텍스트만 주고받는 방식보다 토큰이 더 들고 느려요. 그래서 웹에서 끝나는 일이면 브라우저 자동화나 API를 먼저 쓰고, 데스크톱 앱처럼 다른 방법이 없을 때 컴퓨터 유즈를 쓰는 게 효율적이에요. 작업 중 내 마우스를 써야 한다면 "백그라운드로 작업해 줘"라고 따로 지시하라고 강의에서 안내해요.
AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.