봇 차단(Bot Protection)은 건물 입구에서 사람인지 로봇인지 살피는 경비원 같은 것 — 웹사이트가 자동화 프로그램(봇)의 접속을 감지해 막거나 추가 확인을 요구하는 보안 장치예요.
봇 차단은 건물 입구에 선 경비원이 들어오는 사람을 살펴보는 것과 비슷해요. 평범한 방문객은 통과시키지만, 너무 빠르게 드나들거나 행동이 기계 같으면 멈춰 세우죠. 웹사이트도 자동화 프로그램이 대량으로 정보를 긁어 가거나 서버를 괴롭히는 걸 막으려고, 접속하는 쪽이 사람인지 봇인지 판별하는 장치를 둬요. 아카마이(Akamai), 클라우드플레어 같은 보안 업체의 서비스가 대표적이에요.
강의에서는 AI 에이전트에게 쿠팡 상품 페이지 정보를 가져오게 했다가 이 장벽에 막히는 장면이 나와요. 쿠팡이 아카마이 봇 차단을 쓰고 있어서 에이전트가 띄운 자동화 브라우저로는 페이지가 열리지 않았어요. 그러자 에이전트가 스스로 원인을 찾아, 내가 평소에 로그인해 쓰는 실제 크롬 창을 통해 접속하면 실제 사용자로 인식된다는 방안을 제시해요. 막혔을 때 AI에게 원인 분석과 대안을 같이 묻는 게 중요하다는 걸 보여 주는 사례예요.
'봇 차단 때문에 스크래핑이 막히면 어떻게 하나요?'에 대한 답은 먼저 공식 경로를 찾는 거예요. 해당 서비스가 API나 제휴 프로그램(예: 쿠팡 파트너스)을 제공하는지 확인하고, 없다면 사람이 보는 속도로 소량만 가져오는 식으로 접근하세요. 봇 차단을 억지로 뚫는 건 사이트 이용약관 위반이 될 수 있고, 계정 정지로 이어질 수 있어요. CAPTCHA를 자동으로 푸는 것도 같은 이유로 피해야 해요.
AI와 함께 나만의 사이트·서비스를 만드는 법을 강의에서 배워보세요.