자동화 →

스크래핑Scraping

스크래핑(Scraping)은 신문에서 필요한 기사만 오려 모으는 스크랩 같은 것 — 프로그램이 웹페이지에 접속해 상품 정보·게시글·조회수처럼 원하는 정보만 자동으로 뽑아 모으는 기술이에요.

스크래핑은 신문에서 필요한 기사를 가위로 오려 스크랩북에 모으는 일과 비슷해요. 사람이 웹사이트를 하나하나 열어 복사·붙여넣기 하는 대신, 프로그램이 정해진 페이지에 들어가 제목·가격·이미지·반응 수 같은 필요한 부분만 골라 정리해요. 여러 페이지를 돌아다니는 일은 크롤링, 그 안에서 정보를 뽑는 일은 스크래핑이라고 구분하기도 해요.

강의에서는 상품 리뷰 영상을 자동으로 만드는 과정에서 등장해요. 에이전트에게 상품 페이지 전체를 불러와 상품 이미지와 정보를 내려받을 수 있는 스크래핑 도구를 찾으라고 시키고, 받은 사진과 정보로 리뷰 대본과 영상 프롬프트를 만들어요. 스레드 운영에서는 VPS에 로그인된 크롬 세션으로 내 글의 반응을 24시간·72시간 기준으로 수집해 다음 글에 반영하고, 유튜브 영상 편집에서는 yt-dlp 같은 도구로 영상을 내려받는 장면이 나와요. 강의에서 '스크래핑'이라는 단어 자체는 드물고, 주로 '수집해', '내려받아'로 표현돼요.

주의할 점이 많아요. 사이트마다 이용 약관과 robots.txt로 자동 수집을 제한하고, 봇 차단 장치를 두기도 해요. 공식 API가 있으면 API를 먼저 쓰는 게 안정적이고 안전해요(강의도 내장 기능 → API·MCP → 스크립트 → 브라우저 자동화 순으로 권해요). 모은 글·이미지·영상을 그대로 다시 올리면 저작권 문제가 생길 수 있고, 너무 자주 요청하면 계정이나 IP가 막힐 수 있어요. 개인정보는 모으지 않는 게 원칙이에요.

💡 대표 예시

  • 리뷰 영상 — 상품 페이지에서 이미지·정보를 내려받을 도구를 찾게 한다
  • 스레드 분석 — 내 글 반응을 24시간·72시간 기준으로 수집해 다음 글에 반영한다
  • 영상 편집 — 편집할 원본 영상을 도구로 내려받아 작업 폴더에 넣는다
  • 약관 확인 — 수집 전에 사이트 이용 약관과 공식 API 제공 여부를 본다
  • 가격 조사 — 경쟁 상품 가격을 하루 한 번만 모아 표로 정리한다

🔗 관련 용어

이 개념, 직접 적용해볼까요?

반복 작업을 에이전트에 맡기는 법, 강의에서 내 사업에 맞게 처음부터 배워보세요.