크롤링(Crawling)은 크롤러라고 부르는 자동화된 프로그램이 웹페이지를 차례로 방문해 텍스트와 이미지 같은 내용을 내려받아 수집하는 일이다. 검색엔진이 색인을 만들려고 하는 크롤링과, 필요한 데이터를 모으려고 직접 돌리는 크롤링이 같은 이름을 쓴다.
구글은 크롤링을 검색이 작동하는 세 단계 중 첫째로 두고, "크롤러라는 자동화된 프로그램을 사용하여 인터넷에서 찾은 페이지로부터 텍스트, 이미지, 동영상을 다운로드"하는 단계로 설명한다 (Google 검색 센터, Google 검색의 작동 방식).
수영 영법인 크롤이나 게임 장르의 던전 크롤은 철자만 같을 뿐 관계가 없다.
목적이 다르다. 크롤링은 어떤 페이지가 있는지 찾아 훑는 일이고, 스크래핑은 그 페이지에서 원하는 값을 뽑아내는 일이다.
일래스틱은 이 차이를 "웹 크롤링은 데이터 색인에 사용되는 반면 웹 스크래핑은 데이터 추출에 사용된다"고 정리한다 (Elastic, 웹 크롤러란 무엇인가).
| 구분 | 크롤링 | 스크래핑 |
|---|---|---|
| 하는 일 | 링크를 따라가며 페이지를 발견하고 수집 | 특정 페이지에서 필요한 항목만 추출 |
| 범위 | 사이트 전체나 웹 전체 | 정해 둔 페이지와 필드 |
| 결과물 | 페이지 사본과 색인 | 정리된 데이터 표 |
| 주된 사용자 | 검색엔진, AI 서비스 | 가격 비교, 리서치, 데이터 분석 |
실무에서는 둘을 이어 붙여 쓴다. 크롤러가 페이지를 모아 오면 스크래퍼가 그 안에서 값을 꺼내는 식이라 경계가 흐릿해 보이는 것뿐이다.
새 주소를 발견하고, 내려받고, 렌더링한다. 구글은 이미 아는 페이지에서 링크를 뽑아 새 페이지를 발견하거나, 사이트 소유자가 제출한 사이트맵으로 발견한다.
내려받는 데서 끝나지 않는 점이 중요하다. 구글은 "브라우저에서 방문 페이지를 렌더링하는 방식과 유사하게 최신 버전의 Chrome을 사용하여 페이지를 렌더링하고 발견된 자바스크립트를 실행"한다.
이유는 명확하다. 자바스크립트로 본문을 그리는 사이트가 많아 렌더링하지 않으면 크롤러가 콘텐츠 자체를 보지 못하기 때문이다.
크롤링이 끝나야 색인 생성이 시작되고, 색인에 들어가야 검색 결과에 나온다. 크롤링은 되는데 색인이 안 되는 경우가 있으므로 둘은 다른 단계로 봐야 하며, 상태는 구글 서치 콘솔에서 확인한다.
robots.txt로 알린다. 구글은 이 파일이 "크롤러가 사이트에서 액세스할 수 있는 URL을 검색엔진 크롤러에 알려" 준다고 설명한다 (Google 검색 센터, robots.txt 소개).
여기서 흔한 오해가 하나 있다. 같은 문서는 robots.txt가 "웹페이지가 Google에 표시되는 것을 방지하기 위한 메커니즘이 아닙니다"라고 못 박는다.
검색 결과에서 페이지를 빼려면 noindex 태그나 삭제 도구를 써야 한다. robots.txt로 막으면 오히려 구글이 페이지를 읽지 못해 noindex 지시조차 보지 못한다.
강제력도 없다. 구글은 "robots.txt 파일의 지침은 사이트에서의 크롤러 동작을 강제로 제어할 수 없습니다"라며 준수하지 않는 크롤러도 있다고 명시한다.
사이트가 아주 크면 크롤링 예산도 신경 써야 한다. 구글은 크롤링 예산을 "Google이 크롤링할 수 있고 크롤링하려는 URL 집합"으로 정의하고, 고유 페이지 100만 개 이상이거나 1만 개 이상이면서 매일 바뀌는 사이트를 관리 대상으로 든다 (Google 검색 센터, 대규모 사이트 소유자를 위한 크롤링 예산 관리 가이드).
목적이 색인이 아니라 학습이다. 클라우드플레어가 2025년 7월 한 달간 AI 봇 트래픽을 분류한 결과, 학습 목적 크롤링이 전체의 약 80%를 차지했다 (Cloudflare, A deeper look at AI crawlers).
같은 이름의 회사가 여러 봇을 목적별로 나눠 돌린다. 오픈AI만 해도 셋이다 (OpenAI, Bots).
| 봇 | 하는 일 |
|---|---|
| GPTBot | 생성형 AI 기반 모델 학습에 쓸 콘텐츠를 크롤링 |
| OAI-SearchBot | 챗GPT 검색 기능의 결과에 사이트를 노출 |
| ChatGPT-User | 사용자가 질문했을 때 그 자리에서 페이지를 방문 |
셋을 뭉뚱그려 막으면 학습을 거부하려다 AI 검색 노출까지 함께 잃는다.
주고받는 균형도 다르다. 클라우드플레어가 2025년 6월 19일부터 26일까지 측정한 크롤링 대 유입 비율에서 앤트로픽은 70,900 대 1을 기록했다 (Cloudflare, The crawl before the fall of referrals).
페이지 7만 장을 가져가고 방문자 한 명을 보낸다는 뜻이다. 검색엔진 크롤링이 트래픽과 교환되던 관계가 AI 크롤링에서는 성립하지 않는다는 것이 GEO가 별도의 과제가 된 이유다.
AI 크롤러를 선별해 열고 닫는 방법은 robots.txt의 사용자 에이전트 규칙과 llms.txt 같은 별도 파일에서 다룬다.
행위 자체는 불법이 아니고, 어떻게 했는지가 판단을 가른다. 한국 대법원이 경쟁사 앱 서버를 크롤링한 사건에서 정보통신망 침입, 저작권법 위반, 컴퓨터등장애업무방해를 모두 인정하지 않은 판결이 기준점이다 (대법원 판례 연구, 웹 크롤링을 통한 데이터 수집행위에 대한 형사법적 문제 검토, 대법원 2022. 5. 12. 선고 2021도1533 판결).
대법원이 밝힌 기준은 접근을 실제로 제한했는가다. 문제의 서버는 회원 가입 여부와 관계없이 누구나 접근할 수 있었고 접근을 막는 보호조치가 없었다.
이용약관도 결정적이지 않았다. 약관이 수집 정보의 영리적 이용을 금지하고 있었지만, 대법원은 그것이 정보 이용을 제한하는 내용이지 접근을 제한하는 내용은 아니라고 봤다.
데이터베이스 권리 침해도 인정되지 않았다. 수집된 정보가 이미 알려졌거나 공개돼 있어 데이터베이스의 상당한 부분을 복제한 것으로 보기 어렵다는 이유였다.
거꾸로 읽으면 위험 지점이 드러난다. 로그인이나 차단 같은 보호조치를 우회하거나, 상당한 투자가 들어간 데이터베이스를 통째로 복제하거나, 서버에 장애가 생길 만큼 요청을 퍼붓는 경우는 판단이 달라질 수 있다.
crawling이다. 수집하는 프로그램은 crawler라고 하고, 거미가 거미줄을 타고 다니는 모습에 빗대 spider나 bot으로도 부른다.
파이썬이 가장 흔하다. 정적 페이지는 요청 라이브러리와 HTML 파서 조합으로 충분하고, 자바스크립트로 그려지는 페이지는 브라우저를 실제로 띄우는 자동화 도구가 필요하다.
만들기 전에 대상 사이트의 robots.txt와 이용약관을 먼저 확인하고, 요청 간격을 두어 서버에 부담을 주지 않는 것이 기본이다.
서치폴라리스가 AI 검색 가시성을 진단하고 GEO 실행까지 대행합니다.