홈 › 홈페이지 제작 가이드 › 검색 · AI 노출 최적화
Guide

AI 크롤러 차단, 우리 사이트가 막혀 있지 않나요

GPTBot·PerplexityBot 등, robots.txt 한 줄 점검

더타임즈 웹 스튜디오 · 2026-11-05
AI 크롤러 차단 — 테이블에서 상담하는 두 사람
핵심 요약

AI 크롤러 차단 여부는 AI 검색 노출을 좌우합니다. robots.txt에서 AI 회사의 검색 로봇을 막고 있으면 아무리 좋은 글도 인용되지 않으며, 사이트 주소 뒤에 /robots.txt를 붙여 지금 바로 확인할 수 있습니다.

홈페이지를 열심히 만들었는데 ChatGPT나 Perplexity 답변에 전혀 나오지 않는다면, 콘텐츠보다 먼저 확인할 것이 있습니다. 바로 AI 검색 로봇이 우리 사이트에 들어올 수 있는지입니다. 사이트 최상위에 있는 robots.txt 파일 한 줄, 혹은 보안 서비스의 설정 하나 때문에 AI 로봇이 문 앞에서 돌아가는 경우가 생각보다 많습니다. 이 글에서는 주요 AI 로봇의 이름과 역할, 확인하는 법, 권장 설정을 정리합니다.

로봇(크롤러)이란

검색엔진과 AI 서비스는 '크롤러'라고 부르는 프로그램을 보내 웹페이지를 읽어 갑니다. 크롤러는 사이트에 들어오기 전에 robots.txt 파일을 먼저 확인하고, 거기 적힌 규칙에 따라 읽을 곳과 읽지 않을 곳을 정합니다. 각 크롤러는 'User-agent'라는 고유한 이름을 갖고 있어서, 이름별로 다른 규칙을 줄 수 있습니다.

주요 AI 로봇 이름

  • OAI-SearchBot — ChatGPT 검색 기능이 웹을 찾을 때 쓰는 로봇
  • GPTBot — OpenAI가 AI 학습용으로 웹을 수집하는 로봇
  • ChatGPT-User — 사용자가 대화 중 링크를 열어 볼 때
  • PerplexityBot — Perplexity 검색 결과에 쓰이는 로봇
  • ClaudeBot — Anthropic의 수집 로봇. 검색·사용자 요청용 이름(Claude-SearchBot, Claude-User)이 따로 공개되어 있습니다
  • Google-Extended — 구글 AI(Gemini) 학습 사용 여부를 정하는 표시. 일반 구글 검색(Googlebot)과는 별개
  • Applebot-Extended — 애플 AI 학습 사용 여부를 정하는 표시
  • Bingbot — Bing 검색, Microsoft Copilot 등에 쓰입니다

로봇 이름과 역할은 각 회사가 공개한 내용 기준이며, 바뀔 수 있으니 공식 문서를 함께 확인하세요.

AI 크롤러 차단, 우리 회사 기준으로 바로 알려드려요회사명·연락처만 남기면 영업일 하루 안에 무료 견적을 드립니다.

학습용과 검색용은 다릅니다

많은 회사가 AI 로봇을 두 종류로 나눠 운영합니다. 학습용은 AI 모델을 만들기 위해 글을 모으는 로봇이고, 검색용은 사용자가 질문한 순간 답과 출처를 찾기 위해 페이지를 읽는 로봇입니다. 우리 콘텐츠가 AI 학습에 쓰이는 것은 원하지 않아도, AI 답변에 출처로 소개되는 것은 원하는 회사가 많습니다. 이 경우 학습용 로봇만 막고 검색용 로봇은 열어 두면 됩니다.

구글은 조금 다릅니다. 구글 검색의 AI 개요(AI Overviews)는 일반 검색의 일부라서 Googlebot이 수집한 내용을 씁니다. Google-Extended를 막아도 구글 검색 노출에는 영향이 없고, 반대로 Googlebot을 막으면 검색 자체에서 빠집니다.

지금 확인하는 법

브라우저 주소창에 우리사이트주소/robots.txt를 입력하세요. 아래처럼 로봇 이름 뒤에 Disallow: /가 있으면 그 로봇은 사이트 전체를 못 읽습니다.

User-agent: GPTBot
Disallow: /

→ 학습용 수집은 막되 검색 노출은 원한다면, 검색용 로봇(OAI-SearchBot 등)은 허용해 두는 식으로 나눠서 설정할 수 있습니다.

특히 User-agent: * 아래에 Disallow: /가 있다면 모든 로봇을 막고 있다는 뜻입니다. 개발 중에 외부 노출을 막으려고 넣어 둔 설정이 오픈 후에도 그대로 남아 있는 경우가 흔하니 꼭 확인하세요.

권장 설정 예시

User-agent: *
Disallow: /admin/

User-agent: GPTBot
Disallow: /

Sitemap: https://우리사이트주소/sitemap.xml

→ 모든 로봇에게 관리자 경로만 막고, 학습용 GPTBot만 따로 전체 차단한 예입니다. 학습 사용도 괜찮다면 GPTBot 부분을 빼면 됩니다.

검색 노출을 원한다면

  • 검색용 로봇(Googlebot, Yeti(네이버), Bingbot, OAI-SearchBot, PerplexityBot)은 허용
  • 관리자·로그인·결제 페이지만 Disallow
  • robots.txt 맨 아래 사이트맵 주소 적기
  • CDN·보안 서비스(예: 클라우드플레어)의 'AI 로봇 차단' 설정이 켜져 있지 않은지 확인
  • 서브도메인(blog.○○.com 등)은 robots.txt가 따로 필요하다는 점 기억하기

자주 오해하는 것

  • robots.txt는 강제 장치가 아닙니다 — 규칙을 지키는 것은 로봇의 자율입니다. 주요 회사 로봇은 지키지만, 확실히 막으려면 서버·방화벽 설정이 필요합니다
  • Disallow는 '검색 결과에서 지우기'가 아닙니다 — 읽지 말라는 뜻일 뿐, 다른 곳에 링크가 있으면 주소만 검색에 남을 수 있습니다. 검색에서 빼려면 noindex 설정을 씁니다
  • robots.txt에 숨기고 싶은 경로를 적으면 오히려 알려주는 셈입니다. 민감한 페이지는 로그인으로 보호하세요

robots.txt를 고친 뒤에는 구글 서치콘솔의 robots.txt 보고서, 네이버 서치어드바이저의 robots.txt 검증 도구로 문법 오류가 없는지 확인하세요. 검색 등록 전반은 검색 등록 가이드, AI 답변 노출 전략은 ChatGPT 노출 가이드와 llms.txt 가이드에서 이어집니다.

더타임즈 웹 스튜디오가 만드는 사이트는 검색·AI 로봇을 허용하고 관리자 페이지만 막는 설정이 기본입니다.

자주 묻는 질문

GPTBot을 막으면 ChatGPT 검색에 안 나오나요?

OpenAI 설명에 따르면 학습용 GPTBot과 검색용 OAI-SearchBot은 별개입니다. 검색 노출을 원하면 OAI-SearchBot은 허용해야 합니다.

robots.txt가 없으면 어떻게 되나요?

없으면 기본적으로 모든 로봇이 접근할 수 있습니다. 다만 사이트맵 위치를 알리기 위해 두는 것이 좋습니다.

Google-Extended를 막으면 구글 검색 순위가 떨어지나요?

구글 설명에 따르면 Google-Extended는 구글 검색 노출과 순위에 영향을 주지 않습니다. 검색은 Googlebot이 담당합니다.

robots.txt를 고치면 바로 반영되나요?

로봇이 파일을 다시 읽을 때 반영되므로 보통 하루 안팎이 걸립니다. 서치콘솔에서 다시 불러오기를 요청할 수 있습니다.

AI 학습을 허용하면 손해인가요?

회사 판단의 문제입니다. 공개된 회사 소개·서비스 정보라면 허용해도 큰 문제가 없는 경우가 많고, 독자적인 유료 콘텐츠라면 학습용 로봇만 막는 선택도 합리적입니다.

AI 크롤러 차단, 무료 견적 받아보세요

제작비 0원부터 · 반응형 · 문의 DB 수집 기본 · 영업일 하루 안에 연락

0원무료제작무료견적
홈페이지 제작비 0원부터 · 무료 견적