핵심 요약
AI 검색에 나오려면 AI 회사의 검색 로봇이 사이트를 읽을 수 있어야 합니다. robots.txt에서 해당 로봇을 막고 있으면 아무리 좋은 글도 인용되지 않습니다. 사이트 주소 뒤에 /robots.txt를 붙여 지금 바로 확인할 수 있습니다.
주요 AI 로봇 이름
- OAI-SearchBot — ChatGPT 검색 기능이 웹을 찾을 때 쓰는 로봇
- GPTBot — OpenAI가 AI 학습용으로 웹을 수집하는 로봇
- ChatGPT-User — 사용자가 대화 중 링크를 열어 볼 때
- PerplexityBot — Perplexity 검색
- ClaudeBot — Anthropic
- Google-Extended — 구글 AI(Gemini) 학습 사용 여부를 정하는 표시. 일반 구글 검색(Googlebot)과는 별개
- Bingbot — Bing 검색, Microsoft Copilot 등에 쓰입니다
로봇 이름과 역할은 각 회사가 공개한 내용 기준이며, 바뀔 수 있으니 공식 문서를 함께 확인하세요.
지금 확인하는 법
브라우저 주소창에 우리사이트주소/robots.txt를 입력하세요. 아래처럼 로봇 이름 뒤에 Disallow: /가 있으면 그 로봇은 사이트 전체를 못 읽습니다.
User-agent: GPTBot
Disallow: /→ 학습용 수집은 막되 검색 노출은 원한다면, 검색용 로봇(OAI-SearchBot 등)은 허용해 두는 식으로 나눠서 설정할 수 있습니다.
검색 노출을 원한다면
- 검색용 로봇(Googlebot, Yeti(네이버), Bingbot, OAI-SearchBot, PerplexityBot)은 허용
- 관리자·로그인·결제 페이지만 Disallow
- robots.txt 맨 아래 사이트맵 주소 적기
더타임즈 웹 스튜디오가 만드는 사이트는 검색·AI 로봇을 허용하고 관리자 페이지만 막는 설정이 기본입니다.
자주 묻는 질문
GPTBot을 막으면 ChatGPT 검색에 안 나오나요?
OpenAI 설명에 따르면 학습용 GPTBot과 검색용 OAI-SearchBot은 별개입니다. 검색 노출을 원하면 OAI-SearchBot은 허용해야 합니다.
robots.txt가 없으면 어떻게 되나요?
없으면 기본적으로 모든 로봇이 접근할 수 있습니다. 다만 사이트맵 위치를 알리기 위해 두는 것이 좋습니다.