AI 크롤러는 robots.txt에서 어떻게 허용하나요?
robots.txt 파일에 AI 수집기 이름을 User-agent로 적고 그 아래 Allow나 Disallow로 범위를 정하면 됩니다. ChatGPT 검색 답변에 나오는 일은 OAI-SearchBot, 모델 학습에 쓰이는 일은 GPTBot이 담당하며 OpenAI 수집기 문서(2026년 기준)에 따르면 두 설정은 서로 독립적입니다. 그래서 검색은 허용하고 학습은 막는 설정도 가능합니다.
robots.txt는 어디에 두고 어떻게 읽히나요?
robots.txt는 사이트의 맨 위 경로에 소문자 이름 그대로 두어야 합니다. 2022년에 표준으로 발행된 RFC 9309가 이 형식을 정합니다. 예를 들어 https://www.example.com/robots.txt처럼 도메인 바로 아래에 있어야 하고, 하위 폴더에 두면 규칙으로 읽히지 않습니다.
읽히는 방식에서 알아 둘 규칙은 세 가지입니다. 첫째, 수집기 이름의 대소문자는 구분하지 않습니다. 둘째, 한 경로에 Allow와 Disallow가 함께 걸리면 경로가 더 길게 일치하는 규칙을 따릅니다. 셋째, 일치 정도가 같으면 Allow를 우선합니다.
파일을 가져올 때의 서버 응답도 결과를 바꿉니다.
| 서버 응답 | RFC 9309의 처리 | 사이트 운영자가 볼 점 |
|---|---|---|
| 정상 응답 | 파일의 규칙을 따름 | 규칙 내용이 의도와 같은지 확인 |
| 4xx (파일 없음 등) | 수집기는 모든 경로에 접근할 수 있음 | 파일이 없어도 차단으로 처리되지 않음 |
| 5xx (서버 오류) | 전체 차단으로 간주 | 서버 오류가 길어지면 수집이 멈출 수 있음 |
OpenAI 수집기는 어떻게 나뉘나요?
OpenAI의 웹 수집기는 쓰임새에 따라 나뉘어 있으며, 그중 사이트 운영자가 주로 다룰 이름은 세 가지입니다.
| 이름 | 쓰임새 | robots.txt에 관한 안내 |
|---|---|---|
| OAI-SearchBot | ChatGPT 검색 기능에 웹사이트를 표시 | 막으면 ChatGPT 검색 답변에 표시되지 않음. 탐색용 링크로는 나올 수 있음 |
| GPTBot | 생성형 AI 기초 모델 학습에 쓰일 수 있는 콘텐츠 수집 | 막으면 해당 콘텐츠를 학습에 쓰지 말라는 의사 표시 |
| ChatGPT-User | ChatGPT 사용자의 요청에 따른 페이지 방문 | 자동 수집용이 아니며 사용자 요청이라 robots.txt 규칙이 적용되지 않을 수 있음 |
같은 문서에 따르면 설정은 서로 독립적이어서, OAI-SearchBot을 허용하고 GPTBot을 막아 검색에는 나오면서 학습에서는 빠질 수 있습니다. 두 수집기를 모두 허용하면 한 번 수집한 결과를 양쪽 용도에 쓸 수 있다고도 안내합니다. 검색 쪽 시스템이 변경된 robots.txt를 반영하는 데는 약 24시간이 걸릴 수 있습니다.
GPTBot을 허용하면 ChatGPT 답변에 더 잘 나온다는 안내는 이 문서에 없습니다. 학습 허용 여부는 회사 콘텐츠를 어떻게 쓰게 할지의 정책 문제로 따로 결정하면 됩니다.
검색은 허용하고 학습은 막으려면 어떻게 쓰나요?
수집기별로 그룹을 나누어 적으면 됩니다. 아래는 관리자 경로를 제외하고 ChatGPT 검색은 열어 두면서 GPTBot의 학습용 수집을 막는 예시입니다.
```text User-agent: OAI-SearchBot Allow: / Disallow: /admin/
User-agent: GPTBot Disallow: /
User-agent: * Allow: / Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml ```
이 예시에서 눈여겨볼 곳은 OAI-SearchBot 그룹에 Disallow: /admin/을 다시 적은 부분입니다. RFC 9309에서 * 그룹은 일치하는 이름의 그룹이 없을 때 적용됩니다. 이름을 따로 적은 수집기는 * 그룹의 규칙을 함께 따르지 않으므로, 막아야 할 경로가 있다면 그룹마다 반복해서 적어야 합니다.
example.com은 예시 도메인이므로 실제 주소로 바꿔야 합니다. Sitemap 줄은 RFC 9309의 핵심 규칙에 속하지 않고, 수집기가 선택적으로 해석할 수 있는 항목으로 분류되어 있습니다.
robots.txt로 막으면 자료가 안전한가요?
robots.txt는 수집기에게 보내는 요청일 뿐이고 자료를 지켜 주지는 못합니다. RFC 9309는 이 규칙을 접근 권한 통제 수단으로 볼 수 없다고 명시합니다. 게다가 robots.txt 파일은 누구나 열어 볼 수 있으므로, 숨기고 싶은 경로를 적어 두면 오히려 위치를 알려 주는 셈이 됩니다.
제조사라면 거래처 전용 단가표, 처방 자료, 시험 원본 같은 파일이 대표적입니다. 이런 자료는 로그인이나 서버 접근 제어로 막아야 합니다. OpenAI 문서도 ChatGPT-User는 사용자가 시작한 요청이라 robots.txt 규칙이 적용되지 않을 수 있다고 적고 있습니다.
구글 AI 기능은 어떤 항목으로 정하나요?
구글 AI 개요와 AI 모드에 나오려면 일반 구글 검색의 수집 조건을 먼저 맞춰야 합니다. 구글 AI 기능 안내 문서(2025년 12월 수정본)는 보조 링크로 표시되려면 페이지가 색인되어 있고 스니펫과 함께 검색에 나올 수 있어야 한다고 안내합니다. 따라서 Googlebot 수집을 막으면 이 자격을 잃을 수 있습니다.
Google-Extended는 별도의 제어 항목입니다. 구글은 2023년 9월 발표에서 이 항목을 사이트 콘텐츠가 Bard와 Vertex AI 생성형 API 개선에 쓰일지 정하는 수단으로 소개했습니다. 제품 이름이 바뀌기 전의 설명이므로 실제로 설정할 때는 구글의 최신 문서를 확인해야 합니다. 위의 AI 기능 문서는 검색 안의 AI 기능을 다루는 수단으로 Googlebot의 robots.txt와 nosnippet 같은 표시를 들고, Google-Extended는 구글의 다른 시스템에 관한 항목으로 안내합니다. Google-Extended를 막는다고 AI 개요에서 빠진다고 생각하면 안 됩니다.
이 내용은 구글에만 해당합니다. OpenAI의 규칙을 구글에 옮기거나 구글의 규칙을 네이버에 옮겨 적용하면 안 됩니다. 네이버 수집 로봇의 이름과 허용 방법은 네이버 서치어드바이저의 공식 안내에서 직접 확인해야 합니다.
AI 수집기를 허용할지는 어떻게 정하나요?
공개할 콘텐츠의 성격과 수집기의 용도를 나누어 정하면 됩니다. 제조사 사이트는 대체로 세 가지로 구분할 수 있습니다.
| 콘텐츠 | 검색용 수집 | 학습용 수집 |
|---|---|---|
| 회사 소개, 제품 소개, 블로그 | ChatGPT 검색에 나오려면 허용 | 회사 정책에 따라 결정 |
| 공개한 기술 자료와 제품 사양 | 찾아오길 원하면 허용 | 저작권과 영업 비밀을 검토해 결정 |
| 거래처 전용 자료 | robots.txt로 맡기지 않고 접근 제어 | 같은 방식으로 접근 제어 |
회사 소개를 ChatGPT 검색 답변에 내보내고 싶다면 OAI-SearchBot을 막아 두면 안 됩니다. 학습용 수집은 노출과 별개로 정하는 사안이므로, 콘텐츠의 저작권과 공개 범위를 담당자가 함께 보고 결정하면 됩니다. 정한 내용은 문서로 남겨 두어야 사이트를 개편할 때 설정이 임의로 바뀌지 않습니다.
자주 하는 실수는 무엇인가요?
가장 먼저 확인할 실수는 개발 중에 넣은 전체 차단 줄이 그대로 남아 있는 경우입니다. 아래 항목을 차례로 살펴보면 됩니다.
User-agent: *아래의Disallow: /가 운영 사이트에 남아 있는지 봅니다.- 수집기 이름의 철자가 공식 문서와 같은지 봅니다.
- 쇼핑몰이나 블로그를 다른 도메인이나 하위 도메인으로 운영한다면 그곳의 robots.txt도 따로 확인합니다.
- 이름을 따로 적은 그룹에 제외할 경로가 빠지지 않았는지 봅니다.
- robots.txt 주소가 서버 오류를 내지 않는지 봅니다.
이 다섯 가지는 파일을 열어 보는 것만으로 대부분 확인됩니다. 호스팅 업체나 쇼핑몰 플랫폼이 파일을 자동으로 만드는 경우에는 관리 화면의 설정과 실제 파일 내용이 같은지도 함께 비교해야 합니다.
홈페이지 제작을 외부 업체에 맡겼다면 수정 권한이 누구에게 있는지도 미리 알아 두어야 합니다. 제작사만 파일을 고칠 수 있는 구조라면 변경 요청 절차와 반영 시점을 확인해 두는 편이 좋습니다. 사이트를 개편할 때는 테스트 서버의 차단 규칙이 운영 서버로 함께 넘어오지 않았는지도 살펴봅니다.
설정을 바꾼 뒤에는 무엇을 확인하나요?
파일이 실제로 열리는지와 의도한 수집기가 접근하고 있는지를 확인합니다. 순서는 이렇습니다.
- 브라우저에서
/robots.txt주소를 열어 수정한 내용이 보이는지 확인합니다. - 수집기별 그룹에 막아야 할 경로가 빠지지 않았는지 다시 읽습니다.
- 방화벽이나 CDN의 봇 차단 설정이 해당 수집기를 막고 있지 않은지 확인합니다.
- 서버 로그에서 수집기 이름으로 접근 기록을 찾습니다.
- OpenAI가 수집기별로 공개하는 IP 목록과 대조해 이름을 사칭한 접근을 구분합니다.
3번은 놓치기 쉬운 지점입니다. robots.txt에서 허용했어도 방화벽이 요청을 막으면 수집기는 페이지를 읽지 못합니다. 설정이 끝나면 고객이 물을 질문을 고정해 답변 변화를 기록합니다. 기록 방식은 측정 방법 안내에, 화장품 제조사가 공개해 둘 정보는 화장품 OEM·ODM 페이지에 있습니다.
자주 묻는 질문
GPTBot을 막으면 ChatGPT 검색에도 안 나오나요?
OpenAI 문서에 따르면 OAI-SearchBot과 GPTBot의 설정은 서로 독립적입니다. GPTBot을 막아도 OAI-SearchBot을 허용하면 ChatGPT 검색에 나올 수 있습니다.
robots.txt를 바꾸면 언제 반영되나요?
OpenAI 문서는 검색 쪽 시스템 반영에 약 24시간이 걸릴 수 있다고 안내합니다. 다른 회사의 수집기는 해당 회사의 안내를 따로 확인해야 합니다.
robots.txt로 막으면 비공개 자료가 보호되나요?
보호되지 않습니다. 표준 문서인 RFC 9309도 이 규칙이 접근 권한 통제 수단이 되지 못한다고 밝힙니다. 공개하면 안 되는 자료는 로그인이나 서버 설정으로 막아야 합니다.