OpenAI · обучение
GPTBot
Текст страниц для обучения моделей OpenAI.
Паспорт
| Владелец | OpenAI |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | GPTBot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | список адресов. Оператор публикует список адресов: сверьте IP запроса с ним. Список адресов |
| Строка user-agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot |
| Что берёт | Текст страниц для обучения моделей OpenAI. |
| Документация | developers.openai.com |
| Проверено | 2026-10-19 |
Запрет GPTBot означает, что содержимое сайта не должно использоваться для обучения. На показ в поиске ChatGPT не влияет — за это отвечает OAI-SearchBot. При чтении robots.txt к строке user-agent может добавляться пометка robots.txt. Номер версии в строке меняется.
Правила
Разрешить
User-agent: GPTBot
Allow: /Запретить
User-agent: GPTBot
Disallow: /На сервере
# nginx: ограничить GPTBot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_gptbot {
default 0;
~*GPTBot 1;
}
limit_req_zone $binary_remote_addr zone=afw_gptbot:10m rate=1r/s;