OpenAI · поиск
OAI-SearchBot
Содержимое страниц для поискового индекса ChatGPT; на обучение не идёт.
Паспорт
| Владелец | OpenAI |
|---|---|
| Назначение | Поисковый индекс и ответы ИИ-поиска |
| Токен robots.txt | OAI-SearchBot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | список адресов. Оператор публикует список адресов: сверьте IP запроса с ним. Список адресов |
| Строка user-agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot |
| Что берёт | Содержимое страниц для поискового индекса ChatGPT; на обучение не идёт. |
| Документация | developers.openai.com |
| Проверено | 2026-10-19 |
Сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT. OpenAI рекомендует разрешить его в robots.txt. Изменения robots.txt применяются примерно за сутки.
Правила
Разрешить
User-agent: OAI-SearchBot
Allow: /Запретить
User-agent: OAI-SearchBot
Disallow: /На сервере
# nginx: ограничить OAI-SearchBot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_oai_searchbot {
default 0;
~*OAI\-SearchBot 1;
}
limit_req_zone $binary_remote_addr zone=afw_oai_searchbot:10m rate=1r/s;