Google · поиск
Googlebot
Содержимое страниц для индекса Google Поиска и обзоров ИИ в нём.
Паспорт
| Владелец | |
|---|---|
| Назначение | Поисковый индекс и ответы ИИ-поиска |
| Токен robots.txt | Googlebot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | обратный DNS. Обратный DNS по IP запроса должен дать имя хоста в домене оператора, а прямой DNS этого имени — тот же IP. Оба шага обязательны. Список адресов |
| Строка user-agent | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Что берёт | Содержимое страниц для индекса Google Поиска и обзоров ИИ в нём. |
| Документация | developers.google.com |
| Проверено | 2026-10-19 |
Обратный DNS должен давать имя вида crawl-***.googlebot.com или geo-crawl-***.geo.googlebot.com. Запрет Googlebot убирает сайт из Google целиком, включая обзоры ИИ; обучение Gemini регулируется отдельным токеном Google-Extended.
Правила
Разрешить
User-agent: Googlebot
Allow: /Запретить
User-agent: Googlebot
Disallow: /На сервере
# nginx: ограничить Googlebot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_googlebot {
default 0;
~*Googlebot 1;
}
limit_req_zone $binary_remote_addr zone=afw_googlebot:10m rate=1r/s;