# Googlebot — что это за бот и как им управлять

Googlebot (Google): Содержимое страниц для индекса Google Поиска и обзоров ИИ в нём. Токен robots.txt, проверка подлинности, слушается ли правил. Проверено 2026-10-19.

Адрес: https://agentfirewall.ru/boty/googlebot/ · Обновлено: 2026-10-19

- Владелец: Google
- Назначение: Поисковый индекс и ответы ИИ-поиска
- Токен robots.txt: `Googlebot`
- Слушается robots.txt: да — Слушается правил robots.txt
- Проверка подлинности: обратный DNS. Обратный DNS по IP запроса должен дать имя хоста в домене оператора, а прямой DNS этого имени — тот же IP. Оба шага обязательны. Список адресов: https://developers.google.com/static/crawling/ipranges/common-crawlers.json
- Строки user-agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Что берёт: Содержимое страниц для индекса Google Поиска и обзоров ИИ в нём.
- Документация: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Риск: низкий
- Проверено: 2026-10-19

Обратный DNS должен давать имя вида crawl-***.googlebot.com или geo-crawl-***.geo.googlebot.com. Запрет Googlebot убирает сайт из Google целиком, включая обзоры ИИ; обучение Gemini регулируется отдельным токеном Google-Extended.

## Правила

```
User-agent: Googlebot
Allow: /
```

```
User-agent: Googlebot
Disallow: /
```

```nginx
# nginx: ограничить Googlebot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_googlebot {
    default 0;
    ~*Googlebot 1;
}
limit_req_zone $binary_remote_addr zone=afw_googlebot:10m rate=1r/s;
```


---
ООО «САРМАТЕХ» · info@a2aprotocol.ru · данные справочника CC BY 4.0