Яндекс · поиск
YandexBot
Содержимое страниц для индекса Яндекса; на этих же данных строятся ответы «Поиска с Нейро».
Паспорт
| Владелец | Яндекс |
|---|---|
| Назначение | Поисковый индекс и ответы ИИ-поиска |
| Токен robots.txt | YandexBot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | обратный DNS. Обратный DNS по IP запроса должен дать имя хоста в домене оператора, а прямой DNS этого имени — тот же IP. Оба шага обязательны. Проверять автоматически → |
| Строка user-agent | Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) |
| Что берёт | Содержимое страниц для индекса Яндекса; на этих же данных строятся ответы «Поиска с Нейро». |
| Документация | yandex.ru |
| Проверено | 2026-10-19 |
Основной индексирующий робот. Подлинность — обратным DNS: имя хоста должно оканчиваться на yandex.ru, yandex.net или yandex.com, прямой DNS должен вернуть тот же адрес. Список адресов не публикуется. Если в robots.txt есть блок User-agent: Yandex, блок User-agent: * роботами Яндекса не читается.
Правила
Разрешить
User-agent: YandexBot
Allow: /Запретить
User-agent: YandexBot
Disallow: /На сервере
# nginx: ограничить YandexBot частотой — 1 запрос в секунду, сверх лимита 429
# (в блоке http)
map $http_user_agent $afw_yandexbot_key {
default "";
~*YandexBot $binary_remote_addr;
}
limit_req_zone $afw_yandexbot_key zone=afw_yandexbot:10m rate=1r/s;
# (в location /)
limit_req zone=afw_yandexbot burst=3 nodelay;
limit_req_status 429;
# закрыть полностью вместо лимита (в location /):
# if ($http_user_agent ~* YandexBot) { return 403; }