VK · поиск
Mail.RU_Bot
Содержимое страниц для поиска Mail.ru и предпросмотра ссылок в сервисах VK.
Паспорт
| Владелец | VK |
|---|---|
| Назначение | Поисковый индекс и ответы ИИ-поиска |
| Токен robots.txt | Mail.RU_Bot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | только строка UA. Оператор не публикует адресов и не задаёт способа проверки: подлинность по строке user-agent подтвердить нельзя, остаётся ограничение частоты. |
| Строка user-agent | Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots) |
| Что берёт | Содержимое страниц для поиска Mail.ru и предпросмотра ссылок в сервисах VK. |
| Документация | официальной страницы нет |
| Проверено | 2026-10-19 |
Действующей страницы документации у оператора не нашли: адрес из строки user-agent ведёт на общий справочный центр. Данные сверены по сторонним реестрам (Cloudflare Radar). Есть варианты Mail.RU_Bot/Fast и Mail.RU_Bot/Img.
Правила
Разрешить
User-agent: Mail.RU_Bot
Allow: /Запретить
User-agent: Mail.RU_Bot
Disallow: /На сервере
# nginx: ограничить Mail.RU_Bot частотой — 1 запрос в секунду, сверх лимита 429
# (в блоке http)
map $http_user_agent $afw_mail_ru_bot_key {
default "";
~*Mail\.RU_Bot $binary_remote_addr;
}
limit_req_zone $afw_mail_ru_bot_key zone=afw_mail_ru_bot:10m rate=1r/s;
# (в location /)
limit_req zone=afw_mail_ru_bot burst=3 nodelay;
limit_req_status 429;
# закрыть полностью вместо лимита (в location /):
# if ($http_user_agent ~* Mail\.RU_Bot) { return 403; }