Meta · поиск
Meta-WebIndexer
Содержимое страниц для поискового индекса Meta AI.
Паспорт
| Владелец | Meta |
|---|---|
| Назначение | Поисковый индекс и ответы ИИ-поиска |
| Токен robots.txt | meta-webindexer |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | по автономной системе. Адреса оператора определяются по его автономной системе (whois по номеру AS). |
| Строка user-agent | meta-webindexer/1.1 (+https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers) |
| Что берёт | Содержимое страниц для поискового индекса Meta AI. |
| Документация | developers.facebook.com |
| Проверено | 2026-10-19 |
Запрет Meta-WebIndexer не отключает обучение — за него отвечает Meta-ExternalAgent.
Правила
Разрешить
User-agent: meta-webindexer
Allow: /Запретить
User-agent: meta-webindexer
Disallow: /На сервере
# nginx: ограничить Meta-WebIndexer частотой — 1 запрос в секунду, сверх лимита 429
# (в блоке http)
map $http_user_agent $afw_meta_webindexer_key {
default "";
~*meta\-webindexer $binary_remote_addr;
}
limit_req_zone $afw_meta_webindexer_key zone=afw_meta_webindexer:10m rate=1r/s;
# (в location /)
limit_req zone=afw_meta_webindexer burst=3 nodelay;
limit_req_status 429;
# закрыть полностью вместо лимита (в location /):
# if ($http_user_agent ~* meta\-webindexer) { return 403; }