Meta · обучение
Meta-ExternalAgent
Содержимое страниц для обучения моделей Meta и прямого индексирования.
Паспорт
| Владелец | Meta |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | meta-externalagent |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | по автономной системе. Адреса оператора определяются по его автономной системе (whois по номеру AS). |
| Строка user-agent | meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)meta-externalagent/1.1 |
| Что берёт | Содержимое страниц для обучения моделей Meta и прямого индексирования. |
| Документация | developers.facebook.com |
| Проверено | 2026-10-19 |
Подлинность — по адресам автономной системы Meta (AS32934): whois -h whois.radb.net -- '-i origin AS32934'. Деятельность Meta Platforms запрещена в России; это не отменяет того, что бот приходит на сайты.
Правила
Разрешить
User-agent: meta-externalagent
Allow: /Запретить
User-agent: meta-externalagent
Disallow: /На сервере
# nginx: ограничить Meta-ExternalAgent частотой — 1 запрос в секунду, сверх лимита 429
# (в блоке http)
map $http_user_agent $afw_meta_externalagent_key {
default "";
~*meta\-externalagent $binary_remote_addr;
}
limit_req_zone $afw_meta_externalagent_key zone=afw_meta_externalagent:10m rate=1r/s;
# (в location /)
limit_req zone=afw_meta_externalagent burst=3 nodelay;
limit_req_status 429;
# закрыть полностью вместо лимита (в location /):
# if ($http_user_agent ~* meta\-externalagent) { return 403; }