# Meta-WebIndexer — что это за бот и как им управлять

Meta-WebIndexer (Meta): Содержимое страниц для поискового индекса Meta AI. Токен robots.txt, проверка подлинности, слушается ли правил. Проверено 2026-10-19.

Адрес: https://agentfirewall.ru/boty/meta-webindexer/ · Обновлено: 2026-10-20

- Владелец: Meta
- Назначение: Поисковый индекс и ответы ИИ-поиска
- Токен robots.txt: `meta-webindexer`
- Слушается robots.txt: да — Слушается правил robots.txt
- Проверка подлинности: по автономной системе. Адреса оператора определяются по его автономной системе (whois по номеру AS).
- Строки user-agent: meta-webindexer/1.1 (+https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers)
- Что берёт: Содержимое страниц для поискового индекса Meta AI.
- Документация: https://developers.facebook.com/docs/sharing/webmasters/web-crawlers
- Риск: низкий
- Проверено: 2026-10-19

Запрет Meta-WebIndexer не отключает обучение — за него отвечает Meta-ExternalAgent.

## Правила

```
User-agent: meta-webindexer
Allow: /
```

```
User-agent: meta-webindexer
Disallow: /
```

```nginx
# nginx: ограничить Meta-WebIndexer частотой — 1 запрос в секунду, сверх лимита 429
# (в блоке http)
map $http_user_agent $afw_meta_webindexer_key {
    default "";
    ~*meta\-webindexer $binary_remote_addr;
}
limit_req_zone $afw_meta_webindexer_key zone=afw_meta_webindexer:10m rate=1r/s;

# (в location /)
limit_req zone=afw_meta_webindexer burst=3 nodelay;
limit_req_status 429;

# закрыть полностью вместо лимита (в location /):
# if ($http_user_agent ~* meta\-webindexer) { return 403; }
```


---
ООО «САРМАТЕХ» · info@a2aprotocol.ru · данные справочника CC BY 4.0