# agentfirewall.ru — контроль доступа ИИ-ботов и агентов к сайту

Справочник ИИ-ботов и агентов, проверка сайта и генератор правил доступа. Кто ходит по сайтам, как их отличить, что они берут, как разрешить полезных и остановить вредных.

Адрес: https://agentfirewall.ru/ · Обновлено: 2026-10-19

## Три пути

- [Проверить сайт](https://agentfirewall.ru/proverka/)
- [Справочник ботов](https://agentfirewall.ru/boty/) — 26 карточек
- [Настроить правила](https://agentfirewall.ru/pravila/)

## Примеры из справочника

| Бот | Владелец | Назначение | robots.txt | Как отличить | Проверено |
|---|---|---|---|---|---|
| [GPTBot](https://agentfirewall.ru/boty/gptbot/) | OpenAI | обучение | да | список адресов | 2026-10-19 |
| [OAI-SearchBot](https://agentfirewall.ru/boty/oai-searchbot/) | OpenAI | поиск | да | список адресов | 2026-10-19 |
| [ClaudeBot](https://agentfirewall.ru/boty/claudebot/) | Anthropic | обучение | да | только строка UA | 2026-10-19 |
| [Perplexity-User](https://agentfirewall.ru/boty/perplexity-user/) | Perplexity | агент | нет | список адресов | 2026-10-19 |
| [YandexAdditional](https://agentfirewall.ru/boty/yandexadditional/) | Яндекс | поиск | да | обратный DNS | 2026-10-19 |
| [Bytespider](https://agentfirewall.ru/boty/bytespider/) | ByteDance | обучение | неизвестно | только строка UA | 2026-10-19 |

## Вопросы

### Если запретить GPTBot, сайт пропадёт из поиска ChatGPT?

Нет. Поиск ChatGPT использует отдельного бота OAI-SearchBot, и сайты, закрытые от него, не показываются в поисковых ответах. GPTBot отвечает только за сбор данных для обучения. Это два независимых переключателя — у Anthropic, Google и Apple устроено так же.

### Можно ли верить строке User-Agent?

Нет, её подделывают. У OpenAI, Perplexity, Mistral, Bing и Common Crawl есть опубликованные списки адресов; у Яндекса, Google, Apple и Amazon подлинность проверяется обратным DNS в два шага. У Anthropic, Mail.ru и ByteDance способа проверки нет — в карточках это отмечено.

### Как закрыть сайт от ответов Нейро, не уходя из поиска Яндекса?

Отдельным блоком в robots.txt для токена YandexAdditional. Он не делает индексирующих запросов и действует на страницы, уже собранные основным роботом: сайт остаётся в выдаче, но его текст не пересказывается в ответах «Поиска с Нейро».

### Нужно ли закрывать сайт от всех ИИ-ботов?

Нет, и этот сайт этого не советует. Запрет для User-agent: * закрывает и агентов по запросу пользователя, которые приводят покупателей, и поисковых ботов. Разумная политика — разрешить поиск и агентов, а обучение моделей решить отдельно: для СМИ и авторов запрет оправдан, для магазина и справочника — чаще нет.

### Почему сайт про контроль ботов сам открыт ботам?

Потому что позиция сети — впускать осознанно. Этот сайт отдаёт llms.txt, AGENTS.md, OpenAPI и открытый фид bots.json, его robots.txt разрешает поисковых ботов и агентов. Что именно разрешено — написано в политике доступа.



---
ООО «САРМАТЕХ» · info@a2aprotocol.ru · данные справочника CC BY 4.0