Справочник ИИ-ботов и агентов
26 карточек: имя, владелец, назначение, как проверить подлинность, слушается ли robots.txt, дата сверки с документацией оператора. Записи старше 30 дней помечаются.
| Бот | Владелец | Назначение | robots.txt | Как отличить | Проверено |
|---|---|---|---|---|---|
| GPTBot | OpenAI | обучение | да | список адресов | 19.10.2026 |
| OAI-SearchBot | OpenAI | поиск | да | список адресов | 19.10.2026 |
| ChatGPT-User | OpenAI | агент | частично | список адресов | 19.10.2026 |
| ClaudeBot | Anthropic | обучение | да | только строка UA | 19.10.2026 |
| Claude-SearchBot | Anthropic | поиск | да | только строка UA | 19.10.2026 |
| Claude-User | Anthropic | агент | частично | только строка UA | 19.10.2026 |
| PerplexityBot | Perplexity | поиск | да | список адресов | 19.10.2026 |
| Perplexity-User | Perplexity | агент | нет | список адресов | 19.10.2026 |
| Googlebot | поиск | да | обратный DNS | 19.10.2026 | |
| Google-Extended токен | обучение | да | не ходит сам | 19.10.2026 | |
| Google-CloudVertexBot | служебный | да | обратный DNS | 19.10.2026 | |
| YandexBot | Яндекс | поиск | да | обратный DNS | 19.10.2026 |
| YandexAdditional токен | Яндекс | поиск | да | обратный DNS | 19.10.2026 |
| YandexMobileBot | Яндекс | служебный | частично | обратный DNS | 19.10.2026 |
| bingbot | Microsoft | поиск | да | список адресов | 19.10.2026 |
| Mail.RU_Bot | VK | поиск | да | только строка UA | 19.10.2026 |
| Meta-ExternalAgent | Meta | обучение | да | по автономной системе | 19.10.2026 |
| Meta-ExternalFetcher | Meta | агент | нет | по автономной системе | 19.10.2026 |
| Meta-WebIndexer | Meta | поиск | да | по автономной системе | 19.10.2026 |
| Applebot | Apple | поиск | да | обратный DNS | 19.10.2026 |
| Applebot-Extended токен | Apple | обучение | да | не ходит сам | 19.10.2026 |
| Amazonbot | Amazon | обучение | да | обратный DNS | 19.10.2026 |
| MistralAI-User | Mistral AI | агент | частично | список адресов | 19.10.2026 |
| MistralAI-Index | Mistral AI | поиск | да | список адресов | 19.10.2026 |
| CCBot | Common Crawl | обучение | да | обратный DNS | 19.10.2026 |
| Bytespider | ByteDance | обучение | неизвестно | только строка UA | 19.10.2026 |
Назначение: обучение — сбор для обучения моделей; поиск — индекс и ответы ИИ-поиска; агент — запрос по поручению пользователя. robots.txt: слушается ли правил по документации оператора. Как отличить: способ подтвердить, что запрос от настоящего бота, а не от скрапера с чужим именем.
GigaChat (Сбер), Алиса, YandexGPT как отдельный бот: документированного краулера с собственным токеном у них нет; Яндекс собирает данные основным роботом, а показ в Нейро регулируется токеном YandexAdditional. Появится документация — появится карточка. Сообщить о боте: info@a2aprotocol.ru.
Карточка — выжимка из документации оператора со ссылкой на первоисточник, не копия. Раз в неделю сайт сам проверяет, какие записи старше 30 дней, раз в месяц — отвечают ли адреса документации. Дата в графе «Проверено» — реальная дата сверки.