Проверить сайт
пост открыт · 27 ботов в справочнике · обновлено 20.10.2026

Кто ходит по вашему сайту —
и кого вы впускаете

Боты Яндекса для Нейро, GPTBot, ClaudeBot, PerplexityBot и ещё два десятка. Как отличить, что они берут, как разрешить полезных и остановить вредных. Не «закрыть всё» — впускать осознанно.

Модель «Фаервол для агентов» 1.0

Пост проверки: правило, паспорт, виза

Шесть гостей по очереди, у каждого свой исход. Нажмите на любого, чтобы посмотреть его путь ещё раз.

  1. Скан 1 — правило robots.txt

    Бот называет себя (User-agent) и читает robots.txt. Это просьба, а не замок: честный бот уходит сам, нечестный идёт дальше.

  2. Карантин — паспорт

    Сервер проверяет, что бот тот, за кого себя выдаёт: адрес из списка оператора, обратный DNS, подпись запроса. Выход пока закрыт.

  3. Виза

    Проверка пройдена — виза: полная или с лимитом частоты. Не пройдена — ответ 403, и бот уходит.

  4. Скан 2 — выход

    Выход открывается только с визой. Сверка в луче — и бот на сайте.

OAI-SearchBot называет себя и читает robots.txt: поиску вход открыт.

Скан 1 и скан 2 — это ваш robots.txt и правила сервера, их собирает генератор. Карантин — проверка подлинности на вашем сервере: списки адресов операторов, обратный DNS, подпись запроса (Web Bot Auth). Какие операторы что публикуют — в карточках справочника.

Модель «Фаервол для агентов», версия 1.0 от 19.10.2026 — наш способ собрать проверку агентов в одну схему. Как включить на своём сайте · полный текст модели

Проверка

Что ваш сайт разрешает агентам прямо сейчас

Серверный запрос к robots.txt и llms.txt, разбор по токенам из справочника. Ничего не исполняем, ничего не храним.

Турникеты: средний открыт, очередь слева
example.ru · robots.txt200 OK · 1.2 КБ
✓ OAI-SearchBot — разрешён
✓ YandexBot — разрешён
✕ GPTBot — запрещён (обучение)
~ ClaudeBot — правила нет, действует *
✕ llms.txt — не найден
2 замечания · пример
Справочник

Список гостей: кто приходит и зачем

Каждая карточка — с датой проверки и ссылкой на документацию оператора. Открытый фид /data/bots.json. Поиск · 11, агенты · 6, обучение · 8.

БотВладелецНазначениеrobots.txtКак отличитьПроверено
GPTBotOpenAIобучениедасписок адресов19.10.2026
OAI-SearchBotOpenAIпоискдасписок адресов19.10.2026
ClaudeBotAnthropicобучениедасписок адресов20.10.2026
Perplexity-UserPerplexityагентнетсписок адресов20.10.2026
YandexAdditional токенЯндекспоискдаобратный DNS19.10.2026
BytespiderByteDanceобучениенеизвестнотолько строка UA19.10.2026

Все 27 карточек →

Генератор правил

Пропуск выписывается здесь

Переключатели — на вашей стороне, в браузере. Результат — текст с кнопкой «Копировать». На сервер ничего не уходит.

Поисковые ИИOAI-SearchBot, Claude-SearchBot, PerplexityBot, YandexBot
Агенты по запросу пользователяChatGPT-User, Claude-User, MistralAI-User
Обучение моделейGPTBot, ClaudeBot, Google-Extended, Applebot-Extended
Скраперы без документацииBytespider и подобные — только через сервер
# robots.txt · закрыть обучение
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Открыть генератор →

Вопросы

Коротко о главном

Если запретить GPTBot, сайт пропадёт из поиска ChatGPT?

Нет. Поиск ChatGPT использует отдельного бота OAI-SearchBot, и сайты, закрытые от него, не показываются в поисковых ответах. GPTBot отвечает только за сбор данных для обучения. Это два независимых переключателя — у Anthropic, Google и Apple устроено так же.

Можно ли верить строке User-Agent?

Нет, её подделывают. У OpenAI, Perplexity, Mistral, Bing и Common Crawl есть опубликованные списки адресов; у Яндекса, Google, Apple и Amazon подлинность проверяется обратным DNS в два шага. У Anthropic, Mail.ru и ByteDance способа проверки нет — в карточках это отмечено.

Как закрыть сайт от ответов Нейро, не уходя из поиска Яндекса?

Отдельным блоком в robots.txt для токена YandexAdditional. Он не делает индексирующих запросов и действует на страницы, уже собранные основным роботом: сайт остаётся в выдаче, но его текст не пересказывается в ответах «Поиска с Нейро».

Нужно ли закрывать сайт от всех ИИ-ботов?

Нет, и этот сайт этого не советует. Запрет для User-agent: * закрывает и агентов по запросу пользователя, которые приводят покупателей, и поисковых ботов. Разумная политика — разрешить поиск и агентов, а обучение моделей решить отдельно: для СМИ и авторов запрет оправдан, для магазина и справочника — чаще нет.

Почему сайт про контроль ботов сам открыт ботам?

Потому что позиция сети — впускать осознанно. Этот сайт отдаёт llms.txt, AGENTS.md, OpenAPI и открытый фид bots.json, его robots.txt разрешает поисковых ботов и агентов. Что именно разрешено — написано в политике доступа.