Пропуск выписывается здесь

Выберите сценарий или переключите группы вручную — получите robots.txt, блок для llms.txt и правила для nginx и .htaccess. Всё считается в браузере, на сервер ничего не отправляется.

Открыть всёВсе документированные боты разрешены. Для справочных сайтов и СМИ, которым важно цитированиеТолько поиск и агентыПоиск и агенты по запросу — да; обучение моделей и неизвестные боты — нетЗакрыть обучениеВсё открыто, кроме сбора для обучения моделей. Самый частый выбор

Поисковые ИИ и поисковикиИндекс и ответы ИИ-поиска. Закрыть их — выпасть из поисковых ответовOAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, YandexBot, bingbot, Mail.RU_Bot, meta-webindexer, Applebot, MistralAI-IndexАгенты по запросу пользователяПриходят, когда человек спросил о вашем сайте. Приводят покупателейChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, MistralAI-UserОбучение моделейСбор содержимого для обучения моделей. Отдельное решение: на поиск не влияетGPTBot, ClaudeBot, Google-Extended, meta-externalagent, Applebot-Extended, Amazonbot, CCBot, BytespiderСлужебные ботыСлужебные роботы операторов: проверка вёрстки, обход по запросу владельца сайтаGoogle-CloudVertexBot, YandexMobileBotПоказ в ответах «Поиска с Нейро»Токен YandexAdditional: сайт остаётся в поиске Яндекса, но текст не пересказывается в НейроYandexAdditionalВсе остальные (User-agent: *)Недокументированные и будущие боты. Запрет здесь закрывает и тех, кого вы ещё не знаете*Серверное правило для тех, кто не слушается robots.txtБоты с пометкой «нет» или «неизвестно» в графе robots.txt. Правило для nginx и .htaccess отвечает 429 и просит зайти позжеBytespider, Perplexity-User, meta-externalfetcher

Группа «Все остальные» выключена: User-agent: * закрывает и неизвестных ботов, и тех, кто появится после этой правки. Для магазина и справочника это обычно лишнее.

Три решения вместо одного «закрыть всё»

1. Поиск и агенты — почти всегда «да»

Это те, кто приводит людей: поисковые ответы со ссылкой и агенты, которых о вас спросил пользователь. Закрыть их — выпасть из ИИ-поиска.

2. Обучение — отдельное решение

У OpenAI, Anthropic, Google и Apple сбор для обучения отделён от поиска своим токеном. Запрет не трогает видимость.

3. Кто не слушается — на сервере

robots.txt — просьба. Для ботов без документации и для запросов по поручению пользователя работает только лимит частоты на сервере.

API: GET /api/v1/rules?preset=block_train&server=1 — описание в openapi.json. Генератор один на всю сеть: agentoptimization.ru ссылается сюда.