# Генератор robots.txt для ИИ-ботов

Готовый robots.txt, блок llms.txt и правила nginx для трёх сценариев: открыть всё, только поиск и агенты, закрыть обучение моделей.

Адрес: https://agentfirewall.ru/pravila/ · Обновлено: 2026-10-19

Сценарии: открыть всё · только поиск и агенты · закрыть обучение. API: GET /api/v1/rules?preset=block_train&server=1

## Пример: «Закрыть обучение»

```
# robots.txt — собрано на agentfirewall.ru/pravila/ 19.10.2026
# Поиск и агенты: разрешены; обучение моделей: закрыто

# Поисковые ИИ и поисковики
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Googlebot
User-agent: YandexBot
User-agent: bingbot
User-agent: Mail.RU_Bot
User-agent: meta-webindexer
User-agent: Applebot
User-agent: MistralAI-Index
Allow: /

# Агенты по запросу пользователя
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: meta-externalfetcher
User-agent: MistralAI-User
Allow: /

# Сбор для обучения моделей
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# Служебные боты
User-agent: Google-CloudVertexBot
User-agent: YandexMobileBot
Allow: /

# Показ в ответах Поиска с Нейро (Яндекс)
User-agent: YandexAdditional
Allow: /

# Все остальные
User-agent: *
Allow: /
```

## Блок для llms.txt

## Доступ для ИИ-агентов

- Поисковые системы и ИИ-поиск: разрешено индексировать и цитировать со ссылкой на источник.
- Агенты по запросу пользователя: разрешено читать страницы; действия (заявка, заказ) — через формы и API сайта.
- Обучение моделей на содержимом: не разрешено.
- Машиночитаемое выражение политики: /robots.txt. Образец полной политики: https://agentfirewall.ru/politika-dostupa/


---
ООО «САРМАТЕХ» · info@a2aprotocol.ru · данные справочника CC BY 4.0