# Политика доступа ИИ-агентов и ботов к сайту домен
Версия 1.0 · дата · организация
Этот документ описывает, каким автоматическим программам (ботам, краулерам, ИИ-агентам) и на каких условиях разрешён доступ к сайту домен, что они могут делать с полученными данными и кто отвечает за соблюдение правил. Машиночитаемое выражение политики — файлы /robots.txt и /llms.txt. При расхождении текста и файлов действуют файлы.
1. Общая позиция
Сайт открыт для автоматического доступа. Мы различаем три назначения доступа и регулируем их по отдельности:
- поиск — построение индексов и ответов поисковых систем и ИИ-поисковиков;
- действие по запросу пользователя — чтение страницы или выполнение задачи, которую человек поручил агенту;
- обучение моделей — сбор содержимого для обучения генеративных моделей.
2. Что разрешено
| Назначение | Решение | Как выражено |
|---|---|---|
| Поисковые боты и ИИ-поиск (Яндекс, Google, Bing, OAI-SearchBot, Claude-SearchBot, PerplexityBot, MistralAI-Index и другие документированные) | разрешено | Allow: / в robots.txt |
| Агенты по запросу пользователя (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User, Meta-ExternalFetcher) | разрешено чтение; действия (заказ, заявка, расчёт) — через форму или API с защитой | robots.txt, AGENTS.md, OpenAPI |
| Обучение моделей (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Amazonbot, Meta-ExternalAgent, CCBot) | разрешено / запрещено | блок User-agent с Allow или Disallow |
| Показ содержимого в ответах «Поиска с Нейро» | разрешено / запрещено | блок User-agent: YandexAdditional |
| Недокументированные краулеры (без страницы оператора и способа проверки) | ограничено: не более N запросов в секунду, при превышении — ответ 429 | правило на сервере |
3. Что запрещено всем
- Выполнять действия от имени сайта или его сотрудников.
- Обходить ограничения частоты, подделывать имя другого бота.
- Собирать персональные данные посетителей, авторов отзывов и сотрудников.
- Использовать служебные адреса (
/_app/, панели, тестовые страницы).
4. Что мы отдаём агентам специально
/llms.txt,/llms-full.txt— краткое и полное описание сайта для языковых моделей./AGENTS.md— инструкция агенту: что здесь можно сделать и как./openapi.json— описание API (если есть).- Разметка JSON-LD на страницах, товарный фид (если есть).
Данные в этих файлах можно использовать для ответов пользователям со ссылкой на источник.
5. Проверка подлинности
Мы оставляем за собой право проверять подлинность бота по опубликованным адресам оператора или обратному DNS и ограничивать запросы, которые проверку не прошли.
6. Ответственные
- За содержание политики и файлов robots.txt и llms.txt отвечает: должность, имя.
- Обращения по доступу: почта.
- Срок ответа на обращение оператора бота: N рабочих дней.
7. Изменения
Политика пересматривается не реже раза в полгода и при появлении новых ботов в справочнике agentfirewall.ru. История изменений ведётся в конце документа.
| Дата | Изменение |
|---|---|
| дата | первая редакция |
Образец составлен по справочнику agentfirewall.ru. Правила поведения самих агентов — в «Конституции агента» (конституция-агента.рф). Текст образца распространяется по лицензии CC BY 4.0.