Зачем
Боты OpenAI, Anthropic, Perplexity, Google, Яндекса приходят на каждый сайт. Часть индексирует для поиска, часть собирает для обучения, часть приходит по поручению человека. Документация у всех разная и на английском, а советы в рунете сводятся к «закрыть всё». Так сайт выпадает из ИИ-поиска вместе со скраперами.
Позиция
Впускать осознанно. Поиск и агенты по запросу пользователя — почти всегда «да»: они приводят людей. Обучение моделей — отдельное решение владельца. Недокументированные боты — ограничение на сервере, а не запрет в файле, который они не читают.
Как ведётся справочник
- Карточка — выжимка из документации оператора со ссылкой на первоисточник и датой сверки. Не копия.
- Данные лежат в открытом фиде bots.json под лицензией CC BY 4.0, с ними работает API.
- Раз в неделю сайт сам находит карточки старше 30 дней, раз в месяц проверяет, отвечают ли адреса документации.
- Сайт открыт полезным ботам: llms.txt, AGENTS.md, OpenAPI, Markdown-версии страниц. Что именно разрешено — в robots.txt и в политике доступа.
Кто
ООО «САРМАТЕХ», Ленинградская область. Промышленная компания (акриловый камень, оборудование), которая с 2026 года строит сеть сайтов агентной экономики: сканер agentreadyscan.ru, услуги aid2c.ru, «Конституция агента», портал «Агентономика». Почта info@a2aprotocol.ru.
Чего здесь не будет
- Страха: никаких «ваш сайт грабят нейросети».
- Совета закрыть сайт от всех ботов.
- Дословных копий чужой документации.