Anthropic · обучение
ClaudeBot
Текст страниц, который может попасть в обучение моделей Claude.
Паспорт
| Владелец | Anthropic |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | ClaudeBot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | только строка UA. Оператор не публикует адресов и не задаёт способа проверки: подлинность по строке user-agent подтвердить нельзя, остаётся ограничение частоты. |
| Строка user-agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) |
| Что берёт | Текст страниц, который может попасть в обучение моделей Claude. |
| Документация | support.claude.com |
| Проверено | 2026-10-19 |
Anthropic не публикует диапазоны адресов, подлинность проверяется только по строке user-agent. Запрет ClaudeBot не закрывает Claude-SearchBot и Claude-User — у каждого свой токен.
Правила
Разрешить
User-agent: ClaudeBot
Allow: /Запретить
User-agent: ClaudeBot
Disallow: /На сервере
# nginx: ограничить ClaudeBot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_claudebot {
default 0;
~*ClaudeBot 1;
}
limit_req_zone $binary_remote_addr zone=afw_claudebot:10m rate=1r/s;