Anthropic · поиск
Claude-SearchBot
Содержимое страниц для улучшения качества поиска Claude.
Паспорт
| Владелец | Anthropic |
|---|---|
| Назначение | Поисковый индекс и ответы ИИ-поиска |
| Токен robots.txt | Claude-SearchBot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | только строка UA. Оператор не публикует адресов и не задаёт способа проверки: подлинность по строке user-agent подтвердить нельзя, остаётся ограничение частоты. |
| Строка user-agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com) |
| Что берёт | Содержимое страниц для улучшения качества поиска Claude. |
| Документация | support.claude.com |
| Проверено | 2026-10-19 |
Отвечает за попадание сайта в поисковые ответы Claude. Диапазоны адресов не публикуются.
Правила
Разрешить
User-agent: Claude-SearchBot
Allow: /Запретить
User-agent: Claude-SearchBot
Disallow: /На сервере
# nginx: ограничить Claude-SearchBot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_claude_searchbot {
default 0;
~*Claude\-SearchBot 1;
}
limit_req_zone $binary_remote_addr zone=afw_claude_searchbot:10m rate=1r/s;