Common Crawl · обучение
CCBot
Копии страниц в открытый архив Common Crawl, на котором обучаются многие модели.
Паспорт
| Владелец | Common Crawl |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | CCBot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | обратный DNS. Обратный DNS по IP запроса должен дать имя хоста в домене оператора, а прямой DNS этого имени — тот же IP. Оба шага обязательны. Список адресов |
| Строка user-agent | CCBot/2.0 (https://commoncrawl.org/faq/) |
| Что берёт | Копии страниц в открытый архив Common Crawl, на котором обучаются многие модели. |
| Документация | commoncrawl.org |
| Проверено | 2026-10-19 |
Обратный DNS должен давать имя *.crawl.commoncrawl.org. Запрет CCBot закрывает сразу всех, кто обучается на архиве, но не действует на уже сделанные копии.
Правила
Разрешить
User-agent: CCBot
Allow: /Запретить
User-agent: CCBot
Disallow: /На сервере
# nginx: ограничить CCBot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_ccbot {
default 0;
~*CCBot 1;
}
limit_req_zone $binary_remote_addr zone=afw_ccbot:10m rate=1r/s;