# CCBot — что это за бот и как им управлять

CCBot (Common Crawl): Копии страниц в открытый архив Common Crawl, на котором обучаются многие модели. Токен robots.txt, проверка подлинности, слушается ли правил. Проверено 2026-10-19.

Адрес: https://agentfirewall.ru/boty/ccbot/ · Обновлено: 2026-10-19

- Владелец: Common Crawl
- Назначение: Сбор содержимого для обучения моделей
- Токен robots.txt: `CCBot`
- Слушается robots.txt: да — Слушается правил robots.txt
- Проверка подлинности: обратный DNS. Обратный DNS по IP запроса должен дать имя хоста в домене оператора, а прямой DNS этого имени — тот же IP. Оба шага обязательны. Список адресов: https://index.commoncrawl.org/ccbot.json
- Строки user-agent: CCBot/2.0 (https://commoncrawl.org/faq/)
- Что берёт: Копии страниц в открытый архив Common Crawl, на котором обучаются многие модели.
- Документация: https://commoncrawl.org/ccbot
- Риск: средний
- Проверено: 2026-10-19

Обратный DNS должен давать имя *.crawl.commoncrawl.org. Запрет CCBot закрывает сразу всех, кто обучается на архиве, но не действует на уже сделанные копии.

## Правила

```
User-agent: CCBot
Allow: /
```

```
User-agent: CCBot
Disallow: /
```

```nginx
# nginx: ограничить CCBot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_ccbot {
    default 0;
    ~*CCBot 1;
}
limit_req_zone $binary_remote_addr zone=afw_ccbot:10m rate=1r/s;
```


---
ООО «САРМАТЕХ» · info@a2aprotocol.ru · данные справочника CC BY 4.0