# Bytespider — что это за бот и как им управлять

Bytespider (ByteDance): Содержимое страниц для обучения моделей ByteDance. Токен robots.txt, проверка подлинности, слушается ли правил. Проверено 2026-10-19.

Адрес: https://agentfirewall.ru/boty/bytespider/ · Обновлено: 2026-10-19

- Владелец: ByteDance
- Назначение: Сбор содержимого для обучения моделей
- Токен robots.txt: `Bytespider`
- Слушается robots.txt: неизвестно — Поведение не документировано
- Проверка подлинности: только строка UA. Оператор не публикует адресов и не задаёт способа проверки: подлинность по строке user-agent подтвердить нельзя, остаётся ограничение частоты.
- Строки user-agent: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
- Что берёт: Содержимое страниц для обучения моделей ByteDance.
- Документация: официальной нет
- Риск: высокий
- Проверено: 2026-10-19

Официальной страницы документации нет. По сообщениям владельцев сайтов обходит агрессивно и не всегда уважает robots.txt. Данные сверены по реестру Cloudflare (ai-crawl-control/reference/bots). Надёжная остановка — правило на сервере по строке user-agent и лимит частоты.

## Правила

```
User-agent: Bytespider
Allow: /
```

```
User-agent: Bytespider
Disallow: /
```

```nginx
# nginx: ограничить Bytespider частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_bytespider {
    default 0;
    ~*Bytespider 1;
}
limit_req_zone $binary_remote_addr zone=afw_bytespider:10m rate=1r/s;
```


---
ООО «САРМАТЕХ» · info@a2aprotocol.ru · данные справочника CC BY 4.0