ByteDance · обучение
Bytespider
Содержимое страниц для обучения моделей ByteDance.
Паспорт
| Владелец | ByteDance |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | Bytespider |
| Слушается robots.txt | неизвестно — Поведение не документировано |
| Как отличить подделку | только строка UA. Оператор не публикует адресов и не задаёт способа проверки: подлинность по строке user-agent подтвердить нельзя, остаётся ограничение частоты. |
| Строка user-agent | Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) |
| Что берёт | Содержимое страниц для обучения моделей ByteDance. |
| Документация | официальной страницы нет |
| Проверено | 2026-10-19 |
Официальной страницы документации нет. По сообщениям владельцев сайтов обходит агрессивно и не всегда уважает robots.txt. Данные сверены по реестру Cloudflare (ai-crawl-control/reference/bots). Надёжная остановка — правило на сервере по строке user-agent и лимит частоты.
Правила
Разрешить
User-agent: Bytespider
Allow: /Запретить
User-agent: Bytespider
Disallow: /На сервере
# nginx: ограничить Bytespider частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_bytespider {
default 0;
~*Bytespider 1;
}
limit_req_zone $binary_remote_addr zone=afw_bytespider:10m rate=1r/s;Этот бот может не учитывать robots.txt. Правило в файле — заявление политики, остановить его можно только на сервере по строке user-agent и частоте.