{
  "schema": "1.0",
  "updated_at": "2026-10-19",
  "license": "CC BY 4.0",
  "source": "https://agentfirewall.ru/data/bots.json",
  "fields": {
    "purpose": "train — сбор для обучения моделей; search — поисковый индекс и ответы ИИ; agent — запрос по просьбе пользователя; other — служебный",
    "respects_robots": "yes | partial | no | unknown",
    "verify_method": "ip_list — опубликованный список адресов; reverse_dns — обратный DNS; asn — по автономной системе; ua_only — только строка user-agent; none — токен без собственного трафика",
    "control_only": "true — токен для robots.txt без собственного обхода (в логах не появляется)",
    "risk": "low | mid | high — с точки зрения владельца сайта",
    "checked_at": "дата последней сверки карточки с документацией оператора"
  },
  "bots": [
    {
      "slug": "gptbot",
      "name": "GPTBot",
      "owner": "OpenAI",
      "purpose": "train",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"],
      "robots_token": "GPTBot",
      "respects_robots": "yes",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://openai.com/gptbot.json",
      "docs_url": "https://developers.openai.com/docs/gptbot",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Текст страниц для обучения моделей OpenAI.",
      "notes": "Запрет GPTBot означает, что содержимое сайта не должно использоваться для обучения. На показ в поиске ChatGPT не влияет — за это отвечает OAI-SearchBot. При чтении robots.txt к строке user-agent может добавляться пометка robots.txt. Номер версии в строке меняется."
    },
    {
      "slug": "oai-searchbot",
      "name": "OAI-SearchBot",
      "owner": "OpenAI",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"],
      "robots_token": "OAI-SearchBot",
      "respects_robots": "yes",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://openai.com/searchbot.json",
      "docs_url": "https://developers.openai.com/docs/gptbot",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для поискового индекса ChatGPT; на обучение не идёт.",
      "notes": "Сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT. OpenAI рекомендует разрешить его в robots.txt. Изменения robots.txt применяются примерно за сутки."
    },
    {
      "slug": "chatgpt-user",
      "name": "ChatGPT-User",
      "owner": "OpenAI",
      "purpose": "agent",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
      "robots_token": "ChatGPT-User",
      "respects_robots": "partial",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://openai.com/chatgpt-user.json",
      "docs_url": "https://developers.openai.com/docs/gptbot",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Конкретную страницу, которую запросил пользователь ChatGPT или кастомный GPT.",
      "notes": "Действия инициирует человек, поэтому, по документации OpenAI, правила robots.txt могут не применяться. Для обучения не используется."
    },
    {
      "slug": "claudebot",
      "name": "ClaudeBot",
      "owner": "Anthropic",
      "purpose": "train",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)"],
      "robots_token": "ClaudeBot",
      "respects_robots": "yes",
      "verify_method": "ua_only",
      "ip_ranges_url": "",
      "docs_url": "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Текст страниц, который может попасть в обучение моделей Claude.",
      "notes": "Anthropic не публикует диапазоны адресов, подлинность проверяется только по строке user-agent. Запрет ClaudeBot не закрывает Claude-SearchBot и Claude-User — у каждого свой токен."
    },
    {
      "slug": "claude-searchbot",
      "name": "Claude-SearchBot",
      "owner": "Anthropic",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)"],
      "robots_token": "Claude-SearchBot",
      "respects_robots": "yes",
      "verify_method": "ua_only",
      "ip_ranges_url": "",
      "docs_url": "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для улучшения качества поиска Claude.",
      "notes": "Отвечает за попадание сайта в поисковые ответы Claude. Диапазоны адресов не публикуются."
    },
    {
      "slug": "claude-user",
      "name": "Claude-User",
      "owner": "Anthropic",
      "purpose": "agent",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)"],
      "robots_token": "Claude-User",
      "respects_robots": "partial",
      "verify_method": "ua_only",
      "ip_ranges_url": "",
      "docs_url": "https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Страницу, которую запросил пользователь Claude в разговоре.",
      "notes": "Запрос инициирует человек. Для обучения не используется. Диапазоны адресов не публикуются."
    },
    {
      "slug": "perplexitybot",
      "name": "PerplexityBot",
      "owner": "Perplexity",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
      "robots_token": "PerplexityBot",
      "respects_robots": "yes",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://www.perplexity.com/perplexitybot.json",
      "docs_url": "https://docs.perplexity.ai/guides/bots",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц, чтобы показывать и цитировать сайт в ответах Perplexity.",
      "notes": "Для обучения моделей не используется. Perplexity рекомендует разрешить бота в robots.txt."
    },
    {
      "slug": "perplexity-user",
      "name": "Perplexity-User",
      "owner": "Perplexity",
      "purpose": "agent",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
      "robots_token": "Perplexity-User",
      "respects_robots": "no",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://www.perplexity.com/perplexity-user.json",
      "docs_url": "https://docs.perplexity.ai/guides/bots",
      "risk": "mid",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Страницу, нужную для ответа на вопрос пользователя, в момент запроса.",
      "notes": "По документации Perplexity, как правило, игнорирует robots.txt, потому что запрос инициирован человеком. Остановить можно только на сервере — по опубликованным адресам."
    },
    {
      "slug": "googlebot",
      "name": "Googlebot",
      "owner": "Google",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)", "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"],
      "robots_token": "Googlebot",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
      "docs_url": "https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для индекса Google Поиска и обзоров ИИ в нём.",
      "notes": "Обратный DNS должен давать имя вида crawl-***.googlebot.com или geo-crawl-***.geo.googlebot.com. Запрет Googlebot убирает сайт из Google целиком, включая обзоры ИИ; обучение Gemini регулируется отдельным токеном Google-Extended."
    },
    {
      "slug": "google-extended",
      "name": "Google-Extended",
      "owner": "Google",
      "purpose": "train",
      "user_agents": [],
      "robots_token": "Google-Extended",
      "respects_robots": "yes",
      "verify_method": "none",
      "ip_ranges_url": "",
      "docs_url": "https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers",
      "risk": "low",
      "control_only": true,
      "checked_at": "2026-10-19",
      "takes": "Ничего не обходит сам: управляет тем, можно ли использовать собранное Googlebot для обучения Gemini и для обоснования ответов в приложениях Gemini и Vertex AI.",
      "notes": "Отдельной строки user-agent нет — в логах этот токен не появляется. На показ в Google Поиске и ранжирование не влияет."
    },
    {
      "slug": "google-cloudvertexbot",
      "name": "Google-CloudVertexBot",
      "owner": "Google",
      "purpose": "other",
      "user_agents": ["Google-CloudVertexBot"],
      "robots_token": "Google-CloudVertexBot",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
      "docs_url": "https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Страницы сайтов, которые их владельцы сами подключили к агентам Vertex AI.",
      "notes": "Обходит сайт по запросу его владельца при построении агентов в Vertex AI. На Google Поиск не влияет. Полная строка user-agent в документации не приводится — указана только подстрока."
    },
    {
      "slug": "yandexbot",
      "name": "YandexBot",
      "owner": "Яндекс",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"],
      "robots_token": "YandexBot",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "",
      "docs_url": "https://yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для индекса Яндекса; на этих же данных строятся ответы «Поиска с Нейро».",
      "notes": "Основной индексирующий робот. Подлинность — обратным DNS: имя хоста должно оканчиваться на yandex.ru, yandex.net или yandex.com, прямой DNS должен вернуть тот же адрес. Список адресов не публикуется. Если в robots.txt есть блок User-agent: Yandex, блок User-agent: * роботами Яндекса не читается."
    },
    {
      "slug": "yandexadditional",
      "name": "YandexAdditional",
      "owner": "Яндекс",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 (compatible; YandexAdditional/1.0; +http://yandex.com/bots)", "Mozilla/5.0 (compatible; YandexAdditionalBot/1.0; +http://yandex.com/bots)"],
      "robots_token": "YandexAdditional",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "",
      "docs_url": "https://yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots",
      "risk": "low",
      "control_only": true,
      "checked_at": "2026-10-19",
      "takes": "Ничего не обходит сам: через правила robots.txt для этого токена можно запретить показ содержимого страниц в ответах «Поиска с Нейро».",
      "notes": "Действует для страниц, уже проиндексированных основным роботом; индексирующих запросов не делает. Это русский аналог Google-Extended: сайт остаётся в поиске, но его текст не пересказывается в ответах Нейро."
    },
    {
      "slug": "yandexmobilebot",
      "name": "YandexMobileBot",
      "owner": "Яндекс",
      "purpose": "other",
      "user_agents": ["Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)"],
      "robots_token": "YandexMobileBot",
      "respects_robots": "partial",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "",
      "docs_url": "https://yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Страницы — чтобы определить, подходит ли их вёрстка для мобильных устройств.",
      "notes": "Служебный робот. Как и YandexRenderResourcesBot, YandexScreenshotBot, YandexMetrika и ряд других, не учитывает общие правила для User-agent: * — запрет для него нужно писать отдельным блоком с его именем. Документ, который недоступен основному роботу, в поиск всё равно не попадёт."
    },
    {
      "slug": "bingbot",
      "name": "bingbot",
      "owner": "Microsoft",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36"],
      "robots_token": "bingbot",
      "respects_robots": "yes",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://www.bing.com/toolbox/bingbot.json",
      "docs_url": "https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для индекса Bing, на котором работают и ответы Microsoft Copilot.",
      "notes": "Запрет bingbot убирает сайт из Bing, Yahoo, DuckDuckGo (частично) и ответов Copilot разом. Страница документации Bing требует JavaScript — текст в песочнице не читается, данные сверены по строке user-agent и списку адресов."
    },
    {
      "slug": "mail-ru-bot",
      "name": "Mail.RU_Bot",
      "owner": "VK",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"],
      "robots_token": "Mail.RU_Bot",
      "respects_robots": "yes",
      "verify_method": "ua_only",
      "ip_ranges_url": "",
      "docs_url": "",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для поиска Mail.ru и предпросмотра ссылок в сервисах VK.",
      "notes": "Действующей страницы документации у оператора не нашли: адрес из строки user-agent ведёт на общий справочный центр. Данные сверены по сторонним реестрам (Cloudflare Radar). Есть варианты Mail.RU_Bot/Fast и Mail.RU_Bot/Img."
    },
    {
      "slug": "meta-externalagent",
      "name": "Meta-ExternalAgent",
      "owner": "Meta",
      "purpose": "train",
      "user_agents": ["meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)", "meta-externalagent/1.1"],
      "robots_token": "meta-externalagent",
      "respects_robots": "yes",
      "verify_method": "asn",
      "ip_ranges_url": "",
      "docs_url": "https://developers.facebook.com/docs/sharing/webmasters/web-crawlers",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для обучения моделей Meta и прямого индексирования.",
      "notes": "Подлинность — по адресам автономной системы Meta (AS32934): whois -h whois.radb.net -- '-i origin AS32934'. Деятельность Meta Platforms запрещена в России; это не отменяет того, что бот приходит на сайты."
    },
    {
      "slug": "meta-externalfetcher",
      "name": "Meta-ExternalFetcher",
      "owner": "Meta",
      "purpose": "agent",
      "user_agents": ["meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)", "meta-externalfetcher/1.1"],
      "robots_token": "meta-externalfetcher",
      "respects_robots": "no",
      "verify_method": "asn",
      "ip_ranges_url": "",
      "docs_url": "https://developers.facebook.com/docs/sharing/webmasters/web-crawlers",
      "risk": "mid",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Отдельные ссылки по запросу пользователя, в том числе когда агент Meta выполняет задачу на сайте.",
      "notes": "По документации Meta может обходить robots.txt, потому что запросы инициированы пользователем. Остановить — только на сервере."
    },
    {
      "slug": "meta-webindexer",
      "name": "Meta-WebIndexer",
      "owner": "Meta",
      "purpose": "search",
      "user_agents": ["meta-webindexer/1.1 (+https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers)"],
      "robots_token": "meta-webindexer",
      "respects_robots": "yes",
      "verify_method": "asn",
      "ip_ranges_url": "",
      "docs_url": "https://developers.facebook.com/docs/sharing/webmasters/web-crawlers",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для поискового индекса Meta AI.",
      "notes": "Запрет Meta-WebIndexer не отключает обучение — за него отвечает Meta-ExternalAgent."
    },
    {
      "slug": "applebot",
      "name": "Applebot",
      "owner": "Apple",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)"],
      "robots_token": "Applebot",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "",
      "docs_url": "https://support.apple.com/HT204683",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для Siri, Spotlight и подсказок Safari.",
      "notes": "Обратный DNS должен давать имя в домене *.applebot.apple.com. Использование собранного для обучения моделей Apple регулируется отдельным токеном Applebot-Extended."
    },
    {
      "slug": "applebot-extended",
      "name": "Applebot-Extended",
      "owner": "Apple",
      "purpose": "train",
      "user_agents": [],
      "robots_token": "Applebot-Extended",
      "respects_robots": "yes",
      "verify_method": "none",
      "ip_ranges_url": "",
      "docs_url": "https://support.apple.com/HT204683",
      "risk": "low",
      "control_only": true,
      "checked_at": "2026-10-19",
      "takes": "Ничего не обходит сам: определяет, можно ли использовать собранное Applebot для обучения моделей Apple Intelligence.",
      "notes": "Страницы, закрытые для Applebot-Extended, остаются в поиске; по документации Apple, правила для этого токена не учитываются в ранжировании."
    },
    {
      "slug": "amazonbot",
      "name": "Amazonbot",
      "owner": "Amazon",
      "purpose": "train",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36"],
      "robots_token": "Amazonbot",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "https://developer.amazon.com/amazonbot/ip-addresses/",
      "docs_url": "https://developer.amazon.com/amazonbot",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для улучшения продуктов Amazon (включая ответы Alexa); может использоваться для обучения моделей Amazon.",
      "notes": "Обратный DNS должен давать поддомен crawl.amazonbot.amazon. robots.txt читается на уровне хоста, изменения применяются в течение суток. Crawl-delay не поддерживается."
    },
    {
      "slug": "mistralai-user",
      "name": "MistralAI-User",
      "owner": "Mistral AI",
      "purpose": "agent",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)"],
      "robots_token": "MistralAI-User",
      "respects_robots": "partial",
      "verify_method": "ip_list",
      "ip_ranges_url": "https://mistral.ai/mistralai-user-ips.json",
      "docs_url": "https://docs.mistral.ai/robots",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Страницу по запросу пользователя Le Chat.",
      "notes": "Автоматического обхода не ведёт, для обучения не используется."
    },
    {
      "slug": "mistralai-index",
      "name": "MistralAI-Index",
      "owner": "Mistral AI",
      "purpose": "search",
      "user_agents": ["Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-Index/1.0; +https://docs.mistral.ai/robots)"],
      "robots_token": "MistralAI-Index",
      "respects_robots": "yes",
      "verify_method": "ip_list",
      "ip_ranges_url": "",
      "docs_url": "https://docs.mistral.ai/robots",
      "risk": "low",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для поискового индекса Mistral, которым пользуется Le Chat.",
      "notes": "Для обучения не используется. Список адресов приведён на странице документации."
    },
    {
      "slug": "ccbot",
      "name": "CCBot",
      "owner": "Common Crawl",
      "purpose": "train",
      "user_agents": ["CCBot/2.0 (https://commoncrawl.org/faq/)"],
      "robots_token": "CCBot",
      "respects_robots": "yes",
      "verify_method": "reverse_dns",
      "ip_ranges_url": "https://index.commoncrawl.org/ccbot.json",
      "docs_url": "https://commoncrawl.org/ccbot",
      "risk": "mid",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Копии страниц в открытый архив Common Crawl, на котором обучаются многие модели.",
      "notes": "Обратный DNS должен давать имя *.crawl.commoncrawl.org. Запрет CCBot закрывает сразу всех, кто обучается на архиве, но не действует на уже сделанные копии."
    },
    {
      "slug": "bytespider",
      "name": "Bytespider",
      "owner": "ByteDance",
      "purpose": "train",
      "user_agents": ["Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"],
      "robots_token": "Bytespider",
      "respects_robots": "unknown",
      "verify_method": "ua_only",
      "ip_ranges_url": "",
      "docs_url": "",
      "risk": "high",
      "control_only": false,
      "checked_at": "2026-10-19",
      "takes": "Содержимое страниц для обучения моделей ByteDance.",
      "notes": "Официальной страницы документации нет. По сообщениям владельцев сайтов обходит агрессивно и не всегда уважает robots.txt. Данные сверены по реестру Cloudflare (ai-crawl-control/reference/bots). Надёжная остановка — правило на сервере по строке user-agent и лимит частоты."
    }
  ]
}