Amazon · обучение
Amazonbot
Содержимое страниц для улучшения продуктов Amazon (включая ответы Alexa); может использоваться для обучения моделей Amazon.
Паспорт
| Владелец | Amazon |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | Amazonbot |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | обратный DNS. Обратный DNS по IP запроса должен дать имя хоста в домене оператора, а прямой DNS этого имени — тот же IP. Оба шага обязательны. Список адресов |
| Строка user-agent | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36 |
| Что берёт | Содержимое страниц для улучшения продуктов Amazon (включая ответы Alexa); может использоваться для обучения моделей Amazon. |
| Документация | developer.amazon.com |
| Проверено | 2026-10-19 |
Обратный DNS должен давать поддомен crawl.amazonbot.amazon. robots.txt читается на уровне хоста, изменения применяются в течение суток. Crawl-delay не поддерживается.
Правила
Разрешить
User-agent: Amazonbot
Allow: /Запретить
User-agent: Amazonbot
Disallow: /На сервере
# nginx: ограничить Amazonbot частотой (ответ 429, честный бот замедлится)
map $http_user_agent $afw_amazonbot {
default 0;
~*Amazonbot 1;
}
limit_req_zone $binary_remote_addr zone=afw_amazonbot:10m rate=1r/s;