Google · обучение токен без трафика
Google-Extended
Ничего не обходит сам: управляет тем, можно ли использовать собранное Googlebot для обучения Gemini и для обоснования ответов в приложениях Gemini и Vertex AI.
Паспорт
| Владелец | |
|---|---|
| Назначение | Сбор содержимого для обучения моделей |
| Токен robots.txt | Google-Extended |
| Слушается robots.txt | да — Слушается правил robots.txt |
| Как отличить подделку | не ходит сам. Токен только для robots.txt: собственных запросов не делает и в логах не появляется. |
| Строка user-agent | нет — собственных запросов не делает |
| Что берёт | Ничего не обходит сам: управляет тем, можно ли использовать собранное Googlebot для обучения Gemini и для обоснования ответов в приложениях Gemini и Vertex AI. |
| Документация | developers.google.com |
| Проверено | 2026-10-19 |
Отдельной строки user-agent нет — в логах этот токен не появляется. На показ в Google Поиске и ранжирование не влияет.
Правила
Разрешить
User-agent: Google-Extended
Allow: /Запретить
User-agent: Google-Extended
Disallow: /Это токен для robots.txt: собственных запросов он не делает, поэтому серверного правила для него нет — ограничивайте бот, который реально обходит сайт.