Allow · Disallow · Googlebot · Yandex
Тестер robots.txt
Введите содержимое robots.txt и URL — узнайте, разрешит ли файл индексацию страницы выбранным роботом.
Содержимое robots.txt
URL для проверки
User-Agent
Все роботы (*)
Googlebot
YandexBot
Bingbot