SEO · Индексация · Краулеры

Генератор robots.txt

Настройте правила для поисковых роботов и скопируйте готовый файл robots.txt.

Быстрые пресеты

Поисковые роботы

*

Все роботы

Googlebot

Google

Yandex

Яндекс

Bingbot

Microsoft Bing

GPTBot

OpenAI ChatGPT

ClaudeBot

Anthropic Claude

CCBot

Common Crawl / AI

meta-externalagent

Meta AI

Запрещённые пути (Disallow)

Разрешённые пути (Allow)

Дополнительно

Sitemap URL

Crawl-delay (секунды)

robots.txt