Helionix
ИнструментыКатегорииСтатьиО проектеQR StudioStudio
robots.txt Checker Studio

Проверить правила robots.txt

Вставьте robots.txt, выберите поискового робота и проверьте, разрешён ли обход конкретного URL и какое правило определило результат.

GooglebotYandexBotAllowDisallow

robots.txt Checker Studio

Проверка URL против правил robots.txt прямо в браузере.

robots.txt

Вставьте содержимое файла для анализа.

11 строк169 байт2 групп

Проверить URL

Выберите робота и адрес страницы.

Результат

Обход разрешён

/admin/settings

Сработавшее правилоAllow: /

Разбор решения

Какие правила совпали с URL.

Путь /admin/settingsПодходящих групп 1Совпадений 1
Allow/строка 8 · приоритет

Диагностика файла

Структура и потенциальные проблемы.

✓Найдено групп User-agent: 2.
✓Sitemap: https://helionix.ru/sitemap.xml
✓Явных структурных ошибок в поддерживаемых директивах не найдено.

История проверок

Последние URL текущей сессии.

Проверок пока нет.
Проверка выполняется по вставленному тексту и моделирует основные правила сопоставления Allow/Disallow. Для критичных изменений дополнительно проверяйте опубликованный robots.txt средствами соответствующей поисковой системы.

Как работает проверка robots.txt

Анализатор читает группы User-agent и правила Allow и Disallow, после чего сопоставляет их с путём проверяемого URL.

Выбор User-agent

Правила могут отличаться для Googlebot, YandexBot, Bingbot и других роботов. Если подходящей специфичной группы нет, используется общая группа со звёздочкой.

Сработавшее правило

Studio показывает не только итог «разрешено» или «запрещено», но и список совпавших правил, номер строки и правило, получившее приоритет.

Шаблоны путей

Анализатор поддерживает обычные пути, символ * в шаблоне и окончание $ для проверки конца адреса.

Диагностика

Дополнительно проверяется наличие групп User-agent, Sitemap и директив, расположенных до объявления группы.

Обход не равен индексации

Разрешение обхода не гарантирует появление страницы в поиске, а запрет обхода сам по себе не является надёжным способом удалить известный URL из индекса.

SEO-инструменты

Связанные инструменты

robots.txt Studio

Создайте готовый файл robots.txt.

sitemap.xml Studio

Создайте XML-карту сайта.

SEO HTML Analyzer

Проверьте HTML страницы.

Canonical Studio

Проверьте основной URL страницы.

Ответы на вопросы

Часто задаваемые вопросы

Что проверяет инструмент?

Инструмент разбирает вставленный robots.txt, выбирает подходящую группу User-agent и показывает, какое Allow или Disallow совпадает с указанным URL.

Как выбирается правило?

Для совпадающих правил учитывается наиболее специфичный путь. При одинаковой специфичности разрешающее правило получает приоритет в модели проверки инструмента.

Можно проверить Googlebot и YandexBot?

Да. Есть готовые варианты популярных User-agent, а правила берутся из вставленного robots.txt.

Инструмент загружает robots.txt с сайта?

Эта версия анализатора работает с текстом, который вы вставляете в поле. Это позволяет проверять конфигурацию ещё до публикации.

Если URL разрешён, он обязательно будет проиндексирован?

Нет. robots.txt относится к обходу. Индексация зависит от множества других сигналов и настроек страницы.

Почему нужна дополнительная проверка после публикации?

У разных поисковых систем могут быть особенности реализации и поддержки директив. Для критичных изменений полезно проверить опубликованный файл средствами нужной поисковой системы.