Helionix
ИнструментыКатегорииСтатьиО проектеQR StudioStudio
robots.txt Studio

Создать robots.txt онлайн

Соберите правила для поисковых роботов, добавьте Sitemap, проверьте потенциально опасные директивы и скачайте готовый robots.txt.

User-agentAllowDisallowSitemap

robots.txt Studio

Конструктор правил для поисковых роботов.

Группы роботов

Добавляйте User-agent, Allow и Disallow.

Группа 1

Готовый robots.txt

Предпросмотр итогового файла.

# robots.txt generated by Helionix
#
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /private/

Sitemap: https://helionix.ru/sitemap.xml

Проверка конфигурации

Диагностика потенциальных проблем.

100/100
✓Создано групп User-agent: 1.
✓Sitemap указан абсолютным HTTPS URL.
✓Размер файла: 155 байт.

Что попадёт в файл

Краткая сводка текущих правил.

User-agent1групп
Allow1правил
Disallow3правил
Строк9в файле
robots.txt управляет обходом URL роботами, но сам по себе не является надёжным способом скрыть страницу из поиска или защитить закрытые данные.

История

Сохранённые версии текущей сессии.

История пока пуста.

Для чего нужен robots.txt

Файл robots.txt помогает управлять обходом сайта поисковыми роботами. В нём можно создавать отдельные группы User-agent и задавать правила Allow и Disallow для путей сайта.

User-agent

User-agent определяет робота или группу роботов, для которых предназначены следующие правила. Значение * используется как общая группа.

Allow и Disallow

Allow разрешает обход соответствующего пути, а Disallow задаёт путь, который робот не должен обходить согласно поддерживаемому им протоколу robots.txt. Перед публикацией особенно важно проверить случайный Disallow: /.

Sitemap

В robots.txt удобно указать абсолютный URL XML Sitemap. Это помогает роботам обнаружить файл карты сайта, хотя Sitemap также может быть передан поисковой системе другими способами.

robots.txt и индексация

Управление обходом не равно управлению индексированием. Закрытый от обхода URL в некоторых ситуациях всё равно может быть известен поисковой системе, поэтому robots.txt нельзя считать инструментом удаления страницы из поиска.

robots.txt и безопасность

Не размещайте в robots.txt секретные пути в расчёте на защиту: файл публичный. Для ограничения доступа используйте реальную авторизацию и серверные механизмы безопасности.

Проверка перед публикацией

После генерации проверьте правила для важных URL и убедитесь, что CSS, JavaScript, изображения и страницы, необходимые поисковому роботу, не закрыты случайно.

SEO-инструменты

Связанные инструменты

Проверить robots.txt

Проверьте доступность конкретного URL.

Создать sitemap.xml

Соберите XML-карту сайта.

SEO HTML Analyzer

Проверьте HTML страницы.

Canonical

Нормализуйте основной URL страницы.

Ответы на вопросы

Часто задаваемые вопросы

Что такое robots.txt?

robots.txt — текстовый файл в корне сайта с инструкциями для поисковых роботов о том, какие URL или разделы разрешено или нежелательно обходить.

Где должен находиться robots.txt?

Обычно файл доступен по адресу /robots.txt на соответствующем хосте и протоколе сайта.

Удаляет ли Disallow страницу из поиска?

Нет. Запрет обхода и удаление URL из поискового индекса — разные задачи. robots.txt не следует использовать как механизм защиты секретных данных.

Что означает User-agent: *?

Звёздочка обозначает общую группу правил для роботов, к которым не применяется более специфичная группа.

Можно ли указать Sitemap?

Да. В robots.txt можно добавить абсолютный URL XML Sitemap с помощью директивы Sitemap.

Нужен ли Crawl-delay?

Не всегда. Поддержка Crawl-delay зависит от конкретного поискового робота, поэтому инструмент помечает эту директиву как требующую отдельной проверки.

Что делает директива Host?

Host не является универсальной стандартной директивой для всех поисковых систем. Добавляйте её только если она нужна под конкретную поисковую систему или существующую конфигурацию.