Быстрый старт: как настроить robots.txt
Откройте генератор robots.txt на платформе Zyntec, введите имя нужного бота или символ звездочки, укажите разрешенные и запрещенные пути, и вы получите готовый отформатированный файл для размещения в корне сайта. Сервис автоматически скомпонует директивы по секциям, добавит параметры задержки обхода и вынесет ссылки на карту сайта и главное зеркало в конец документа.
Онлайн-инструмент Zyntec помогает быстро собрать базовый файл конфигурации при запуске проекта, закрыть админку, скрыть системные разделы вроде поиска и корзины, ограничить частоту обхода сервера и предотвратить сканирование дублирующих страниц.
Подготовка исходных данных
Перед заполнением формы соберите параметры, которые планируете передать генератору:
- user_agents: многострочное поле со списком ботов, по одному имени на строку. Значение «*» задает единые правила для всех роботов. Если перечислить нескольких ботов, сервис сформирует для каждого отдельную секцию правил.
- allow: многострочный список разрешенных путей, по одной записи на строку (значение по умолчанию: /).
- disallow: многострочный список закрытых путей (по умолчанию заданы директивы /admin/, /private/, /api/).
- crawl_delay: числовое значение задержки между обращениями робота к серверу.
- sitemap: ссылка на файл карты сайта.
- host: адрес главного зеркала проекта.
Директивы Sitemap и Host инструмент автоматически добавляет в самый конец итогового файла.
Пошаговая инструкция по генерации
- Откройте сервис. Зайдите на страницу Zyntec для генерации robots.txt.
- Задайте ботов. Внесите имя робота или символ «*» в многострочное поле user_agents.
- Настройте правила доступа. Заполните списки allow и disallow путями, которые нужно открыть или скрыть от сканирования.
- Укажите технические директивы. При необходимости заполните числовое поле crawl_delay, укажите адрес зеркала в поле host и ссылку на карту в sitemap.
- Запустите генерацию. Нажмите кнопку «Сгенерировать robots.txt».
- Оцените результат. Сервис сформирует готовый блок директив, покажет число созданных секций и итоговый размер файла в байтах.
- Сохраните файл. Скопируйте готовый текст и поместите его в файл robots.txt в корневом каталоге сайта.
Наглядный пример заполнения
Для стандартной настройки базового файла при запуске проекта оставьте в поле user_agents значение по умолчанию:
*
В поле allow оставьте путь для открытия индексации:
/
В поле disallow укажите список технических разделов, каждый с новой строки:
/admin/
/private/
/api/
Если требуется снизить нагрузку на сервер, укажите число в поле crawl_delay (например, 2), а также заполните поля host и sitemap.
После нажатия кнопки «Сгенерировать robots.txt» инструмент выдаст готовую секцию User-agent: * с соответствующими директивами Allow, Disallow и Crawl-delay, а в самом конце файла добавит строки Host и Sitemap.
Важные ограничения и нюансы
- Поле user_agents обязательно. Без указания хотя бы одного робота или символа «*» формирование файла невозможно.
- Формат задержки. Поле crawl_delay принимает только числа.
- Многострочный ввод путей. Каждое правило для полей allow и disallow должно располагаться на отдельной строке.
- Проверка перед загрузкой. Генератор формирует правильный синтаксис, но смысловую корректность путей необходимо проверять вручную, чтобы случайно не заблокировать важные разделы каталога или карточки товаров.
Возможные ошибки и способы их решения
При работе с формой генератора могут возникнуть следующие системные предупреждения:
- Пустое поле бота. Если оставить поле user_agents пустым, инструмент выдаст сообщение: «Укажите хотя бы один User-agent». Для продолжения работы введите «*» или имена конкретных роботов.
- Нечисловое значение задержки. Если в поле crawl_delay ввести текст или спецсимволы, сервис покажет ошибку: «Crawl-delay должен быть числом». Введите корректное число или оставьте поле пустым.
После исправления параметров нажмите кнопку «Сгенерировать robots.txt» повторно и скопируйте готовый результат.