Как создать robots.txt для интернет-магазина

Чтобы защитить служебные разделы интернет-магазина от лишней нагрузки и открыть нужные страницы каталога для сканирования, используйте онлайн генератор robots.txt на Zyntec. Заполните текстовые поля со списком разрешенных и закрытых директорий, укажите имя робота и нажмите кнопку создания. Сервис моментально сформирует файл с готовой структурой директив, подсчитает количество секций и размер итогового текста, который останется сохранить в корневую папку сайта.

В интернет-магазине важно скрыть от сканирования корзину, оформление заказа, результаты внутреннего поиска, личные кабинеты пользователей, технические дубли и панель управления. При этом основные категории, карточки товаров и карта сайта должны оставаться открытыми.

Какие данные подготовить перед генерацией

Перед заполнением полей инструмента подготовьте список служебных и открытых адресов вашего магазина.

В форме используются следующие параметры: - Имя робота (user_agents). Это обязательное многострочное поле. Если требуется задать общие правила для всех ботов сразу, введите символ *. Если нужно настроить разные правила для отдельных ботов, укажите каждое имя с новой строки. Для каждого имени сервис сгенерирует отдельную секцию директив. - Разрешенные пути (allow). Многострочный список страниц и разделов, открытых для сканирования (по умолчанию установлено значение /). - Запрещенные пути (disallow). Многострочный список адресов, которые необходимо скрыть, по одному пути на строку (по умолчанию заданы /admin/, /private/, /api/). - Задержка между запросами (crawl_delay). Числовое значение задержки в секундах между обращениями робота к серверу для снижения нагрузки. - Адрес карты сайта (sitemap). Ссылка на XML-файл карты сайта. Директива Sitemap автоматически добавляется в конец итогового файла. - Главное зеркало (host). Адрес основного домена магазина. Директива Host также помещается в конец документа.

Пошаговая инструкция по настройке robots.txt

  1. Откройте генератор. Перейдите к инструменту на Zyntec. По умолчанию в форме уже прописаны базовые значения для быстрого старта нового проекта.
  2. Укажите имена роботов. В поле user_agents введите * для общих инструкций или перечислите нужных ботов построчно.
  3. Настройте запреты и разрешения. В поле disallow добавьте пути к служебным разделам магазина (например, панели администратора, корзине или API). В поле allow оставьте открытые каталоги.
  4. Задайте параметры сервера. При необходимости введите числовую задержку в поле crawl_delay, а также заполните поля sitemap и host.
  5. Сгенерируйте файл. Нажмите кнопку «Сгенерировать robots.txt».
  6. Проверьте и сохраните результат. Ознакомьтесь с полученным текстом, количеством секций и размером файла. Скопируйте готовый блок в файл robots.txt и загрузите его в корневую папку вашего сервера.

Пример заполнения формы и результат

Для базовой настройки интернет-магазина можно использовать следующий набор параметров: - user_agents: * - allow: / - disallow: /admin/ /private/ /api/ /cart/ /search/ - crawl_delay: 2 - sitemap: /sitemap.xml - host: /

После нажатия кнопки «Сгенерировать robots.txt» сервис сформирует секцию с директивами User-agent, Allow, Disallow и Crawl-delay, а в самом конце файла разместит строки Host и Sitemap. Под окном с результатом отобразится число созданных секций и общий вес готового файла в байтах.

Ограничения сервиса и советы по применению

Инструмент формирует структуру robots.txt строго на основе введенных вами данных. Сервис не проверяет физическое наличие страниц на сервере, поэтому перед сохранением файла убедитесь в отсутствии опечаток в путях и наличии закрывающих слешей.

Если для нескольких роботов требуются одинаковые запреты, достаточно указать символ *. Если же правила различаются, добавьте имена ботов в поле user_agents с новой строки, чтобы инструмент создал для каждого из них персональный блок директив.

Частые ошибки и способы их решения

  • Пустое поле имени робота. Если не заполнить обязательное поле user_agents и запустить обработку, появится сообщение: «Укажите хотя бы один User-agent». Для исправления введите символ * или конкретное имя робота.
  • Некорректный формат задержки. Если в поле crawl_delay ввести буквы или специальные символы вместо цифр, отобразится ошибка: «Crawl-delay должен быть числом». Укажите целое число секунд (например, 1 или 2).

Читайте также