Как быстро закрыть разделы интернет-магазина от индексации
Чтобы скрыть от сканирования корзину, личные кабинеты, результаты поиска и технические дубли страниц, настройте правила через онлайн-генератор robots.txt в Zyntec. Вы заполняете параметры директив в веб-форме, нажимаете кнопку и получаете корректно структурированный текстовый файл с подсчетом числа секций и итогового размера. Готовый результат остается только скопировать и поместить в корневую папку сайта.
Грамотное распределение директив экономит краулинговый бюджет: боты не тратят ресурсы сервера на обход служебных скриптов, а сразу переходят к карточкам товаров и категориям каталога.
Подготовка данных для настройки директив
Перед формированием файла соберите список технических адресов магазина и определите правила доступа:
- User-agent (обязательное поле): многострочный список имен поисковых роботов, по одному на строку. Символ
*задает общие правила для всех ботов сразу. Если указать несколько роботов построчно, генератор создаст отдельную секцию правил для каждого из них. - Разрешенные пути (Allow): список URL, открытых для сканирования (по умолчанию установлено значение
/). - Запрещенные пути (Disallow): список закрываемых разделов (по умолчанию предложены пути
/admin/,/private/,/api/). Для магазина сюда вносят корзину, оформление заказа, страницы фильтрации и поиска. - Задержка обхода (Crawl-delay): числовое значение паузы между запросами бота в секундах, снижающее нагрузку на базу данных при активном сканировании каталога.
- Ссылка на карту сайта (Sitemap): полный URL к вашему XML-файлу карты сайта.
- Главное зеркало (Host): адрес основного домена.
Директивы Sitemap и Host сервис автоматически размещает в самом конце итогового файла.
Пошаговая генерация правил для интернет-магазина
- Откройте форму генератора. Перейдите в инструмент на Zyntec.
- Задайте список User-agent. Введите
*для всех роботов или перечислите нужные имена с новой строки. - Настройте пути. В поле Disallow построчно внесите пути к админке, поисковой выдаче и корзине (например,
/admin/,/cart/,/search/). В поле Allow укажите открытые разделы. - Укажите дополнительные параметры. Заполните числовую задержку Crawl-delay, а также поля Host и Sitemap.
- Создайте файл. Нажмите кнопку «Сгенерировать robots.txt».
- Перенесите результат на сервер. Скопируйте готовый текст, создайте файл robots.txt в корневой директории сайта и вставьте сформированные директивы.
Практический пример заполнения
Для типового интернет-магазина базовый набор данных выглядит следующим образом:
- В поле User-agent укажите:
* - В поле Allow укажите:
/ - В поле Disallow внесите построчно:
/admin//cart//checkout//search//api/ - В поле Crawl-delay введите:
1 - В поле Sitemap укажите ссылку на карту сайта, а в поле Host - адрес главного зеркала.
После нажатия кнопки генерации сервис сформирует файл с единой секцией для всех роботов, правилами доступа, задержкой в 1 секунду, а в финал добавит строки Host и Sitemap. Также инструмент покажет количество сформированных секций и точный вес файла в байтах.
Важные ограничения и проверка результата
- Сервис формирует синтаксически верную структуру, но не проверяет фактическое существование указанных страниц. Убедитесь, что пути в полях Allow и Disallow в точности соответствуют структуре URL вашей CMS.
- Закрытие разделов в robots.txt управляет обходом роботов, но не удаляет страницы из индекса мгновенно. Роботы должны повторно посетить ресурс и перечитать правила.
- Файл должен быть доступен строго по адресу корня сайта, иначе поисковые механизмы его не обнаружат.
Частые ошибки и их устранение
При заполнении полей генератора возможны две типовые ошибки:
- Пустое поле роботов. Если очистить поле User-agent и нажать кнопку «Сгенерировать robots.txt», сервис выдаст ошибку: «Укажите хотя бы один User-agent». Для исправления добавьте символ
*или конкретные имена ботов. - Некорректный формат задержки. Если в поле Crawl-delay ввести текст или посторонние знаки вместо цифры, появится предупреждение: «Crawl-delay должен быть числом». Для устранения укажите целое число секунд.