Генератор robots.txt

Управление индексацией для поисковиков

Перейти к инструменту 3 запуска в день без регистрации. Общий лимит на любые сервисы.

Генератор robots.txt

Управляйте индексацией: разрешите и запретите разделы для разных ботов, добавьте адрес sitemap и host. Готовый файл для корня сайта.

О сервисе

Бесплатный генератор robots.txt. Создаёт файл с правилами: разрешить/запретить разделы для разных ботов, sitemap, host. Подходит для магазинов и блогов на любой CMS.

Когда пригодится

закрыть от индексации административную панель сайта
скрыть страницы с результатами внутреннего поиска и корзину
указать путь к карте сайта для поисковых роботов
ограничить частоту обращений роботов через директиву crawl-delay
создать базовый файл инструкций при запуске нового веб-проекта
запретить сканирование дублей страниц и технических разделов

Как пользоваться

Вставьте user-agent
Настройте параметры: allow, disallow, crawl-delay, sitemap, host
Нажмите «Сгенерировать robots.txt» и скопируйте результат

Частые вопросы

Как закрыть админку от индексации?

Disallow: /admin/ - добавьте в robots.txt, бот не будет заходить на эти страницы.

Нужно ли указывать sitemap в robots.txt?

Да, Sitemap: https://example.com/sitemap.xml - ускоряет индексирование.

Для каких сайтов подходит этот генератор?

Инструмент подходит для блогов и интернет-магазинов на любой CMS. Без регистрации доступно 3 запуска в день в рамках общего лимита, а регистрация расширяет возможности использования.

Какие параметры можно настроить в генераторе?

Инструмент позволяет указать user-agent и настроить директивы allow, disallow, crawl-delay, sitemap и host. После ввода данных нажмите кнопку генерации и скопируйте готовый результат.