Генератор файла robots.txt

1. Основные настройки

Выберите поисковую систему или задайте своего робота.

Поисковая система / User-agent

Разрешить всёAllow: / Закрыть всёDisallow: /

Запретить пути (по одному на строку)

Разрешить пути (по одному на строку)

Необязательные настройки для расширенных сценариев.

Sitemap URL (по одному на строку)

Crawl-delay

Не применяется к Googlebot.

Clean-param

Выводится для Yandex.

Добавить комментарииДобавляет служебный заголовок в файл.

Важно: robots.txt управляет обходом, а не гарантирует удаление страниц из поисковой выдачи.

Проверьте результат, скопируйте или скачайте его как robots.txt.

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /cart/
Disallow: /search/

Google

User-agent, Allow, Disallow и Sitemap.

Яндекс

Дополнительно поддержан Clean-param.

Другие роботы

Bing, DuckDuckGo, Baidu и произвольный User-agent.