Генератор robots.txt
Создайте файл robots.txt с правилами allow и disallow для каждого робота, необязательной задержкой сканирования и ссылкой на sitemap.
Правила
robots.txt
Используйте * как user-agent, чтобы применить правило ко всем роботам, или укажите
конкретного бота, например Googlebot. Disallow блокирует сканирование пути, Allow
явно разрешает его (полезно для исключения внутри заблокированной папки).
Частые вопросы
Действительно ли robots.txt блокирует страницы в Google?
Он блокирует сканирование, но не обязательно индексацию. Запрещённый (disallow) URL может по-прежнему появляться в результатах поиска (без описания), если на него ссылаются другие сайты. Чтобы полностью убрать страницу из результатов поиска, используйте мета-тег noindex, для которого страница должна оставаться доступной для сканирования.
Куда нужно поместить robots.txt?
В корень вашего домена, ровно по адресу https://example.com/robots.txt, и больше нигде. Роботы не будут искать его в подпапке.
Что означает пустой Disallow?
Disallow: без значения после двоеточия означает «ничего не блокировать», то есть разрешает всё для этого user-agent. Именно с таким значением по умолчанию этот инструмент запускается для Allow: /.