Generador de robots.txt
Crea un archivo robots.txt con reglas de allow y disallow por rastreador, un retraso de rastreo opcional y una referencia al sitemap.
Reglas
robots.txt
Usa * como user-agent para aplicar una regla a todos los rastreadores, o indica
un bot concreto como Googlebot. Disallow bloquea el rastreo de una ruta, Allow
lo permite explícitamente (útil para hacer una excepción dentro de una carpeta bloqueada).
Preguntas frecuentes
¿El robots.txt bloquea realmente las páginas en Google?
Bloquea el rastreo, no necesariamente la indexación. Una URL no permitida (disallow) puede seguir apareciendo en los resultados de búsqueda (sin descripción) si otros sitios enlazan a ella. Para mantener una página completamente fuera de los resultados de búsqueda, usa en su lugar una meta etiqueta noindex, que requiere que la página sea rastreable.
¿Dónde tiene que ir el robots.txt?
En la raíz de tu dominio, exactamente en https://ejemplo.com/robots.txt, en ningún otro sitio. Los rastreadores no lo buscarán en una subcarpeta.
¿Qué significa un Disallow vacío?
Disallow: sin nada después significa "no bloquear nada", equivalente a permitir todo para ese user-agent. Ese es el valor por defecto con el que empieza esta herramienta para Allow: /.