ToolAtlasSales un archivo de texto para subir a la raíz del hosting. Sirve para un blog Astro o un WordPress. No bloquea a los malos de verdad y no sustituye un noindex.
Montas un sitio estático y no quieres que el rastreador se coma /draft/ o el staging. UtiloKit y Wutools generan robots en el navegador; SecureOnlineTools recuerda que el tester de Search Console ya no está. Esta página redacta un borrador.
El motor escribe User-agent: *, tus Allow/Disallow, opcionalmente bloques para bots de IA, y una línea Sitemap: si la pegas (absoluta, https://…/sitemap.xml).
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://ejemplo.com/sitemap.xmlCómo publicarlo
- Rellena rutas con barra inicial (
/privado/). - Copia el texto. Súbelo a la raíz del dominio (no a
/blog/robots.txtsi el host es el apex). - Comprueba en el navegador que responde 200. Un 404 se trata como «sin restricciones». Códigos: referencia HTTP.
Límites
- No simula Googlebot con la lógica RFC 9309 completa de un tester serio.
Crawl-delaylo ignoran muchos buscadores grandes.- Bloquear CSS/JS puede romper el render; no lo hagas «por si acaso».
Borrador local. Search Console se abre en Google, no aquí.