Gerador de robots.txt

O staging entrou no Google e o time quer um Disallow até o go-live. Esta aba monta o arquivo. Publicar na raiz e o Search Console são outras etapas.

O homolog ficou aberto, o Google indexou /staging e o comercial mandou o print. O trabalho desta página é montar o texto do robots.txt nesta aba — User-agent, Allow, Disallow, opcionalmente Sitemap e alguns bots de IA.

Não é o Search Console. Não inspeciona URL. Não pede recrawl. A documentação do Google em português é explícita: o arquivo não substitui noindex nem senha.

Rastrear não é indexar

Disallow: /admin pede para o Googlebot não buscar aquele caminho. Se outro site linkar a URL, ela ainda pode aparecer nos resultados, sem descrição. noindex no HTML só funciona se o robô entrar na página. Bloquear no robots e esperar o noindex é o erro que a própria Central descreve.

User-agent: *
Allow: /
Disallow: /carrinho/
Disallow: /checkout/
Sitemap: https://seusite.com.br/sitemap.xml

Disallow: / no ar de produção some o site da busca — e o time só percebe no mês seguinte. Confira o host.

Como gerar e o que fazer depois

1. Escolha caminhos. Allow e Disallow são prefixos, não regex de Java.
2. Copie o arquivo para a raiz do domínio (não /blog/robots.txt se o host for o site todo).
3. No Search Console, você testa e envia o sitemap. Esta aba não abre a propriedade.

Title e OG da home: gerador de meta. Nada do texto sobe daqui.

Limites que o arquivo não tem

• Não autentica staging.
• Não esconde PDF se outra página permitida aponta para ele.
• Sintaxe varia entre robôs; Googlebot é o recorte que a Central documenta.

Crawler rude ignora. Senha no diretório continua sendo o bloqueio de verdade.