ToolAtlas
FavorisRécents

Générateur robots.txt

Traité dans ce navigateur

Limite de texte : 2000000 caractères

Cet outil n’envoie pas votre saisie.

Un fichier à la racine pour dire aux crawlers quoi éviter (`/admin/`, facettes). Ça ne retire pas une URL déjà indexée. Testez dans Search Console.

Un WordPress laisse /wp-admin/ se faire crawler, ou un staging se fait indexer. Le job : un brouillon de robots.txt.

ChatSEO / encode64 générent le même genre de fichier. Google, d’après developers.google.com : pas de crawl-delay.

Ce que le fichier ne fait pas

  • Protéger une page privée (ce n’est pas une auth).
  • Remplacer les balises meta.
  • Expliquer un 404 / 503.

L’option « bloquer les bots IA » ajoute des User-agent extra : certains les respectent, d’autres non.

Comment l’utiliser

  1. Chemins à interdire, sitemap absolu, option IA si proposée.
  2. Copiez le texte dans /robots.txt.
  3. Testez dans Search Console. Un Disallow: / sur la prod est l’erreur classique.

FAQ

`Crawl-delay` pour Google ?

Google l’ignore. Webrankinfo et la doc Google : seules user-agent, allow, disallow, sitemap comptent. Le débit se règle dans Search Console.

Disallow = désindexé ?

Non. Ça décourage le *crawl*. Une URL déjà connue peut rester. Utilisez noindex (meta / en-tête) pour l’index, et le testeur GSC.

Faut-il déclarer le sitemap ?

Utile : Sitemap: https://exemple.fr/sitemap.xml (URL absolue). Vous pouvez aussi le soumettre dans Search Console.

Balises title / Open Graph ?

Générateur de meta.

Le texte part-il ?

Non. Génération dans l’onglet. À vous de placer le fichier à la racine du domaine.

Outils liés